本發(fā)明屬于圖像壓縮和質(zhì)量增強(qiáng)領(lǐng)域，涉及圖像去塊效應(yīng)方法，具體提供一種基于尺度壓縮的輕量神經(jīng)網(wǎng)絡(luò)的去塊效應(yīng)方法。

背景技術(shù)：

1、圖像作為視覺信息的載體，成為了人類從外界獲取信息的主要媒介之一；特別是隨著科技和新興數(shù)字傳播媒體的發(fā)展，數(shù)字圖像逐漸在人們的生產(chǎn)生活中占據(jù)重要地位，而圖像壓縮作為數(shù)字圖像傳輸和儲(chǔ)存中必不可少的一環(huán)，用以將原始的圖像數(shù)據(jù)轉(zhuǎn)化為可被便攜流通的比特流，其中，常用的靜態(tài)圖像壓縮方式有jpeg、jpeg-xr和png等。圖像壓縮編碼過程的主要步驟為色彩轉(zhuǎn)換、頻域變換、量化及編碼，圖像解碼過程則為對(duì)應(yīng)的逆操作；其中，影響圖像質(zhì)量的關(guān)鍵因素是量化，量化步長(zhǎng)越大，所使用的比特?cái)?shù)據(jù)量就越少，但產(chǎn)生的數(shù)據(jù)誤差也就越大，解碼之后得到的圖像與原始圖像的差距也越大，質(zhì)量則越差；反之，所使用的比特?cái)?shù)據(jù)量就越多，解碼得到的圖像細(xì)節(jié)和紋理更豐富，其質(zhì)量也越好。在現(xiàn)實(shí)應(yīng)用場(chǎng)景中，往往存在傳輸帶寬和內(nèi)存空間的限制，則需要調(diào)節(jié)量化步長(zhǎng)以使用有限的比特?cái)?shù)據(jù)量傳輸和儲(chǔ)存圖像，由此便導(dǎo)致了低質(zhì)量圖像的嚴(yán)重塊效應(yīng)，使解碼后圖像的人眼視覺效果極差。為了權(quán)衡壓縮傳輸?shù)南拗坪鸵曈X效果，圖像編解碼的質(zhì)量增強(qiáng)后處理就顯得十分具有現(xiàn)實(shí)意義。

2、近年來，深度學(xué)習(xí)理論在去噪、去塊效應(yīng)和超分辨率等low-level的圖像視覺任務(wù)上表現(xiàn)出了驚人的潛力；隨著技術(shù)的更新?lián)Q代，越來越多的增強(qiáng)網(wǎng)絡(luò)選擇更大參數(shù)量、更多資源消耗的構(gòu)建方式來?yè)Q取較好的增強(qiáng)效果，這對(duì)計(jì)算機(jī)的算力和顯存都提出來更高的要求。特別是，與卷積神經(jīng)網(wǎng)絡(luò)機(jī)制不同的transformer結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)開始盛行起來，transformer的核心機(jī)制為自注意力計(jì)算，其誕生于自然語(yǔ)言處理領(lǐng)域，但因其天然的長(zhǎng)程性和大感受野性質(zhì)，又被廣泛地利用于圖像處理領(lǐng)域；在圖像的自注意力計(jì)算中，每一個(gè)像素點(diǎn)都應(yīng)當(dāng)對(duì)應(yīng)一個(gè)令牌(token)，而在自然語(yǔ)言處理領(lǐng)域中，每一個(gè)詞語(yǔ)對(duì)應(yīng)一個(gè)token；由于參與自注意力計(jì)算的三個(gè)關(guān)鍵矩陣(q、k、v)的尺度與token的數(shù)量一致，因此，在圖像領(lǐng)域的自注意力計(jì)算的矩陣乘法中計(jì)算復(fù)雜度極高，與圖像的長(zhǎng)寬乘積(像素個(gè)數(shù))呈正相關(guān)。由此可見，減少圖像領(lǐng)域的transformer結(jié)構(gòu)的網(wǎng)絡(luò)計(jì)算復(fù)雜度十分必要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于尺度壓縮的輕量神經(jīng)網(wǎng)絡(luò)的去塊效應(yīng)方法，提出基于多種注意力機(jī)制的transformer結(jié)構(gòu)模塊，進(jìn)而構(gòu)建得到輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)，從而以更低的計(jì)算成本、更高的效率去除壓縮圖像的塊效應(yīng)，實(shí)現(xiàn)圖像質(zhì)量增強(qiáng)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

3、一種基于尺度壓縮的輕量神經(jīng)網(wǎng)絡(luò)的去塊效應(yīng)方法，包括以下步驟：

4、步驟1.?采用jpeg壓縮作為圖像編解碼器，將原始rgb圖像或原始灰度圖像壓縮為低質(zhì)量圖像，將低質(zhì)量圖像作為輸入，將原始rgb圖像或原始灰度圖像作為標(biāo)簽，構(gòu)建得到訓(xùn)練數(shù)據(jù)集；

5、步驟2.?構(gòu)建輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)，并基于訓(xùn)練數(shù)據(jù)集完成訓(xùn)練；所述輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)包括：特征提取模塊、特征增強(qiáng)模塊與圖像重建模塊，其中，特征增強(qiáng)模塊由四個(gè)基于多種注意力機(jī)制的transformer結(jié)構(gòu)模塊組成；

6、步驟3.?將待處理壓縮圖像作為輸入數(shù)據(jù)輸入至訓(xùn)練完成的輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)，由輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)輸出高質(zhì)量增強(qiáng)圖像。

7、進(jìn)一步的，輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)中，特征提取模塊由一層卷積層組成，用以獲取輸入圖像淺層特征并輸入至特征增強(qiáng)模塊；圖像重建模塊由一層卷積層組成，用以根據(jù)特征增強(qiáng)模塊的輸出特征重建高質(zhì)量增強(qiáng)圖像。

8、進(jìn)一步的，輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)中，特征增強(qiáng)模塊的第四個(gè)基于多種注意力機(jī)制的transformer結(jié)構(gòu)模塊的輸出特征與特征增強(qiáng)模塊的輸入特征相加后得到特征增強(qiáng)模塊的輸出特征；基于多種注意力機(jī)制的transformer結(jié)構(gòu)模塊包括：基于窗口劃分的自注意力模塊、基于尺度壓縮的自注意力模塊與多層感知器，輸入特征fin均勻拆分為[fwin,fcin]，特征fwin與特征fcin分別作為基于窗口劃分的自注意力模塊與基于尺度壓縮的自注意力模塊的輸入，基于窗口劃分的自注意力模塊與基于尺度壓縮的自注意力模塊分別輸出特征fwout與?特征fcout，特征fwout與特征fcout拼接得到特征fmid，特征fmid與特征fin相加后輸入至多層感知器，多層感知器輸出特征fout。

9、更進(jìn)一步的，基于窗口劃分的自注意力模塊中，特征fwin經(jīng)過一個(gè)層標(biāo)準(zhǔn)化模塊進(jìn)行標(biāo)準(zhǔn)化處理，對(duì)標(biāo)準(zhǔn)化處理結(jié)果進(jìn)行拉伸得到二維特征fwmid0，再通過局部連續(xù)的窗口劃分操作切分為若干個(gè)局部窗口特征，所有局部窗口特征并行送入窗口自注意力模塊；將窗口自注意力模塊的所有輸出特征按照原空間位置復(fù)原得到特征fwmid1，再經(jīng)過維度轉(zhuǎn)換得到三維特征fwmid2；特征fwmid2與特征fwin相加得到特征fwmid3，特征fwmid3再依次經(jīng)過另一個(gè)層標(biāo)準(zhǔn)化模塊與多層感知器后得到特征fwmid4，特征fwmid4與特征fwmid3相加得到輸出特征fwout。

10、再進(jìn)一步的，窗口自注意力模塊中，輸入的局部窗口特征通過線性層映射為關(guān)鍵矩陣q?、關(guān)鍵矩陣k與關(guān)鍵矩陣v，通過矩陣乘法運(yùn)算得到自注意力計(jì)算結(jié)果：

11、，

12、其中，attention表示自注意力計(jì)算結(jié)果，d為特征通道維數(shù)，b為空間位置編碼矩陣，softmax為激活函數(shù)，表示矩陣乘法，t表示轉(zhuǎn)置符號(hào)。

13、更進(jìn)一步的，基于尺度壓縮的自注意力模塊中，特征fcin經(jīng)過一個(gè)層標(biāo)準(zhǔn)化模塊進(jìn)行標(biāo)準(zhǔn)化處理，再采用均勻降采樣方法將標(biāo)準(zhǔn)化處理結(jié)果以比例i拆解為i2個(gè)稀疏非局部子特征，并拉伸得到二維稀疏非局部子特征，然后并行送入通道壓縮自注意力模塊；將通道壓縮自注意力模塊的所有輸出特征按照原空間位置復(fù)原得到特征fcmid1，再經(jīng)過維度轉(zhuǎn)換得到三維特征fcmid2；特征fcmid2與特征fcin相加得到特征fcmid3，特征fcmid3再依次經(jīng)過另一個(gè)層標(biāo)準(zhǔn)化模塊與多層感知器后得到特征fcmid4，特征fcmid4與特征fcmid3相加得到輸出特征fcout。

14、再進(jìn)一步的，通道壓縮自注意力模塊中，輸入的稀疏非局部子特征通過一個(gè)線性層映射為關(guān)鍵矩陣q、關(guān)鍵矩陣k與關(guān)鍵矩陣v；同時(shí)，輸入的稀疏非局部子特征通過另一個(gè)線性層得到壓縮矩陣a；將壓縮矩陣a作為自注意力計(jì)算的中間媒介參與矩陣乘法運(yùn)算，得到自注意力計(jì)算結(jié)果：

15、，

16、，

17、其中，attention表示自注意力計(jì)算結(jié)果，d為特征通道維數(shù)，b為空間位置編碼矩陣，softmax為激活函數(shù)，表示矩陣乘法，t表示轉(zhuǎn)置符號(hào)。

18、進(jìn)一步的，訓(xùn)練采用mseloss作為損失函數(shù)，對(duì)輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)完成訓(xùn)練。

19、基于上述技術(shù)方案，本發(fā)明的有益效果在于：

20、本發(fā)明提供一種基于尺度壓縮的輕量神經(jīng)網(wǎng)絡(luò)的去塊效應(yīng)方法，創(chuàng)造性的提出用于獲取局部信息的基于窗口劃分的自注意力模塊(wsab)以及用于獲取非局部信息的基于尺度壓縮的自注意力模塊(csab)，相較于常規(guī)自注意力模塊，二者的計(jì)算復(fù)雜度均顯著降低；在此基礎(chǔ)上，本發(fā)明構(gòu)建得到基于多種注意力機(jī)制的transformer結(jié)構(gòu)的模塊(matl)，并采用四個(gè)matl構(gòu)成特征增強(qiáng)模塊，最終與特征提取模塊、圖像重建模塊共同構(gòu)成輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了rgb圖像和灰度圖像的低成本增強(qiáng)；綜上所述，本發(fā)明提出的輕量級(jí)去塊效應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)精簡(jiǎn)、參數(shù)量極小以及計(jì)算復(fù)雜度極低的優(yōu)點(diǎn)，并能夠保證良好的圖像去塊修復(fù)效果。