本發(fā)明屬于圖像分析，特別涉及一種圖像質(zhì)量評價方法，可用于影音娛樂、醫(yī)療影像、航空遙感場景。

背景技術(shù)：

1、無參考圖像質(zhì)量評價biqa是在無參考條件下自動評價視覺信號感知質(zhì)量的必要手段。其廣泛應(yīng)用于圖像處理、計算機(jī)視覺、計算機(jī)圖形應(yīng)用程序的設(shè)計、優(yōu)化和評估。由于在這些圖像處理系統(tǒng)的每個階段都有可能會引入各種類型的失真從而導(dǎo)致圖像質(zhì)量下降，所以開發(fā)能夠自動預(yù)測人類觀測者感知的圖像質(zhì)量評價方法顯得尤為重要。

2、目前，無參考圖像質(zhì)量評價方法主要分為基于手工特征的傳統(tǒng)方法和基于深度學(xué)習(xí)方法。

3、基于手工特征的圖像質(zhì)量評價模型，通常是由特征提取單元和質(zhì)量回歸模型兩部分組成。根據(jù)特征提取的方式不同，基于手工特征的質(zhì)量評價模型又可以分為基于自然場景統(tǒng)計特性的方法和基于人類視覺系統(tǒng)引導(dǎo)的方法。基于自然場景統(tǒng)計特性的無參考圖像質(zhì)量評價，建立在高保真圖像遵循特定統(tǒng)計特性的前提之上。然而，這些統(tǒng)計特性會因圖像質(zhì)量的退化而發(fā)生改變。人類視覺系統(tǒng)是視覺信號的最終接收者，在圖像質(zhì)量指標(biāo)的設(shè)計中利用人類視覺系統(tǒng)的感知特性具有重要意義，目前基于人類視覺系統(tǒng)引導(dǎo)的方法中最突出的兩類是基于自由能原理的方法和基于視覺靈敏度的方法。然而，基于手工特征的圖像質(zhì)量評價方法卻存在一些明顯的缺點(diǎn)，包括對專業(yè)知識的依賴、泛化能力有限、難以適應(yīng)新的圖像類型和退化模式，這些限制促使研究者轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法，以實現(xiàn)更準(zhǔn)確、靈活和自動化的圖像質(zhì)量評估。

4、基于深度學(xué)習(xí)的圖像質(zhì)量評價方法對比傳統(tǒng)的方法，在主客觀一致性方面有了質(zhì)的飛躍。研究人員發(fā)現(xiàn)，在預(yù)訓(xùn)練階段從圖像分類任務(wù)中學(xué)習(xí)到的抽象特征與無參考圖像質(zhì)量評價任務(wù)之間存在高度相關(guān)性。從圖像分類任務(wù)遷移到無參考圖像質(zhì)量評價任務(wù)主要涉及圖像質(zhì)量標(biāo)簽對抽象特征的有監(jiān)督約束，使得模型能夠有效地建立質(zhì)量感知的特征流形，同時獲得較強(qiáng)的泛化能力。目前，已經(jīng)有諸多無參考圖像質(zhì)量評價方法借鑒了預(yù)訓(xùn)練語言模型及其變體在下游任務(wù)上的策略，并取得的了顯著的成功。然而，不同失真圖像在流形空間的投影距離并不能表示質(zhì)量感知距離。也就是說質(zhì)量標(biāo)簽mos分?jǐn)?shù)和圖像本身的回歸關(guān)系會受到質(zhì)量感知的特征流形的非均勻性影響。這種基于語義感知的預(yù)訓(xùn)練模型鼓勵同類別圖像的表征具有相似的表示，而忽略了感知圖像質(zhì)量的變化。

5、基于此，如何克服質(zhì)量標(biāo)簽mos分?jǐn)?shù)與圖像本身質(zhì)量之間回歸關(guān)系受到特征流形非均勻性影響的問題，已成為本領(lǐng)域技術(shù)人員亟待解決的關(guān)鍵挑戰(zhàn)。

6、申請?zhí)枮閏n202410025201.0的專利文獻(xiàn)公開了一種基于四元數(shù)卷積神經(jīng)網(wǎng)絡(luò)的無參考圖像質(zhì)量評估方法及系統(tǒng)，其將原始圖像轉(zhuǎn)化為四元數(shù)形式，得到至少一個純四元數(shù)矩陣，再使用基于預(yù)設(shè)的改進(jìn)resnet網(wǎng)絡(luò)對四元數(shù)矩陣進(jìn)行特征提取，將提取的特征進(jìn)行融合，得到不同尺度的特征，提取并聚合這些特征向量，輸入到全連接神經(jīng)網(wǎng)絡(luò)中，以獲得圖像的質(zhì)量分?jǐn)?shù)。此方法雖然比較充分的利用了圖像的全局特征和局部的特征，但是卻存在難以有效地捕捉圖像內(nèi)容全局依賴關(guān)系的問題。

7、申請?zhí)枮?02310165646.4的專利文獻(xiàn)公開了一種無參考圖像質(zhì)量評價模型訓(xùn)練方法，其為了直接在訓(xùn)練過程中優(yōu)化該質(zhì)量評價模型，通過孿生網(wǎng)絡(luò)學(xué)習(xí)圖像質(zhì)量之間的排序信息，無參考圖像質(zhì)量評價模型的輸入為成對的圖像或標(biāo)簽，然后前向傳播計算網(wǎng)絡(luò)的輸出和相應(yīng)的loss，最后通過反向傳播算法進(jìn)行優(yōu)化。這種方法更多的是關(guān)注成對圖像間的相對質(zhì)量，此外孿生網(wǎng)絡(luò)存在的一個重大缺點(diǎn)為訓(xùn)練過程中存在大量的冗余計算，盡管該專利對此問題進(jìn)行了優(yōu)化，但卻增加了方法的復(fù)雜性。

8、申請?zhí)枮?02310567190.4的專利文獻(xiàn)公開了一種結(jié)合transformer和卷積網(wǎng)絡(luò)的無參考圖像質(zhì)量評價方法，其通過transformer提取失真圖像不同層級的特征進(jìn)行融合后得到全局特征，再把生成的偽參考圖像和失真圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中分別提取卷積特征，并進(jìn)行連接得到失真圖像的局部特征；將失真圖像的全局特征和局部特征進(jìn)行連接得到融合特征，輸入到線性回歸網(wǎng)絡(luò)中得到失真圖像的質(zhì)量評結(jié)果。此方法雖然比較充分的利用了圖像的全局特征和局部的特征，但是并沒有對圖像間得分進(jìn)行排序。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于可逆流形排序優(yōu)化的無參考圖像質(zhì)量評價方法，以降低用孿生網(wǎng)絡(luò)進(jìn)行排序?qū)W習(xí)的計算繁雜度，有效捕捉圖像內(nèi)容的全局依賴關(guān)系，提高圖片評分的主客觀一致性。

2、實現(xiàn)本發(fā)明目的的技術(shù)思路是：使用transformer進(jìn)行圖片特征提取，并通過將內(nèi)容感知輸出投影到可逆流形空間約束為一個光滑的各向同性高斯分布，以實現(xiàn)在光滑投影空間中進(jìn)行基于距離度量的可微秩排序，并通過使用transformer進(jìn)行特征提取以有效捕捉圖像內(nèi)容的全局依賴關(guān)系；通過在流形空間中進(jìn)行可微分秩排序，以有效提高圖片評分的主客觀一致性，降低排序?qū)W習(xí)的計算復(fù)雜度。

3、根據(jù)上述思路，本發(fā)明的技術(shù)方案包括如下步驟：

4、(1)獲取訓(xùn)練集和測試集：

5、獲取l幅維度為w×h×c的rgb圖像及每幅圖像ii的主觀質(zhì)量分?jǐn)?shù)標(biāo)簽si，并將m幅rgb圖像及其對應(yīng)的主觀質(zhì)量分?jǐn)?shù)標(biāo)簽組成訓(xùn)練樣本集tm＝{(im，sm)|1≤m≤m}；

6、將剩余的n幅rgb圖像及及其對應(yīng)的主觀質(zhì)量分?jǐn)?shù)標(biāo)簽組成測試樣本集tn＝{(in，sn)|1≤n≤n}，其中，l≥1000，w、h和c分別表示rgb圖像的寬度、高度和通道數(shù)，w≥224,h≥224，c≥3，m+n＝l；

7、(2)構(gòu)建無參考圖像質(zhì)量評價模型：

8、(2a)建立由圖像塊嵌入與位置編碼子模塊和transformer編碼器級聯(lián)組成的圖像特征提取模塊r；

9、(2b)建立包括門控多層感知器和殘差通道注意力單元連接組成的多軸mlp模塊d；

10、(2c)建立包括多個可逆變換層的可逆流形模塊t；

11、(2d)建立用于在流形空間進(jìn)行排序的排序優(yōu)化模塊p；

12、(2e)將特征提取模塊r與多軸mlp模塊d連接，組成第一條支路g1；將特征提取模塊r與可逆流形模塊t和排序優(yōu)化模塊p級聯(lián)，組成第二條支路g2；將兩條支路并聯(lián)構(gòu)成無參考圖像質(zhì)量評價模型；

13、(2f)設(shè)定圖像質(zhì)量評價模型的損失函數(shù)為：

14、loss＝λ1l1+λ2lrankap+λ3lflow

15、其中，λ1是預(yù)測損失函數(shù)的權(quán)重，l1是絕對值損失函數(shù)；λ2是排序優(yōu)化模塊損失函數(shù)的權(quán)重，lrankap是排序優(yōu)化模塊的約束損失；λ3是可逆流形轉(zhuǎn)換損失函數(shù)的權(quán)重，lflow是可逆流形轉(zhuǎn)換的約束損失；

16、(3)對步驟(2)構(gòu)建的無參考圖像質(zhì)量評價模型進(jìn)行訓(xùn)練：

17、(3a)設(shè)置當(dāng)前網(wǎng)絡(luò)模型gk的權(quán)值參數(shù)為θk，最大迭代次數(shù)為m＞32，初始化迭代次數(shù)為k；

18、(3b)從訓(xùn)練數(shù)據(jù)中無放回的隨機(jī)取出b張圖片，作為當(dāng)前無參考圖像質(zhì)量評價模型的輸入樣本，進(jìn)行前向推理，得到每個訓(xùn)練樣本的質(zhì)量預(yù)測分?jǐn)?shù)及度量b個輸入圖片的排序關(guān)系；

19、(3c)根據(jù)每個訓(xùn)練樣本的質(zhì)量預(yù)測分?jǐn)?shù)計算得到損失函數(shù)中的絕對值損失l1、排序優(yōu)化模塊r的損失函數(shù)值lrankap、可逆流形模塊t的損失函數(shù)值lflow；

20、(3d)計算圖像質(zhì)量評價模型損失函數(shù)loss的梯度信息，對網(wǎng)絡(luò)模型gk的權(quán)值參數(shù)θk進(jìn)行更新，得到本次迭代的網(wǎng)絡(luò)模型gk；

21、(3e)判斷k＝m是否成立：

22、若成立，則得到訓(xùn)練好的無參考圖像質(zhì)量評價模型g*；

23、否則，令k＝k+1，返回步驟(3b)；

24、(3f)將測試樣本集tn輸入到訓(xùn)練好的無參考圖像質(zhì)量評價模型g*，進(jìn)行前向推理，得到每個測試樣本的質(zhì)量預(yù)測分?jǐn)?shù)sn，完成對無參考圖像的質(zhì)量評價。

25、本發(fā)明與現(xiàn)有技術(shù)相比，由于其構(gòu)建了包括特征提取模塊、多軸mlp模塊連接、可逆流形模塊t和排序優(yōu)化模塊p組成的無參考圖像質(zhì)量評價模型，因而具有如下優(yōu)點(diǎn)：

26、其一，本模型中的圖像特征提取模塊可通過其內(nèi)部的注意力機(jī)制，有效捕捉圖像內(nèi)容的全局依賴關(guān)系。

27、其二，本模型中的多軸mlp模塊可通過使用門控多層感知機(jī)，有效的融合transformer層提取到的圖像特征，得到最終的質(zhì)量特征表示。

28、其三，本模型中的可逆流形模塊可通過潛在空間與生成空間的可逆變換關(guān)系，使得在數(shù)據(jù)轉(zhuǎn)換過程中輸入數(shù)據(jù)能夠保持完整性和原有的視覺結(jié)構(gòu)。

29、其四，本模型中排序優(yōu)化模塊可通過在生成空間中對輸入的批量圖片進(jìn)行排序，提高預(yù)測分?jǐn)?shù)的主客觀一致性。