本發(fā)明屬于圖像處理，更進(jìn)一步涉及圖像質(zhì)量評價方法中的一種基于因果配對干預(yù)的無參考圖像質(zhì)量評價方法。本發(fā)明可以用于影音娛樂、醫(yī)療影像、航空遙感場景的圖像在獲取、傳輸、處理的過程中，對圖像質(zhì)量損失進(jìn)行評估。

背景技術(shù)：

1、無參考圖像質(zhì)量評價biqa(blind?image?quality?assessment)是在無參考條件下自動評價視覺信號感知質(zhì)量的必要手段，其廣泛應(yīng)用于圖像處理、計算機(jī)視覺、計算機(jī)圖形應(yīng)用程序的設(shè)計、優(yōu)化和評估。由于在這些圖像處理系統(tǒng)的每個階段都有可能會引入各種類型的失真從而導(dǎo)致圖像質(zhì)量下降，所以開發(fā)能夠自動預(yù)測人類觀測者感知的圖像質(zhì)量評價方法顯得尤為重要。

2、目前，無參考圖像質(zhì)量評價方法主要分為基于手工特征的傳統(tǒng)方法和基于深度學(xué)習(xí)方法。基于手工特征的圖像質(zhì)量評價模型，通常是由特征提取單元和質(zhì)量回歸模型兩部分組成。根據(jù)特征提取的方式不同，基于手工特征的質(zhì)量評價模型又可以分為基于自然場景統(tǒng)計特性的方法和基于人類視覺系統(tǒng)引導(dǎo)的方法。基于自然場景統(tǒng)計特性的無參考圖像質(zhì)量評價，建立在高保真圖像遵循特定統(tǒng)計特性的前提之上。然而，這些統(tǒng)計特性會因圖像質(zhì)量的退化而發(fā)生改變。人類視覺系統(tǒng)是視覺信號的最終接收者，在圖像質(zhì)量指標(biāo)的設(shè)計中利用人類視覺系統(tǒng)的感知特性具有重要意義，目前基于人類視覺系統(tǒng)引導(dǎo)的方法中最突出的兩類是基于自由能原理的方法和基于視覺靈敏度的方法。然而，基于手工特征的圖像質(zhì)量評價方法卻存在一些明顯的缺點，包括對專業(yè)知識的依賴、泛化能力有限、難以適應(yīng)新的圖像類型和退化模式，這些限制促使圖像質(zhì)量評價轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法，以實現(xiàn)更準(zhǔn)確、靈活和自動化的圖像質(zhì)量評估。

3、基于深度學(xué)習(xí)的圖像質(zhì)量評價方法對比傳統(tǒng)的方法，在主客觀一致性方面有了質(zhì)的飛躍。研究人員發(fā)現(xiàn)，在預(yù)訓(xùn)練階段從圖像分類任務(wù)中學(xué)習(xí)到的抽象特征與無參考圖像質(zhì)量評價任務(wù)之間存在高度相關(guān)性。從圖像分類任務(wù)遷移到無參考圖像質(zhì)量評價任務(wù)主要涉及圖像質(zhì)量標(biāo)簽對抽象特征的有監(jiān)督約束，使得模型能夠有效地建立質(zhì)量感知的特征流形，同時獲得較強(qiáng)的泛化能力。目前，已經(jīng)有諸多無參考圖像質(zhì)量評價方法借鑒了預(yù)訓(xùn)練語言模型及其變體在下游任務(wù)上的策略，并取得的了顯著的成功。然而，不同失真圖像在流形空間的投影距離并不能表示質(zhì)量感知距離。也就是說質(zhì)量標(biāo)簽mos分?jǐn)?shù)和圖像本身的回歸關(guān)系會受到質(zhì)量感知的特征流形的非均勻性影響。這種基于語義感知的預(yù)訓(xùn)練模型鼓勵同類別圖像的表征具有相似的表示，而忽略了感知圖像質(zhì)量的變化。

4、西安電子科技大學(xué)在其申請的專利文獻(xiàn)“基于因果蒸餾的無參考圖像質(zhì)量評價方法”(專利申請?zhí)枺篶n?202310830307.3，申請公布號：cn?116843658?a)中提出了一種基于因果蒸餾的無參考圖像質(zhì)量評價方法。該方法根據(jù)因果蒸餾的策略構(gòu)建的因果蒸餾子網(wǎng)絡(luò)，在訓(xùn)練過程中調(diào)整特征權(quán)重，有效避免了現(xiàn)有技術(shù)在遷移學(xué)習(xí)中由于蒸餾損失而產(chǎn)生的災(zāi)難性遺忘問題，使模型在面對多個數(shù)據(jù)集時具有良好的預(yù)測精度，有效提高了無參考圖像質(zhì)量評價的精度。但是，該方法仍然存在的不足之處是，由于使用了遷移學(xué)習(xí)的方法，很大程度上依賴于權(quán)重和相似度度量的經(jīng)驗選擇，源域和目標(biāo)域的數(shù)據(jù)分布并不完全相同，并且對于新的圖像數(shù)據(jù)集缺乏持續(xù)學(xué)習(xí)，無法約束蒸餾子網(wǎng)絡(luò)的蒸餾信息同步更新，使得因果特征權(quán)重?zé)o法適應(yīng)圖像質(zhì)量標(biāo)簽分布，且由于仍然使用的是遷移學(xué)習(xí)的方法，無法完全避免突出的遺忘問題，最終導(dǎo)致在多領(lǐng)域圖像的質(zhì)量評價上的泛化能力較低，對于圖像的質(zhì)量評價不準(zhǔn)確，從而導(dǎo)致精度的降低。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種基于因果配對干預(yù)的無參考圖像質(zhì)量評價方法，用于解決現(xiàn)有深度學(xué)習(xí)方法只對圖像失真魯棒，而對圖像內(nèi)容敏感，以及對新的圖像數(shù)據(jù)集缺乏持續(xù)學(xué)習(xí)導(dǎo)致不同領(lǐng)域的圖像質(zhì)量評價存在偏差。

2、實現(xiàn)本發(fā)明目的的技術(shù)思路是，本發(fā)明在構(gòu)建因果配對干預(yù)的無參考圖像質(zhì)量評價網(wǎng)絡(luò)過程中，質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)是由層級池化單元與卷積層組串聯(lián)組成，其中層級池化單元包含通道層級池化層，能夠有效防止回歸器中平均池化對信息池化過程的損失過大，從而得到豐富的有效圖像特征信息和圖像質(zhì)量分?jǐn)?shù)標(biāo)簽分布信息，有效提高質(zhì)量評價網(wǎng)絡(luò)的準(zhǔn)確性。由于本發(fā)明使用因果配對損失函數(shù)和絕對值損失函數(shù)訓(xùn)練質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)，其中因果配對損失函數(shù)是基于傳統(tǒng)先驗貝葉斯方法的通用框架進(jìn)行改進(jìn)，使用因果特征的干預(yù)方法建立圖像內(nèi)容和圖像失真對圖像質(zhì)量三者之間的因果關(guān)系，因果推理方法通常依賴于關(guān)于底層系統(tǒng)因果性質(zhì)的各種廣泛的先驗知識，解決了現(xiàn)有深度學(xué)習(xí)方法只對圖像失真魯棒而對圖像內(nèi)容敏感的問題。由于本發(fā)明在訓(xùn)練質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)的時候，采用了通過圖像質(zhì)量標(biāo)簽的分布特性來更新影響映射權(quán)重的樣本，解決了現(xiàn)有技術(shù)對于新的圖像數(shù)據(jù)集缺乏持續(xù)學(xué)習(xí)，不能根據(jù)樣本數(shù)據(jù)持續(xù)學(xué)習(xí)更新映射權(quán)重，從而導(dǎo)致準(zhǔn)確性低的問題。

3、本發(fā)明采取的技術(shù)方案包括如下步驟：

4、步驟1，對訓(xùn)練集中的樣本進(jìn)行線性編碼；

5、步驟2，構(gòu)建一個由resnet50單元、維度轉(zhuǎn)換單元、全連接層依次串聯(lián)組成特征提取子網(wǎng)絡(luò)；將全連接層的輸出節(jié)點數(shù)設(shè)置為16；

6、步驟3，構(gòu)建一個由層級池化單元與卷積層組串聯(lián)組成因果推理子網(wǎng)絡(luò)；

7、步驟4，將特征提取子網(wǎng)絡(luò)與因果推理子網(wǎng)絡(luò)并聯(lián)得到基于因果配對干預(yù)的無參考圖像質(zhì)量評價網(wǎng)絡(luò)；

8、步驟5，使用損失函數(shù)約束訓(xùn)練基于因果配對干預(yù)的無參考圖像質(zhì)量評價網(wǎng)絡(luò)：

9、步驟5.1，根據(jù)圖像質(zhì)量分?jǐn)?shù)標(biāo)簽的分布特性進(jìn)行采樣，得到特殊選擇的樣本集，并將特殊選擇的樣本集輸入到質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)中；

10、步驟5.2，將編碼后的訓(xùn)練集輸入到質(zhì)量評價網(wǎng)絡(luò)的特征提取子網(wǎng)絡(luò)中；

11、步驟5.3，采用adam優(yōu)化器，結(jié)合余弦退火學(xué)習(xí)率調(diào)整算法，迭代更新質(zhì)量評價網(wǎng)絡(luò)的參數(shù)，直到由絕對值損失函數(shù)和因果配對損失函數(shù)構(gòu)成的質(zhì)量評價網(wǎng)絡(luò)的損失函數(shù)收斂為止，得到訓(xùn)練好的質(zhì)量評價網(wǎng)絡(luò)；

12、步驟6，輸入待評價圖像得到圖像質(zhì)量評價結(jié)果：

13、采用與步驟1相同的方法，對待評價圖像進(jìn)行處理，將處理后的圖像輸入到訓(xùn)練好的基于因果配對干預(yù)的無參考圖像的質(zhì)量評價網(wǎng)絡(luò)中，輸出圖像質(zhì)量評價分?jǐn)?shù)。

14、本發(fā)明與現(xiàn)有技術(shù)相比較，具有以下優(yōu)點：

15、第一，由于本發(fā)明構(gòu)建一個由層級池化單元與卷積層組串聯(lián)組成因果推理子網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠分層提取圖像特征信息和圖像質(zhì)量分布的信息，克服了回歸器中平均池化對信息池化過程的損失過大的問題，使得本發(fā)明能夠根據(jù)豐富信息中學(xué)習(xí)圖像特征信息對圖像質(zhì)量分?jǐn)?shù)的映射從而提高了圖像質(zhì)量評估的準(zhǔn)確性。

16、第二，由于本發(fā)明使用因果配對損失函數(shù)訓(xùn)練質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠準(zhǔn)確的學(xué)習(xí)到質(zhì)量分?jǐn)?shù)和圖像特征信息之間的因果映射關(guān)系，克服了現(xiàn)有深度學(xué)習(xí)方法只對圖像失真魯棒而對圖像內(nèi)容敏感的缺陷，使得本發(fā)明可以根據(jù)待評估圖像的失真和內(nèi)容，對圖像質(zhì)量的評估，提高了圖像質(zhì)量評估的準(zhǔn)確性。

17、第三，由于本發(fā)明在訓(xùn)練質(zhì)量評價網(wǎng)絡(luò)的因果推理子網(wǎng)絡(luò)的時候，采用了通過圖像質(zhì)量標(biāo)簽的分布特性來更新影響映射權(quán)重的樣本，使用了根據(jù)圖像質(zhì)量分?jǐn)?shù)標(biāo)簽的高斯分布來動態(tài)更新影響映射權(quán)重的樣本的方法，克服了現(xiàn)有技術(shù)對于新的圖像數(shù)據(jù)集缺乏持續(xù)學(xué)習(xí)的不足，使得本發(fā)明能夠通過動態(tài)更新采集的樣本對因果特征權(quán)重進(jìn)行更新從而使得圖像質(zhì)量評估的泛化能力提高的優(yōu)點。