本發(fā)明涉及計(jì)算機(jī)視覺(jué)和多媒體數(shù)字圖像處理，特別涉及基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法。

背景技術(shù)：

1、圖像融合技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)揮著至關(guān)重要的作用，主要致力于從多個(gè)成像源中提取和整合信息，以產(chǎn)生更高質(zhì)量的復(fù)合圖像。根據(jù)成像設(shè)備的不同，圖像融合可分為多模態(tài)圖像融合、數(shù)碼攝影融合和遙感融合等類型。其中，紅外和可見(jiàn)光圖像融合作為多模態(tài)圖像融合的一項(xiàng)關(guān)鍵子任務(wù)，結(jié)合了可見(jiàn)光和紅外圖像的特征，有效地對(duì)來(lái)自不同傳感器的跨模態(tài)特征進(jìn)行建模和融合。

2、紅外成像技術(shù)能在弱光條件下捕捉發(fā)射或反射的紅外輻射，即使在完全無(wú)光環(huán)境下也能提供關(guān)鍵視覺(jué)信息。這一技術(shù)廣泛應(yīng)用于夜視、安全監(jiān)控和目標(biāo)偵察等領(lǐng)域。然而，紅外圖像通常缺乏色彩信息和清晰細(xì)節(jié)。與之相對(duì)，可見(jiàn)光圖像能捕捉豐富的色彩和細(xì)節(jié)，使其在光照充足的環(huán)境中表現(xiàn)出色。因此，有效融合紅外圖像和可見(jiàn)光圖像對(duì)于目標(biāo)監(jiān)控、目標(biāo)檢測(cè)和車(chē)輛導(dǎo)航等領(lǐng)域至關(guān)重要。

3、現(xiàn)有的圖像融合技術(shù)基本上可以分為兩類：傳統(tǒng)的基于數(shù)學(xué)變換的方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法主要在空間和頻率域內(nèi)操作，涵蓋金字塔融合、小波變換和離散余弦變換等技術(shù)。雖然這些傳統(tǒng)方法在一些應(yīng)用中取得了良好的融合效果，但往往難以在具有寬動(dòng)態(tài)范圍和多模態(tài)數(shù)據(jù)的復(fù)雜場(chǎng)景中保持細(xì)節(jié)和顏色的一致性，尤其是在復(fù)雜照明或高動(dòng)態(tài)范圍條件下。

4、隨著深度學(xué)習(xí)的快速發(fā)展，圖像融合技術(shù)也展現(xiàn)出了顯著進(jìn)步。卷積神經(jīng)網(wǎng)絡(luò)（cnn）因其出色的特征識(shí)別和細(xì)節(jié)提取能力而被廣泛應(yīng)用于圖像融合領(lǐng)域。自動(dòng)編碼器（ae）和生成式對(duì)抗網(wǎng)絡(luò)（gan）也因其強(qiáng)大的數(shù)據(jù)重建和真實(shí)感圖像生成能力而受到關(guān)注。最近，基于擴(kuò)散模型和transformer的模型因其高效的信息處理能力成為研究熱點(diǎn)，尤其是在多模態(tài)特征融合和圖像生成方面表現(xiàn)出色。

5、盡管取得了這些進(jìn)展，但在低光條件下的圖像融合仍面臨挑戰(zhàn)?，F(xiàn)有的深度學(xué)習(xí)模型在處理低光或高動(dòng)態(tài)范圍場(chǎng)景時(shí)，常常無(wú)法有效捕捉和渲染細(xì)節(jié)，導(dǎo)致融合圖像的細(xì)節(jié)和顏色精度不足。此外，在復(fù)雜的光照條件下，現(xiàn)有方法往往不能充分突出不同區(qū)域之間的對(duì)比度，導(dǎo)致重建的圖像在細(xì)節(jié)表現(xiàn)上顯得平淡無(wú)奇。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述狀況，本發(fā)明的主要目的是為了提出基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，以解決上述技術(shù)問(wèn)題。

2、本發(fā)明提出基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，所述方法包括如下步驟：

3、步驟1、對(duì)獲取的紅外圖像與可見(jiàn)光圖像進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)增強(qiáng)后的紅外圖像與可見(jiàn)光圖像分為訓(xùn)練集和驗(yàn)證集；

4、將紅外圖像和可見(jiàn)光圖像亮度通道輸入場(chǎng)景光照解纏網(wǎng)絡(luò)，得到照明退化圖像、光照增強(qiáng)可見(jiàn)光圖像和模型預(yù)測(cè)紅外圖像；

5、基于訓(xùn)練集和驗(yàn)證集對(duì)場(chǎng)景光照解纏網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

6、步驟2、將增強(qiáng)的可見(jiàn)光特征與紅外特征輸入融合網(wǎng)絡(luò)，通過(guò)小波變換操作得到增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶；

7、基于增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶，通過(guò)多頭注意力融合模塊處理，得到融合特征；

8、利用融合特征，經(jīng)過(guò)逆小波變換操作得到重構(gòu)的融合特征；

9、通過(guò)解碼器將重構(gòu)的融合特征轉(zhuǎn)換為亮度通道融合圖像；

10、基于訓(xùn)練集和驗(yàn)證集對(duì)融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

11、步驟3、將亮度通道融合圖像與可見(jiàn)光圖像cb、cr通道進(jìn)行合并，并進(jìn)行顏色空間轉(zhuǎn)換，得到最終融合圖像。

12、本發(fā)明還提出基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合系統(tǒng)，所述系統(tǒng)包括：

13、場(chǎng)景光照解纏網(wǎng)絡(luò)訓(xùn)練模塊，對(duì)獲取的紅外圖像與可見(jiàn)光圖像進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)增強(qiáng)后的紅外圖像與可見(jiàn)光圖像分為訓(xùn)練集和驗(yàn)證集；

14、將紅外圖像和可見(jiàn)光圖像亮度通道輸入場(chǎng)景光照解纏網(wǎng)絡(luò)，得到照明退化圖像、光照增強(qiáng)可見(jiàn)光圖像和模型預(yù)測(cè)紅外圖像；

15、基于訓(xùn)練集和驗(yàn)證集對(duì)場(chǎng)景光照解纏網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

16、融合網(wǎng)絡(luò)訓(xùn)練模塊，將增強(qiáng)的可見(jiàn)光特征與紅外特征輸入融合網(wǎng)絡(luò)，通過(guò)小波變換操作得到增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶；

17、基于增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶，通過(guò)多頭注意力融合模塊處理，得到融合特征；

18、利用融合特征，經(jīng)過(guò)逆小波變換操作得到重構(gòu)的融合特征；

19、通過(guò)解碼器將重構(gòu)的融合特征轉(zhuǎn)換為亮度通道融合圖像；

20、基于訓(xùn)練集和驗(yàn)證集對(duì)融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

21、圖像輸出模塊，將亮度通道融合圖像與可見(jiàn)光圖像cb、cr通道進(jìn)行合并，并進(jìn)行顏色空間轉(zhuǎn)換，得到最終融合圖像。

22、與現(xiàn)有技術(shù)相比，本發(fā)明有益效果如下：

23、1、本發(fā)明通過(guò)結(jié)合小波變換和多頭注意力機(jī)制顯著提高了對(duì)細(xì)節(jié)的捕捉能力，尤其是在低光照和高動(dòng)態(tài)范圍環(huán)境中，能夠更好地保持圖像的細(xì)節(jié)和清晰度；

24、2、本發(fā)明通過(guò)引入對(duì)比度均衡損失函數(shù)，優(yōu)化了融合圖像的色彩和對(duì)比度表現(xiàn)，確保了圖像的色彩真實(shí)性和視覺(jué)效果的一致性，特別是在復(fù)雜光照條件下，能夠提供更為準(zhǔn)確和生動(dòng)的圖像輸出。

25、本發(fā)明的附加方面與優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)施例了解到。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，所述方法基于特征融合模型實(shí)現(xiàn)，所述特征融合模型由場(chǎng)景光照解纏網(wǎng)絡(luò)和融合網(wǎng)絡(luò)構(gòu)成，所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟1中，將紅外圖像和可見(jiàn)光圖像亮度通道輸入場(chǎng)景光照解纏網(wǎng)絡(luò)，得到照明退化圖像、光照增強(qiáng)可見(jiàn)光圖像和模型預(yù)測(cè)紅外圖像，具體步驟包括：

3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟1中，基于訓(xùn)練集和驗(yàn)證集對(duì)場(chǎng)景光照解纏網(wǎng)絡(luò)進(jìn)行訓(xùn)練，過(guò)程中利用分解總損失函數(shù)對(duì)光照解纏網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，分解總損失函數(shù)由各項(xiàng)損失函數(shù)構(gòu)成，各損失函數(shù)關(guān)系式如下：

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟2中，將增強(qiáng)的可見(jiàn)光特征與紅外特征輸入融合網(wǎng)絡(luò)，通過(guò)小波變換操作得到增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶，對(duì)應(yīng)過(guò)程存在如下關(guān)系式：

5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，所述步驟2中，基于增強(qiáng)的可見(jiàn)光特征的子帶和紅外特征的子帶，通過(guò)多頭注意力融合模塊處理，得到融合特征，對(duì)應(yīng)過(guò)程存在如下關(guān)系式：

6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟2中，利用融合特征，經(jīng)過(guò)逆小波變換操作得到重構(gòu)的融合特征，對(duì)應(yīng)過(guò)程存在如下關(guān)系式：

7.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟2中，通過(guò)解碼器將重構(gòu)的融合特征轉(zhuǎn)換為亮度通道融合圖像，對(duì)應(yīng)過(guò)程存在如下關(guān)系式：

8.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟2中，基于訓(xùn)練集和驗(yàn)證集對(duì)融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，過(guò)程中通過(guò)紋理?yè)p失函數(shù)與對(duì)比度均衡損失函數(shù)對(duì)融合網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，紋理?yè)p失的關(guān)系式為：

9.根據(jù)權(quán)利要求8所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，其特征在于，在所述步驟3中，將亮度通道融合圖像與可見(jiàn)光圖像cb、cr顏色通道進(jìn)行合并，并進(jìn)行顏色空間轉(zhuǎn)換，得到最終融合圖像，對(duì)應(yīng)過(guò)程存在的關(guān)系式如下：

10.基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合系統(tǒng)，其特征在于，所述系統(tǒng)應(yīng)用如上述權(quán)利要求1至9任意一項(xiàng)所述的基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，所述系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明提出基于深度學(xué)習(xí)的紅外與可見(jiàn)光圖像光照優(yōu)化融合方法，該方法包括：對(duì)獲取的紅外圖像與可見(jiàn)光圖像進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)增強(qiáng)后的圖像分為訓(xùn)練集和驗(yàn)證集；基于視網(wǎng)膜色覺(jué)理論構(gòu)建模型；將紅外圖像和可見(jiàn)光圖像亮度通道輸入模型，得到照明退化圖像、光照增強(qiáng)可見(jiàn)光圖像和模型預(yù)測(cè)紅外圖像；基于驗(yàn)證集和訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練；利用訓(xùn)練后的模型得到最終融合圖像。本發(fā)明優(yōu)化了色彩表現(xiàn)和亮度均勻性，從而在保持圖像自然感的同時(shí)，顯著提升了圖像的整體質(zhì)量和視覺(jué)效果。該方法特別適用于安全監(jiān)控和夜間導(dǎo)航等需要精確光照管理和高質(zhì)量圖像輸出的應(yīng)用場(chǎng)景。

技術(shù)研發(fā)人員：化定麗,陳慶茂,溫文媖,張育柏
受保護(hù)的技術(shù)使用者：江西財(cái)經(jīng)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21