本發(fā)明涉及圖像處理，更具體的說(shuō)是涉及一種夜間可見(jiàn)光與熱紅外圖像融合方法。

背景技術(shù)：

1、在夜間或低照度環(huán)境下，可見(jiàn)光成像設(shè)備受限于光照強(qiáng)度，拍攝的圖像往往伴有大量噪聲，細(xì)節(jié)模糊不清，難以精確反映目標(biāo)場(chǎng)景。相比之下，熱紅外成像技術(shù)利用物體發(fā)出的紅外輻射成像，不受光照條件制約，即使在完全黑暗的環(huán)境中也能捕捉目標(biāo)的熱信息，具有獨(dú)特的夜間目標(biāo)檢測(cè)優(yōu)勢(shì)。然而，熱紅外圖像的空間分辨率較低，缺乏細(xì)節(jié)信息，尤其是紋理和色彩，這限制了其在某些應(yīng)用場(chǎng)景中的效能。鑒于可見(jiàn)光圖像和熱紅外圖像各自的特點(diǎn)和局限性，圖像融合技術(shù)應(yīng)運(yùn)而生，旨在將兩者的互補(bǔ)信息整合，生成一幅融合圖像，以同時(shí)展示可見(jiàn)光的色彩和紋理細(xì)節(jié)以及熱紅外的熱信息，從而提供更完整、更清晰的目標(biāo)場(chǎng)景信息。

2、夜間可見(jiàn)光和熱紅外圖像融合技術(shù)在多個(gè)領(lǐng)域展現(xiàn)出了廣泛應(yīng)用前景，包括夜間監(jiān)測(cè)、目標(biāo)檢測(cè)、軍事偵察和安防監(jiān)控等。通過(guò)融合，不僅可以增強(qiáng)可見(jiàn)光圖像中陰影或低照度下目標(biāo)的顯著性和可視性，還能利用融合圖像提升后續(xù)檢測(cè)和識(shí)別任務(wù)的性能。

3、然而，融合過(guò)程中面臨的挑戰(zhàn)也不容忽視。首先，可見(jiàn)光和熱紅外圖像基于不同的物理信號(hào)和成像原理，它們的數(shù)據(jù)特性差異顯著，如何在融合中有效利用這些物理信號(hào)的互補(bǔ)性是一大難題。其次，夜間成像環(huán)境復(fù)雜多變，兩者的圖像質(zhì)量受外界因素影響各異，如何在融合中平衡兩者的優(yōu)勢(shì)，避免信息丟失和視覺(jué)效果下降，是另一個(gè)關(guān)鍵問(wèn)題。

4、傳統(tǒng)的圖像融合方法大多側(cè)重于圖像數(shù)據(jù)特征，而非物理信號(hào)到圖像特征的轉(zhuǎn)化意義，這導(dǎo)致融合圖像可能無(wú)法充分保留人眼視覺(jué)感知的重要信息，如邊緣和顏色。此外，一些融合方法在處理低對(duì)比度信息時(shí)存在不足，造成融合圖像視覺(jué)效果不自然，或者在參數(shù)調(diào)節(jié)上過(guò)于復(fù)雜，需要針對(duì)不同場(chǎng)景重新調(diào)參，降低了實(shí)用性和靈活性。盡管近年來(lái)深度學(xué)習(xí)技術(shù)在圖像融合領(lǐng)域取得了一定進(jìn)展，如卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)的運(yùn)用，提高了融合圖像的細(xì)節(jié)和真實(shí)感，但仍然存在多模態(tài)數(shù)據(jù)配準(zhǔn)困難、訓(xùn)練不穩(wěn)定、缺乏真實(shí)數(shù)據(jù)指導(dǎo)等問(wèn)題。

5、針對(duì)上述問(wèn)題，研究者們正不斷探索新的融合策略，如基于多尺度分解的方法，利用顯著性模型計(jì)算權(quán)重，以及結(jié)合深度學(xué)習(xí)框架優(yōu)化融合過(guò)程。然而，這些方法在處理可見(jiàn)光圖像的顏色特征互補(bǔ)性方面仍有待加強(qiáng)，尤其是在夜間環(huán)境下，如何在融合圖像中保留真實(shí)顏色信息，避免細(xì)節(jié)損失，提升目標(biāo)區(qū)域的顯著性，是當(dāng)前研究亟需解決的關(guān)鍵問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，為至少部分解決上述技術(shù)問(wèn)題，本發(fā)明基于視覺(jué)亮度感知特性提供了一種夜間可見(jiàn)光與熱紅外圖像融合方法，旨在充分利用可見(jiàn)光圖像的色度和亮度信息，以及熱紅外圖像的熱信息，克服單一圖像模式在夜間環(huán)境下信息缺失的局限，從而設(shè)計(jì)出能夠在夜間有效融合兩者的圖像融合技術(shù)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一種夜間可見(jiàn)光與熱紅外圖像融合方法，包括，

4、分別對(duì)夜間可見(jiàn)光圖像和熱紅外圖像進(jìn)行分解，得到各自對(duì)應(yīng)的基本層、紋理層和邊緣層；

5、將夜間可見(jiàn)光圖像的基本層、紋理層和邊緣層分別與熱紅外圖像的基本層、紋理層和邊緣層依次按照各層融合權(quán)重進(jìn)行重構(gòu)，得到融合圖像。

6、優(yōu)選地，對(duì)圖像進(jìn)行分解的過(guò)程包括：

7、對(duì)圖像依次進(jìn)行加權(quán)引導(dǎo)濾波和高斯低通濾波，得到圖像基本層；

8、以原始圖像與加權(quán)引導(dǎo)濾波結(jié)果間的差值作為紋理層；

9、以及以加權(quán)引導(dǎo)濾波結(jié)果與圖像基本層間的差值作為邊緣層。

10、優(yōu)選地，所述夜間可見(jiàn)光圖像進(jìn)行分解前，以對(duì)應(yīng)的色彩顯著圖為引導(dǎo)，進(jìn)行亮度調(diào)整及去噪；步驟包括：

11、對(duì)色彩顯著圖進(jìn)行歸一化處理；

12、利用加權(quán)引導(dǎo)濾波函數(shù)對(duì)歸一化后色彩顯著圖進(jìn)行亮度調(diào)整，得到濾波后的亮度圖；

13、利用全局自適應(yīng)對(duì)數(shù)映射調(diào)整方法對(duì)濾波后的亮度圖進(jìn)行去噪。

14、優(yōu)選地，按如下公式對(duì)濾波后的亮度圖進(jìn)行去噪；

15、

16、式中，為初步降噪調(diào)整處理后的亮度值，表示輸入圖像亮度的最大值，表示輸入圖像的亮度值的對(duì)數(shù)平均值；且

17、

18、式中，為圖像的尺寸，為一個(gè)防止亮度值為0的常數(shù)。

19、優(yōu)選地，夜間可見(jiàn)光圖像的色彩顯著圖，獲取步驟包括：

20、將夜間可見(jiàn)光圖像由rgb顏色空間轉(zhuǎn)換到hsv顏色空間；

21、根據(jù)如下公式計(jì)算得到色彩顯著圖；

22、

23、式中，表示計(jì)算得到的色彩顯著圖，s和v分別代表可見(jiàn)光圖像轉(zhuǎn)換到hsv顏色空間的飽和度和亮度。

24、優(yōu)選地，基本層融合權(quán)重的獲取步驟包括：

25、獲取夜間可見(jiàn)光圖像的色彩顯著圖，依次進(jìn)行加權(quán)引導(dǎo)濾波及高斯低通濾波，得到色彩顯著圖的基本層；

26、根據(jù)色彩顯著圖的基本層和熱紅外圖像的基本層，利用全局自適應(yīng)對(duì)數(shù)映射調(diào)整方法確定基本層融合權(quán)重。

27、優(yōu)選地，利用全局自適應(yīng)對(duì)數(shù)映射調(diào)整方法如如下公式確定基本層融合權(quán)重；

28、

29、式中，為熱紅外圖像基本層的互補(bǔ)特征圖，altmglobal為全局自適應(yīng)對(duì)數(shù)映射調(diào)整方法，為基本層融合權(quán)重。

30、優(yōu)選地，邊緣層融合權(quán)重的獲取步驟包括：

31、利用sobel算子梯度函數(shù)，分別計(jì)算夜間可見(jiàn)光圖像邊緣層和熱紅外圖像邊緣層的梯度特征圖并進(jìn)行歸一化；

32、對(duì)歸一化的夜間可見(jiàn)光圖像梯度特征圖和熱紅外圖像梯度特征圖進(jìn)行互相關(guān)系數(shù)評(píng)估，得到互相關(guān)特征圖；

33、獲取夜間可見(jiàn)光圖像的色彩顯著圖，并結(jié)合所述互相關(guān)特征圖，按如下公式確定邊緣層融合權(quán)重；

34、

35、式中，表示可見(jiàn)光圖像中信息丟失程度，表示可見(jiàn)光每個(gè)波段圖像與熱紅外圖像的互相關(guān)特征圖，表示夜間可見(jiàn)光圖像的色彩顯著圖，為邊緣層對(duì)應(yīng)的融合權(quán)重。

36、優(yōu)選地，紋理層融合權(quán)重的獲取步驟包括：

37、獲取夜間可見(jiàn)光圖像紋理層和熱紅外圖像紋理層間的差值，并進(jìn)行歸一化；

38、根據(jù)歸一化差值圖，按如下公式確定紋理層融合權(quán)重；

39、

40、式中，為歸一化差值圖，為紋理層增強(qiáng)權(quán)重，表示全局自適應(yīng)對(duì)數(shù)映射調(diào)整方法。

41、優(yōu)選地，夜間可見(jiàn)光圖像的基本層、紋理層和邊緣層和熱紅外圖像的基本層、紋理層和邊緣層按照如下公式進(jìn)行重構(gòu)；

42、

43、式中，f表示重構(gòu)后的融合圖像，表示可見(jiàn)光圖像的基本層，表示基本層融合權(quán)重，表示熱紅外圖像的基本層，表示邊緣層融合權(quán)重，表示可見(jiàn)光圖像的邊緣層，表示熱紅外圖像的邊緣層，表示紋理層融合權(quán)重，表示可見(jiàn)光圖像的紋理層，表示熱紅外圖像的紋理層。

44、經(jīng)由上述的技術(shù)方案可知，本發(fā)明公開(kāi)提供了一種夜間可見(jiàn)光與熱紅外圖像融合方法，通過(guò)融合可見(jiàn)光圖像的豐富紋理、顏色信息，和熱紅外圖像的熱輻射分布特征，生成兼具兩種圖像優(yōu)點(diǎn)的合成圖像，進(jìn)而顯著提升夜間場(chǎng)景的可辨識(shí)度。

45、本發(fā)明在融合過(guò)程中，運(yùn)用了基于視覺(jué)感知的多層次互補(bǔ)融合策略。該策略充分利用了可見(jiàn)光圖像在色彩和紋理方面的優(yōu)勢(shì)，并結(jié)合了熱紅外圖像在目標(biāo)顯著性上的長(zhǎng)處，確保了融合圖像在細(xì)節(jié)保留和目標(biāo)凸顯方面達(dá)到最佳平衡。

46、更進(jìn)一步，本發(fā)明針對(duì)夜間光照變化復(fù)雜的特性，設(shè)計(jì)了基于亮度和飽和度差異的色彩顯著性特征引導(dǎo)圖，不僅在低亮度區(qū)域增強(qiáng)了可見(jiàn)光信息，提升了圖像對(duì)比度和細(xì)節(jié)清晰度，同時(shí)降低了噪聲影響，使夜間可見(jiàn)光圖像的質(zhì)量得到顯著改善。在融合不同頻率層的信息時(shí)，采取了仿人眼視覺(jué)機(jī)制的融合策略，即在低頻信息層，基于陰影指數(shù)的可見(jiàn)光色彩顯著圖實(shí)現(xiàn)低頻信息的互補(bǔ)融合；在邊緣層，結(jié)合色彩顯著性特征和邊緣相關(guān)性，評(píng)估夜間可見(jiàn)光信息的丟失程度，并定義了邊緣信息的互補(bǔ)性；在紋理層，通過(guò)全局自適應(yīng)調(diào)整，實(shí)現(xiàn)了紋理細(xì)節(jié)的優(yōu)化。

47、與現(xiàn)有技術(shù)相比，本技術(shù)具有以下技術(shù)效果：

48、本技術(shù)根據(jù)人眼在不同光照條件下的視覺(jué)感知差異，以及可見(jiàn)光與熱紅外圖像的互補(bǔ)信息實(shí)現(xiàn)的圖像融合方法，可生成既清晰又具有豐富細(xì)節(jié)及色彩信息的融合圖像，不僅能在暗處補(bǔ)充熱紅外的輻射信息，又能保持亮度區(qū)域的視覺(jué)自然度。

49、本技術(shù)可廣泛應(yīng)用于夜間監(jiān)測(cè)、目標(biāo)檢測(cè)、軍事偵察和安防監(jiān)控等領(lǐng)域的圖像質(zhì)量提升，為其提供更清晰、更準(zhǔn)確的目標(biāo)場(chǎng)景信息。