本發(fā)明涉及一種圖像融合，尤其涉及一種暗光圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、圖像融合算法是現(xiàn)階段目標(biāo)識(shí)別、圖像分割以及圖像分類等高級(jí)計(jì)算機(jī)視覺任務(wù)的數(shù)據(jù)預(yù)處理關(guān)鍵技術(shù)之一。圖像融合使用多傳感器的多模態(tài)數(shù)據(jù)作為輸入，通過特定的算法將多模態(tài)數(shù)據(jù)中清晰的結(jié)構(gòu)或者特征提取后進(jìn)行融合，例如應(yīng)用于自動(dòng)駕駛與道路監(jiān)控中的紅外數(shù)據(jù)與可見光數(shù)據(jù)，在黑暗中紅外光數(shù)據(jù)可以清晰地捕捉行人與行駛中車輛的結(jié)構(gòu)光數(shù)據(jù)，而可見光數(shù)據(jù)包含有較為豐富的顏色以及紋理數(shù)據(jù)，更接近人類視覺體驗(yàn)。

2、在現(xiàn)有的暗光圖像融合算法中，通常需要發(fā)掘更多地目標(biāo)細(xì)節(jié)，例如隱藏在黑暗中的汽車以及行人等，通常紅外傳感器所獲的數(shù)據(jù)為紅外光數(shù)據(jù)信息，能夠敏銳地捕捉行人、動(dòng)物以及發(fā)動(dòng)中的汽車，對(duì)于自行車、路牌等則無法有效地獲得，對(duì)此，單單使用紅外光數(shù)據(jù)來補(bǔ)充隱藏在黑暗中的可見光數(shù)據(jù)效果是有限的，使得后續(xù)高級(jí)視覺處理任務(wù)效果較差，無法很好地運(yùn)用于自動(dòng)駕駛中。

3、其次，現(xiàn)有方法中使用暗光增強(qiáng)來發(fā)掘隱藏在黑暗中的細(xì)節(jié)圖像，再使用圖像融合算法來融合增強(qiáng)后的可見光圖像和紅外圖像數(shù)據(jù)，要求暗光增強(qiáng)算法必須生成出符合圖像融合算法輸入的增強(qiáng)圖像，對(duì)暗光增強(qiáng)算法提出較高要求，且暗光增強(qiáng)算法和圖像融合算法是分開訓(xùn)練的，無法做到統(tǒng)一性上的聯(lián)系，使得融合圖像的質(zhì)量低下。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種暗光圖像融合方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中暗光圖像融合質(zhì)量低下的問題。

2、第一方面，本發(fā)明實(shí)施例提供了一種暗光圖像融合方法，方法包括：

3、獲取暗光區(qū)域的可見光數(shù)據(jù)和與所述可見光數(shù)據(jù)對(duì)應(yīng)的紅外光數(shù)據(jù)；

4、通過預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)對(duì)所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)進(jìn)行特征融合，得到所述暗光區(qū)域的增強(qiáng)光圖像和所述暗光區(qū)域的紅外光圖像；

5、將所述增強(qiáng)光圖像和所述紅外光圖像對(duì)預(yù)設(shè)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)生成器，所述目標(biāo)生成器用于圖像融合。

6、可選地，在所述通過預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)對(duì)所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)進(jìn)行特征融合，得到所述暗光區(qū)域的增強(qiáng)光圖像和所述暗光區(qū)域的紅外光圖像的步驟之前，還包括：

7、獲取預(yù)設(shè)訓(xùn)練集，所述訓(xùn)練集包括預(yù)設(shè)可見光數(shù)據(jù)、與所述預(yù)設(shè)可見光數(shù)據(jù)對(duì)應(yīng)的預(yù)設(shè)可見光圖像和與所述預(yù)設(shè)可見光數(shù)據(jù)對(duì)應(yīng)的預(yù)設(shè)紅外光數(shù)據(jù)；

8、基于所述預(yù)設(shè)可見光數(shù)據(jù)、所述預(yù)設(shè)紅外光數(shù)據(jù)和所述預(yù)設(shè)可見光圖像對(duì)初始編碼-解碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至所述初始編碼-解碼網(wǎng)絡(luò)滿足預(yù)設(shè)要求；

9、將滿足所述預(yù)設(shè)要求的初始編碼-解碼網(wǎng)絡(luò)作為所述預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)。

10、可選地，所述基于所述預(yù)設(shè)可見光數(shù)據(jù)、所述預(yù)設(shè)紅外光數(shù)據(jù)和所述預(yù)設(shè)可見光圖像對(duì)初始編碼-解碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至所述初始編碼-解碼網(wǎng)絡(luò)滿足預(yù)設(shè)要求的步驟，包括：

11、將所述預(yù)設(shè)可見光數(shù)據(jù)、所述預(yù)設(shè)紅外光數(shù)據(jù)輸入所述初始編碼-解碼網(wǎng)絡(luò)，得到初始反射光圖像、初始增強(qiáng)光圖像和初始紅外光圖像；

12、基于所述初始反射光圖像和所述初始增強(qiáng)光圖像，通過顏色恒常知覺的計(jì)算理論生成初始可見光圖像；

13、計(jì)算所述初始可見光圖像與所述預(yù)設(shè)可見光圖像的損失數(shù)據(jù)，作為第一損失數(shù)據(jù)；

14、計(jì)算所述初始紅外光圖像與所述預(yù)設(shè)紅外光數(shù)據(jù)的損失數(shù)據(jù)，作為第二損失數(shù)據(jù)；

15、將所述第一損失數(shù)據(jù)和所述第二損失數(shù)據(jù)分別與所述預(yù)設(shè)要求進(jìn)行對(duì)比，得到對(duì)比結(jié)果；

16、若對(duì)比結(jié)果為不通過，則根據(jù)所述對(duì)比結(jié)果調(diào)整所述初始編碼-解碼網(wǎng)絡(luò)的運(yùn)行參數(shù)，直至所述第一損失數(shù)據(jù)滿足所述預(yù)設(shè)要求中的第一要求，且所述第二損失數(shù)據(jù)滿足所述預(yù)設(shè)要求中的第二要求。

17、可選地，所述通過預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)對(duì)所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)進(jìn)行特征融合，得到所述暗光區(qū)域的增強(qiáng)光圖像和所述暗光區(qū)域的紅外光圖像的步驟，包括：

18、將所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)，輸入所述預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)中的編碼子網(wǎng)絡(luò)，得到與所述可見光數(shù)據(jù)對(duì)應(yīng)的可見光特征和與所述紅外光數(shù)據(jù)對(duì)應(yīng)的紅外光特征，并通過所述編碼子網(wǎng)絡(luò)對(duì)所述可見光特征和所述紅外光特征按照維度拼接的方式進(jìn)行特征融合，得到融合特征；

19、將所述融合特征輸入所述預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)中的解碼子網(wǎng)絡(luò)，得到所述增強(qiáng)光圖像和所述紅外光圖像。

20、可選地，所述編碼子網(wǎng)絡(luò)包括第一預(yù)設(shè)數(shù)量個(gè)串聯(lián)連接的編碼模塊，所述編碼模塊包括卷積層、第一歸一化層和編碼激活函數(shù)層，其中，所述卷積層的輸出端連接所述第一歸一化層的輸入端，所述第一歸一化層的輸出端連接所述編碼激活函數(shù)層的輸入端；

21、所述解碼子網(wǎng)絡(luò)包括預(yù)設(shè)算子模塊和第二預(yù)設(shè)數(shù)量個(gè)串聯(lián)連接的解碼模塊，所述預(yù)設(shè)算子模塊與第三數(shù)量個(gè)解碼模塊并聯(lián)，所述解碼模塊包括反卷積層、第二歸一化層和解碼激活函數(shù)層，其中，所述反卷積層的輸出端連接所述第二歸一化層的輸入端，所述第二歸一化層的輸出端連接所述解碼激活函數(shù)層的輸入端。

22、可選地，所述將所述增強(qiáng)光圖像和所述紅外光圖像對(duì)預(yù)設(shè)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)生成器的步驟，包括：

23、基于所述反射光圖像和所述增強(qiáng)光圖像，通過顏色恒常知覺的計(jì)算理論生成可見光圖像；

24、通過所述可見光圖像對(duì)初始對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)對(duì)抗網(wǎng)絡(luò)，所述初始對(duì)抗網(wǎng)絡(luò)中的初始生成器包括殘差網(wǎng)絡(luò)，所述初始對(duì)抗網(wǎng)絡(luò)中的初始判別器包括注意力機(jī)制網(wǎng)絡(luò)；

25、通過所述紅外光圖像對(duì)所述目標(biāo)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的目標(biāo)對(duì)抗網(wǎng)絡(luò)，并將訓(xùn)練后的目標(biāo)對(duì)抗網(wǎng)絡(luò)中的生成器作為所述目標(biāo)生成器。

26、可選地，所述方法，還包括：

27、獲取待融合可見光數(shù)據(jù)和待融合紅外光數(shù)據(jù)，并將所述待融合可見光數(shù)據(jù)和所述待融合紅外光數(shù)據(jù)輸入所述目標(biāo)生成器，以使所述目標(biāo)生成器分別為所述待融合可見光數(shù)據(jù)和所述待融合紅外光數(shù)據(jù)添加高斯白噪聲，得到融合圖像。

28、第二方面，本發(fā)明實(shí)施例還提供了一種暗光圖像融合裝置，裝置包括：

29、數(shù)據(jù)獲取模塊，用于獲取暗光區(qū)域的可見光數(shù)據(jù)和與所述可見光數(shù)據(jù)對(duì)應(yīng)的紅外光數(shù)據(jù)；

30、生成模塊，用于通過預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)對(duì)所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)進(jìn)行特征融合，得到所述暗光區(qū)域的增強(qiáng)光圖像和所述暗光區(qū)域的紅外光圖像；

31、融合模塊，用于將所述增強(qiáng)光圖像和所述紅外光圖像對(duì)預(yù)設(shè)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)生成器，所述目標(biāo)生成器用于圖像融合。

32、第三方面，本發(fā)明實(shí)施例還提供了一種電子設(shè)備，所述電子設(shè)備包括：

33、一個(gè)或者多個(gè)處理器；

34、存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或者多個(gè)程序；

35、當(dāng)所述一個(gè)或者多個(gè)程序被所述一個(gè)或者多個(gè)處理器執(zhí)行，使得所述一個(gè)或者多個(gè)處理器實(shí)現(xiàn)如本發(fā)明任一所述實(shí)施例中的暗光圖像融合方法。

36、第四方面，本發(fā)明實(shí)施例還提供了一種包含計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令在由計(jì)算機(jī)處理器執(zhí)行時(shí)用于執(zhí)行如本發(fā)明任一所述實(shí)施例中的暗光圖像融合方法。

37、本發(fā)明實(shí)施例的技術(shù)方案，通過獲取暗光區(qū)域的可見光數(shù)據(jù)和與所述可見光數(shù)據(jù)對(duì)應(yīng)的紅外光數(shù)據(jù)；通過預(yù)設(shè)編碼-解碼網(wǎng)絡(luò)對(duì)所述可見光數(shù)據(jù)和所述紅外光數(shù)據(jù)進(jìn)行特征融合，得到所述暗光區(qū)域的增強(qiáng)光圖像和所述暗光區(qū)域的紅外光圖像；將所述增強(qiáng)光圖像和所述紅外光圖像對(duì)預(yù)設(shè)對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)生成器，所述目標(biāo)生成器用于圖像融合。通過輸入為紅外數(shù)據(jù)和可見光數(shù)據(jù)的預(yù)設(shè)編碼-解碼器，生成反射光圖像、增強(qiáng)光圖像和紅外光圖像，進(jìn)而根據(jù)反射光圖像、增強(qiáng)光圖像生成適合融合的可見光圖像，再使用預(yù)設(shè)對(duì)抗網(wǎng)絡(luò)融合可見光圖像和紅外光圖像，從而得到融合效果較好的融合圖像，保證了融合圖像的質(zhì)量，提升圖像增強(qiáng)能力，為后續(xù)高級(jí)計(jì)算機(jī)視覺任務(wù)提供較好的預(yù)處理數(shù)據(jù)。