(一)本發(fā)明涉及圖形圖像學(xué)中的圖像生成領(lǐng)域，更具體地，涉及到一種基于語(yǔ)義信息和夜視儀的成像原理來(lái)將白天拍攝的圖像轉(zhuǎn)換為夜視風(fēng)格圖像的方法。

背景技術(shù)：

0、(二)背景技術(shù)

1、夜視圖像是用特殊夜間成像設(shè)備獲取到的圖像，作為一種風(fēng)格獨(dú)特的圖像，在多模態(tài)融合和自動(dòng)駕駛等領(lǐng)域有著重要的研究?jī)r(jià)值。然而，受制于夜視儀高昂的成本，現(xiàn)有的夜視圖像數(shù)據(jù)集十分稀缺，且相較于普通圖像，夜視圖像的分辨率較低，難以滿足夜視領(lǐng)域計(jì)算機(jī)視覺(jué)任務(wù)中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要。此外，在某些跨域計(jì)算機(jī)視覺(jué)任務(wù)中，需要包含夜視圖像在內(nèi)的不同目標(biāo)域間的成對(duì)圖像，但是成對(duì)的白天-夜視圖像拍攝時(shí)間跨度大，獲取難度較高，這些問(wèn)題都限制了夜視圖像在計(jì)算機(jī)視覺(jué)及其相關(guān)領(lǐng)域的發(fā)展。

2、現(xiàn)有的圖像生成方法多是基于深度學(xué)習(xí)的方法，主要可以分為基于變分自編碼器結(jié)構(gòu)(variationalauto-encoder，vae)的方法和基于生成網(wǎng)絡(luò)結(jié)構(gòu)(generativeadversarial?network,gan)的方法兩類(lèi)。自kingma等人[1]于2013年提出vae后，該結(jié)構(gòu)迅速成為圖像生成領(lǐng)域的熱門(mén)研究方向。2016年，yeh等人[2]針對(duì)復(fù)雜的圖像生成任務(wù)中無(wú)法處理多種結(jié)構(gòu)特征的內(nèi)部聯(lián)系的問(wèn)題，提出了一種新的自編碼流模型，稱(chēng)為自編碼流變量網(wǎng)絡(luò)(autoencoded?flow?variational?network,afvn)，提高了生成圖像的質(zhì)量。2017年，van等人[3]提出vq-vae，將vae擴(kuò)展到離散空間，可以學(xué)習(xí)到更高效的數(shù)據(jù)編碼方式，并且可以在不丟失信息的情況下將連續(xù)數(shù)據(jù)轉(zhuǎn)化為離散數(shù)據(jù)，在圖像生成領(lǐng)域取得了較好的結(jié)果。生成對(duì)抗網(wǎng)絡(luò)[4]是由goodfellow等人于2014年提出的生成模型，由于其出色的性能，誕生之初就迅速取代vae和cnn成為圖像生成領(lǐng)域最熱門(mén)的網(wǎng)絡(luò)模型。原始的gan網(wǎng)絡(luò)可以實(shí)現(xiàn)風(fēng)格接近的圖像域之間的圖像風(fēng)格變換，但是在風(fēng)格差異明顯的圖像域翻譯任務(wù)中表現(xiàn)不佳，并且原始gan模型訓(xùn)練過(guò)程中存在模式崩潰(mode?collapse)問(wèn)題。許多學(xué)者對(duì)gan模型提出了改進(jìn)方案。mirza等[5]提出了條件生成對(duì)抗網(wǎng)絡(luò)cgan，cgan中的生成器可以接收某些特定條件，比如標(biāo)簽或者關(guān)鍵詞作為輸入，并根據(jù)這些輸入生成出對(duì)應(yīng)的高質(zhì)量的圖像。針對(duì)傳統(tǒng)gan存在模式崩潰、訓(xùn)練過(guò)程不穩(wěn)定等問(wèn)題，2016年，radford等人[6]將gan與cnn結(jié)合，提出的dcgan通過(guò)引入卷積層和反卷積層，加強(qiáng)了圖像特征的提取和表達(dá)能力，同時(shí)使用了batchnormalization來(lái)穩(wěn)定模型訓(xùn)練過(guò)程，提高模型的生成能力和穩(wěn)定性；次年，mao等人[7]提出lsgan通過(guò)使用最小二乘損失函數(shù)來(lái)替換原來(lái)的二元交叉熵?fù)p失函數(shù)，改進(jìn)了gan模型在訓(xùn)練過(guò)程中的不穩(wěn)定性；wgan[8]使用wasserstein距離來(lái)替換原來(lái)的js散度，解決了gan模型在訓(xùn)練過(guò)程中梯度消失和梯度爆炸的問(wèn)題。以上兩類(lèi)方法在圖像生成領(lǐng)域有著較為出色的表現(xiàn)，但是均依賴于目標(biāo)域夜視圖像數(shù)據(jù)集，且數(shù)據(jù)集中圖像的質(zhì)量直接影響著最終生成圖像的質(zhì)量，這與當(dāng)前夜視圖像領(lǐng)域數(shù)據(jù)集稀缺且清晰度較低的問(wèn)題成為難以調(diào)和的矛盾。因此，以上兩類(lèi)方法并不適用于夜視圖像生成領(lǐng)域。

3、針對(duì)目前圖像生成方法存在的問(wèn)題，本發(fā)明基于傳統(tǒng)圖像處理算法與真實(shí)成像過(guò)程，在不依賴高性能gpu與真實(shí)夜視數(shù)據(jù)集的條件下，將輸入的白天風(fēng)格圖像轉(zhuǎn)換為清晰的夜視風(fēng)格圖像。

4、參考文獻(xiàn)：

5、[1]kingma?d?p,welling?m.auto-encoding?variational?bayes[j].arxivpreprint?arxiv:1312.6114,2013.

6、[2]yeh?r,liu?z,goldman?d?b,et?al.semantic?facial?expression?editingusing?autoencoded?flow[j].arxiv?preprint?arxiv:1611.09961,2016.

7、[3]van?den?oord?a,vinyals?o.neural?discrete?representation?learning[j].advances?in?neural?information?processing?systems,2017,30.

8、[4]goodfellow?ij,pouget-abadie?j,mirza?m,et?al.generative?adversarialnets.proceedings?of?the?27th?international?conference?on?neural?informationprocessing?systems.montreal:mit?press,2014.2672–2680

9、[5]mirza?m,osindero?s.conditional?generative?adversarial?nets[j].arxiv?preprint?arxiv:1411.1784,2014.

10、[6]radford?a,metz?l,chintala?s.unsupervised?representation?learningwith?deep?convolutional?generative?adversarial?networks[j].arxiv?preprintarxiv:1511.06434,2015.

11、[7]mao?x,li?q,xie?h,et?al.least?squares?generative?adversarialnetworks[c]//proceedings?of?the?ieee?international?conference?on?computervision.2017:2794-2802.

12、[8]arjovsky?m,chintala?s,bottou?l.wasserstein?gan[j].arxiv?preprintarxiv:1701.07875,2017.

技術(shù)實(shí)現(xiàn)思路

0、(三)
技術(shù)實(shí)現(xiàn)要素：

1、針對(duì)目前基于深度學(xué)習(xí)的圖像生成算法不適用于夜視圖像生成任務(wù)的問(wèn)題，提出基于語(yǔ)義信息的夜視圖像生成算法。本發(fā)明有以下幾點(diǎn)目的：①對(duì)真實(shí)夜視儀的成像過(guò)程進(jìn)行分析與建模。②提出一種新型的基于成像原理和成像過(guò)程建模的圖像生成方法。③在不依賴高性能gpu與真實(shí)夜視圖像數(shù)據(jù)集的前提下根據(jù)輸入的白天圖像生成對(duì)應(yīng)場(chǎng)景的夜視圖像。④提高夜視圖像的清晰度和分辨率，使生成的夜視圖像與輸入的白天圖像具有相同的分辨率和相似的清晰度。

2、本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

3、1.本發(fā)明的算法流程

4、本發(fā)明按照如下步驟進(jìn)行處理，可以依次生成微光圖像、夜視圖像可見(jiàn)光波段部分以及完整的夜視圖像。

5、步驟1根據(jù)日月光輻射光譜、大氣傳輸特性、單反相機(jī)與夜視儀成像原理建立兩種成像系統(tǒng)的完整成像模型。

6、步驟2通過(guò)自定義的非線性變換調(diào)整輸入圖像i的亮暗分布與對(duì)比度，然后調(diào)整圖像的均值和方差得到微光圖像il。

7、步驟3根據(jù)單反相機(jī)和夜視儀兩種成像系統(tǒng)的原理，計(jì)算變換兩種成像系統(tǒng)的線性擬合系數(shù)，并將微光圖像il的三個(gè)通道擬合成夜視圖像的可見(jiàn)光波段部分ivis。

8、步驟4根據(jù)夜視儀的完整成像模型，將月光光譜輻照度、光電轉(zhuǎn)換元器件光譜響應(yīng)、不同景物的光譜反射特性等參數(shù)帶入成像數(shù)學(xué)模型，計(jì)算不同景物的可見(jiàn)光-近紅外映射關(guān)系。

9、步驟5在語(yǔ)義標(biāo)簽的指導(dǎo)下，按照景物的類(lèi)別和對(duì)應(yīng)的見(jiàn)光-近紅外映射關(guān)系，根據(jù)夜視圖像可見(jiàn)光波段能量ivis逐像素地計(jì)算得到夜視圖像近紅外波段能量inir，并將其與ivis相加得到完整地夜視圖像。

10、基于以上步驟地信號(hào)處理流程圖如圖1(a)所示，步驟(2)中使用的非線性變換如圖1(b)所示，步驟(3)中的線性擬合系數(shù)和和步驟(4)中的不同景物的可見(jiàn)光-近紅外映射關(guān)系計(jì)算使用的模型如圖1(c)所示。

11、2.本發(fā)明的技術(shù)原理

12、技術(shù)原理部分首先分析了兩種成像系統(tǒng)的完整成像模型，在此基礎(chǔ)上計(jì)算得到變換成像系統(tǒng)所需的線性擬合系數(shù)和夜視儀成像系統(tǒng)中不同景物的可見(jiàn)光-近紅外能量映射關(guān)系；其次通過(guò)非線性變換得到生成的微光圖像；再次利用計(jì)算得到的線性擬合系數(shù)將微光圖像線性擬合成夜視圖像的可見(jiàn)光波段；最后在夜視儀成像系統(tǒng)中不同景物的可見(jiàn)光-近紅外能量映射關(guān)系和語(yǔ)義信息的指導(dǎo)下，根據(jù)不同的景物類(lèi)別，逐像素地由夜視圖像可見(jiàn)光波段能量合成對(duì)應(yīng)地近紅外能量，進(jìn)而相加得到完整的夜視圖像。

13、2.1兩種成像系統(tǒng)成像模型

14、(1)日月光光譜與大氣傳輸特性

15、美國(guó)材料實(shí)驗(yàn)協(xié)會(huì)(american?society?of?testing?materials，astm)發(fā)布了一項(xiàng)名為am?1.5g的標(biāo)準(zhǔn)，定義為地表太陽(yáng)光參考光譜。如圖2所示。月光的來(lái)源為月球表面反射的太陽(yáng)光，因此月光有著和太陽(yáng)光相似的光譜輻照度曲線，如圖3所示。

16、大氣傳輸特性是指光線在大氣中傳輸時(shí)輻射能量衰減的特性，大氣損耗包括大氣散射和大氣吸收。在空氣環(huán)境良好時(shí)，空氣中微粒對(duì)不同波長(zhǎng)的光有著相似的散射率，實(shí)驗(yàn)中忽略大氣散射的影響。大氣的吸收特性是指大氣中的各種氣體對(duì)于電磁波輻射的選擇性吸收過(guò)程導(dǎo)致的電磁波輻射強(qiáng)度下降的特性。大氣中二氧化碳、水蒸氣和臭氧的濃度影響著大氣的吸收特性。圖4是典型的大氣吸收光譜。

17、(2)兩種成像系統(tǒng)模型

18、本專(zhuān)利涉及到的圖像分別來(lái)自兩種不同類(lèi)型的成像設(shè)備，分別為單反相機(jī)成像系統(tǒng)和夜視儀成像系統(tǒng)。相機(jī)成像系統(tǒng)采集的圖像為三通道的rgb圖像，夜視儀成像系統(tǒng)采集的圖像為夜間場(chǎng)景下由微光夜視儀采集的單通道圖像。

19、普通單反相機(jī)和夜視儀的最大不同之處在于其內(nèi)部的感光元器件的差異。夜視儀輸出的圖像為單通道的能量圖，不含色彩信息，單反相機(jī)三個(gè)通道視為獨(dú)立的輸出，兩種成像系統(tǒng)的光電轉(zhuǎn)換器件的相對(duì)光譜響應(yīng)如圖5所示。

20、兩種成像系統(tǒng)的成像器件光譜響應(yīng)函數(shù)的差異體現(xiàn)在兩方面，一是通道數(shù)的不同，二是橫坐標(biāo)范圍即接收光波長(zhǎng)的范圍不同。將夜視圖像的完整信息按照波長(zhǎng)范圍是否與相機(jī)成像系統(tǒng)拍攝的白天圖像重合分為兩部分，分別是400nm-700nm的ivis和700nm-950nm的inir。兩種成像系統(tǒng)除光電轉(zhuǎn)換器件外，其余部件的增益均可視為線性增益，忽略其影響。像素的亮度值取決于單位時(shí)間內(nèi)激發(fā)電子的數(shù)量，成像過(guò)程實(shí)際上是感光元器件對(duì)電子進(jìn)行積分的過(guò)程。

21、若假設(shè)成像系統(tǒng)物鏡端接受的景物光譜能量分布為d(λ)，則夜視鏡的成像過(guò)程為

22、

23、式(1)中envg表示夜視鏡成像系統(tǒng)的輸出亮度圖(逐像素計(jì))，λmin和λmax分別代表微光夜視鏡像增強(qiáng)器的相對(duì)光譜響應(yīng)曲線上下限，本文中分別取400nm和950nm。λ為波長(zhǎng)，單位為納米，res(λ)為微光夜視鏡像增強(qiáng)器的相對(duì)光譜響應(yīng)。k1為常數(shù)，包括相對(duì)光譜響應(yīng)與絕對(duì)值之間的補(bǔ)償系數(shù)和像增強(qiáng)器的放大系數(shù)。

24、類(lèi)似地，可以得到相機(jī)成像系統(tǒng)的成像過(guò)程為：

25、

26、

27、

28、公式(2)、(3)和(4)中，ir、ig、ib分別代表相機(jī)成像系統(tǒng)的rgb通道像素值亮度，res_r(λ)、res_g(λ)、res_b(λ)分別代表相機(jī)成像系統(tǒng)三個(gè)通道的相對(duì)光譜響應(yīng)，d(λ)為物鏡端接受的景物光譜能量分布。

29、2.2生成微光圖像

30、由于傳統(tǒng)的gamma變換的變換曲線為單調(diào)曲線，只能進(jìn)行對(duì)比度的放縮，無(wú)法發(fā)生對(duì)比度的反轉(zhuǎn)，即亮度較低的像素經(jīng)過(guò)gamma變換后亮度仍然較低，與真實(shí)情況不符。為了解決此類(lèi)問(wèn)題，本專(zhuān)利提出的算法使用非單調(diào)變換+gamma變換的方式調(diào)整輸入圖像i的對(duì)比度。然后調(diào)整均值和方差得到微光圖像il。

31、使用的非單調(diào)變換的曲線f如圖6所示，f的計(jì)算公式為：

32、

33、對(duì)于輸入的白天圖像i的每個(gè)通道in(n＝1，2，3，分別代表紅色、綠色、藍(lán)色通道)，首先進(jìn)行非單調(diào)變換得到(it)n(n含義同in)，即

34、(it)n＝in.*f(2*ir+2*ib+ig+1)???(6)

35、式(6)中，f為如式(5)所示，ir、ig、ib分別代表i的紅色通道、綠色通道和藍(lán)色通道，點(diǎn)乘運(yùn)算表示i的每個(gè)通道均與變換矩陣f(2*ir+2*ib+ig)求哈達(dá)馬積。

36、然后對(duì)得到的it進(jìn)行g(shù)amma彎換調(diào)整對(duì)比度，即

37、

38、式(7)中，it如式(6)所示，γ取0.3以拉伸圖像較暗處，壓縮圖像較亮處，使整體圖像亮度更為均衡。

39、最后，通過(guò)乘上一個(gè)系數(shù)將圖像的均值調(diào)整至所需的亮度得到微光圖像il，驗(yàn)證實(shí)驗(yàn)中將圖像均值調(diào)整至23。

40、2.3生成夜視圖像可見(jiàn)光部分

41、按照波長(zhǎng)范圍將完整的夜視圖像invg分為可見(jiàn)光部分ivis和近紅外光部分inir，其中，ivis的計(jì)算公式為：

42、

43、公式(8)中各變量和參數(shù)的意義同公式(1)。物鏡端接收到的景物光譜能量分布d(λ)的計(jì)算公式為：

44、d(λ)＝k0es(λ)ρ(λ)t(λ)αij???(9)

45、其中es(λ)表示地面接收到的光源的光譜輻射強(qiáng)度，ρ(λ)表示景物的光譜反射率，t(λ)表示大氣傳輸損耗系數(shù)，αij表示遮擋和入射出射角度導(dǎo)致的亮度衰減。由于景物的光譜反射率和光源的光譜分布均為歸一化的相對(duì)值，因此公式右端需要乘上一個(gè)補(bǔ)償系數(shù)k0。

46、將公式(2)、(3)、(4)中等號(hào)右端的es(λ)替換為月光光譜輻照度后，對(duì)應(yīng)的白天圖像的三通道的計(jì)算公式即變?yōu)槲⒐鈭D像的三通道計(jì)算公式，將公式(10)代入到公式(2)、(3)、(4)和(8)得到夜間滿月光照明條件下，微光圖像的三通道(il)r、(il)g、(il)b和夜視圖像的可見(jiàn)光信息ivis如下所示。

47、

48、

49、

50、

51、以上4個(gè)公式中，ivis為夜視圖像的可見(jiàn)光部分能量，由于均為相同場(chǎng)景，αij相同且與λ無(wú)關(guān)，可將αij視為常量，大氣傳輸損耗t(λ)在可見(jiàn)光波段400nm-700nm為固定常數(shù)。il已知，假設(shè)ivis＝kr*(il)r+kg*(il)g+kb*(il)b，其中kr、kg、kb為常數(shù)。則問(wèn)題轉(zhuǎn)化為被積函數(shù)之間的線性擬合。忽略掉無(wú)關(guān)變量ρ(λ)和αij，(il)r、(il)g、(il)b和ivis對(duì)應(yīng)的被積函數(shù)在λ∈[400nm，700hm]的曲線fr、fg、fb和fvis如圖7所示。

52、以kr、kg、kb為自變量，以離散取樣點(diǎn)的均方誤差作為擬合誤差，使用梯度下降法(stochastic?gradient?descent，sgd)最小化擬合誤差，得到擬合誤差最小時(shí)的kr、kg、kb，從而得到夜視圖像可見(jiàn)光波段圖像ivis：

53、ivis＝kr*(il)r+kg*(il)g+kb*(il)b???(14)

54、公式(14)中，(il)r、(il)g、(il)b分別代表生成的微光圖像il的紅色、綠色、藍(lán)色通道。

55、2.4生成完整夜視圖像

56、已經(jīng)得到夜視圖像的可見(jiàn)光波段信息，還缺少近紅外波段信息，根據(jù)已經(jīng)建立的夜視儀成像模型，近紅外波段信息的計(jì)算公式為：

57、

58、將公式(9)物鏡端接收到的景物光譜能量分布d(λ)帶入公式(15)得到：

59、

60、上式中，由于各個(gè)像素的αij均不同且無(wú)法獲取，因此無(wú)法直接利用公式求得圖像的近紅外能量?？紤]到evis和enir為相同場(chǎng)景，具有相同的αij，因此利用已知信息evis，逐像素地計(jì)算evis和enir的比值，得到可見(jiàn)光-近紅外映射關(guān)系。對(duì)比evis和enir成像公式，由于evis和enir場(chǎng)景相同，所以αij相同，αij只取決于景物的角度和遮擋等因素，與波長(zhǎng)無(wú)關(guān)，因此evis和enir的比值可忽略αij影響。圖8給出了地面常見(jiàn)景物在400nm-950nm波段的光譜反射率，將res(λ)、es(λ)、ρ(λ)、t(λ)代入公式(13)和公式(16)，并計(jì)算其比值消去無(wú)關(guān)常量，得到每種景物的可見(jiàn)光-近紅外映射關(guān)系如圖9所示。在圖像語(yǔ)義信息的指導(dǎo)下，按照求得的景物的可見(jiàn)光-近紅外映射關(guān)系，逐像素地根據(jù)夜視圖像可見(jiàn)光信息ivis生成夜視圖像近紅外信息inir，然后直接將兩部分相加求和，即得到完整的夜視圖像，即

61、invg＝ivis+inir???(17)

62、3.本發(fā)明的驗(yàn)證實(shí)驗(yàn)

63、為了驗(yàn)證本發(fā)明中生成的夜視圖像的質(zhì)量，我們輸入部分白天圖像并使用該方法生成夜視圖像，并與部分基于生成對(duì)抗網(wǎng)絡(luò)的方法進(jìn)行對(duì)比，生成的圖像如圖10所示，通過(guò)主觀評(píng)價(jià)(滿分10分)與客觀評(píng)價(jià)方法評(píng)估生成圖像的質(zhì)量，主觀評(píng)價(jià)和客觀評(píng)價(jià)的結(jié)果如圖11和12所示。本專(zhuān)利提出的方法在主觀評(píng)價(jià)與客觀評(píng)價(jià)中均超過(guò)其他的方法。

64、同時(shí)，為了驗(yàn)證本專(zhuān)利中各項(xiàng)步驟的有效性，還針對(duì)非單調(diào)變換、線性擬合以及可見(jiàn)光-近紅外映射關(guān)系進(jìn)行消融實(shí)驗(yàn)并使用fid來(lái)評(píng)估與真實(shí)夜視圖像的差異。針對(duì)非單調(diào)變換的消融實(shí)驗(yàn)對(duì)比了去除非單調(diào)變換后的fid；針對(duì)線性擬合的消融實(shí)驗(yàn)取消線性擬合步驟，分別用微光圖像的紅色通道r、綠色通道g和藍(lán)色通道b來(lái)代替擬合結(jié)果ivis作為夜視圖像的可見(jiàn)光部分；針對(duì)不同景物可見(jiàn)光-近紅外映射關(guān)系的消融實(shí)驗(yàn)設(shè)置了超參數(shù)γ，對(duì)所有景物的可見(jiàn)光-近紅外映射關(guān)系進(jìn)行g(shù)amma變換以逐步消融該映射關(guān)系，當(dāng)γ＝1時(shí)，為原始映射關(guān)系，γ＝0時(shí)，所有景物的可見(jiàn)光-近紅外映射關(guān)系均為1，相當(dāng)于完全消融映射關(guān)系。實(shí)驗(yàn)結(jié)果如圖13、圖14、圖15所示，實(shí)驗(yàn)結(jié)果表明本專(zhuān)利的主要步驟在夜視圖像生成任務(wù)中具有正面效果。

65、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明提出的夜視圖像生成方法能夠在不依賴真實(shí)夜視圖像數(shù)據(jù)集和高性能顯卡的前提下生成高質(zhì)量的夜視圖像，且生成的夜視圖像具有與原始輸入圖像相同的分辨率和相似的清晰度，在圖像清晰度方面遠(yuǎn)遠(yuǎn)超過(guò)現(xiàn)有的基于生成對(duì)抗網(wǎng)絡(luò)生成的夜視圖像。在夜視圖像領(lǐng)域的相關(guān)研究中，能夠緩解對(duì)硬件設(shè)施的要求，以更低的成本獲取質(zhì)量更好的夜視圖像。