(一)本發(fā)明涉及圖形圖像學中的圖像生成領域，更具體地，涉及到一種基于語義信息和夜視儀的成像原理來將白天拍攝的圖像轉(zhuǎn)換為夜視風格圖像的方法。

背景技術：

0、(二)背景技術

1、夜視圖像是用特殊夜間成像設備獲取到的圖像，作為一種風格獨特的圖像，在多模態(tài)融合和自動駕駛等領域有著重要的研究價值。然而，受制于夜視儀高昂的成本，現(xiàn)有的夜視圖像數(shù)據(jù)集十分稀缺，且相較于普通圖像，夜視圖像的分辨率較低，難以滿足夜視領域計算機視覺任務中神經(jīng)網(wǎng)絡的訓練需要。此外，在某些跨域計算機視覺任務中，需要包含夜視圖像在內(nèi)的不同目標域間的成對圖像，但是成對的白天-夜視圖像拍攝時間跨度大，獲取難度較高，這些問題都限制了夜視圖像在計算機視覺及其相關領域的發(fā)展。

2、現(xiàn)有的圖像生成方法多是基于深度學習的方法，主要可以分為基于變分自編碼器結(jié)構(variationalauto-encoder，vae)的方法和基于生成網(wǎng)絡結(jié)構(generativeadversarial?network,gan)的方法兩類。自kingma等人[1]于2013年提出vae后，該結(jié)構迅速成為圖像生成領域的熱門研究方向。2016年，yeh等人[2]針對復雜的圖像生成任務中無法處理多種結(jié)構特征的內(nèi)部聯(lián)系的問題，提出了一種新的自編碼流模型，稱為自編碼流變量網(wǎng)絡(autoencoded?flow?variational?network,afvn)，提高了生成圖像的質(zhì)量。2017年，van等人[3]提出vq-vae，將vae擴展到離散空間，可以學習到更高效的數(shù)據(jù)編碼方式，并且可以在不丟失信息的情況下將連續(xù)數(shù)據(jù)轉(zhuǎn)化為離散數(shù)據(jù)，在圖像生成領域取得了較好的結(jié)果。生成對抗網(wǎng)絡[4]是由goodfellow等人于2014年提出的生成模型，由于其出色的性能，誕生之初就迅速取代vae和cnn成為圖像生成領域最熱門的網(wǎng)絡模型。原始的gan網(wǎng)絡可以實現(xiàn)風格接近的圖像域之間的圖像風格變換，但是在風格差異明顯的圖像域翻譯任務中表現(xiàn)不佳，并且原始gan模型訓練過程中存在模式崩潰(mode?collapse)問題。許多學者對gan模型提出了改進方案。mirza等[5]提出了條件生成對抗網(wǎng)絡cgan，cgan中的生成器可以接收某些特定條件，比如標簽或者關鍵詞作為輸入，并根據(jù)這些輸入生成出對應的高質(zhì)量的圖像。針對傳統(tǒng)gan存在模式崩潰、訓練過程不穩(wěn)定等問題，2016年，radford等人[6]將gan與cnn結(jié)合，提出的dcgan通過引入卷積層和反卷積層，加強了圖像特征的提取和表達能力，同時使用了batchnormalization來穩(wěn)定模型訓練過程，提高模型的生成能力和穩(wěn)定性；次年，mao等人[7]提出lsgan通過使用最小二乘損失函數(shù)來替換原來的二元交叉熵損失函數(shù)，改進了gan模型在訓練過程中的不穩(wěn)定性；wgan[8]使用wasserstein距離來替換原來的js散度，解決了gan模型在訓練過程中梯度消失和梯度爆炸的問題。以上兩類方法在圖像生成領域有著較為出色的表現(xiàn)，但是均依賴于目標域夜視圖像數(shù)據(jù)集，且數(shù)據(jù)集中圖像的質(zhì)量直接影響著最終生成圖像的質(zhì)量，這與當前夜視圖像領域數(shù)據(jù)集稀缺且清晰度較低的問題成為難以調(diào)和的矛盾。因此，以上兩類方法并不適用于夜視圖像生成領域。

3、針對目前圖像生成方法存在的問題，本發(fā)明基于傳統(tǒng)圖像處理算法與真實成像過程，在不依賴高性能gpu與真實夜視數(shù)據(jù)集的條件下，將輸入的白天風格圖像轉(zhuǎn)換為清晰的夜視風格圖像。

4、參考文獻：

5、[1]kingma?d?p,welling?m.auto-encoding?variational?bayes[j].arxivpreprint?arxiv:1312.6114,2013.

6、[2]yeh?r,liu?z,goldman?d?b,et?al.semantic?facial?expression?editingusing?autoencoded?flow[j].arxiv?preprint?arxiv:1611.09961,2016.

7、[3]van?den?oord?a,vinyals?o.neural?discrete?representation?learning[j].advances?in?neural?information?processing?systems,2017,30.

8、[4]goodfellow?ij,pouget-abadie?j,mirza?m,et?al.generative?adversarialnets.proceedings?of?the?27th?international?conference?on?neural?informationprocessing?systems.montreal:mit?press,2014.2672–2680

9、[5]mirza?m,osindero?s.conditional?generative?adversarial?nets[j].arxiv?preprint?arxiv:1411.1784,2014.

10、[6]radford?a,metz?l,chintala?s.unsupervised?representation?learningwith?deep?convolutional?generative?adversarial?networks[j].arxiv?preprintarxiv:1511.06434,2015.

11、[7]mao?x,li?q,xie?h,et?al.least?squares?generative?adversarialnetworks[c]//proceedings?of?the?ieee?international?conference?on?computervision.2017:2794-2802.

12、[8]arjovsky?m,chintala?s,bottou?l.wasserstein?gan[j].arxiv?preprintarxiv:1701.07875,2017.

技術實現(xiàn)思路

0、(三)
技術實現(xiàn)要素：

1、針對目前基于深度學習的圖像生成算法不適用于夜視圖像生成任務的問題，提出基于語義信息的夜視圖像生成算法。本發(fā)明有以下幾點目的：①對真實夜視儀的成像過程進行分析與建模。②提出一種新型的基于成像原理和成像過程建模的圖像生成方法。③在不依賴高性能gpu與真實夜視圖像數(shù)據(jù)集的前提下根據(jù)輸入的白天圖像生成對應場景的夜視圖像。④提高夜視圖像的清晰度和分辨率，使生成的夜視圖像與輸入的白天圖像具有相同的分辨率和相似的清晰度。

2、本發(fā)明是通過以下技術方案實現(xiàn)的：

3、1.本發(fā)明的算法流程

4、本發(fā)明按照如下步驟進行處理，可以依次生成微光圖像、夜視圖像可見光波段部分以及完整的夜視圖像。

5、步驟1根據(jù)日月光輻射光譜、大氣傳輸特性、單反相機與夜視儀成像原理建立兩種成像系統(tǒng)的完整成像模型。

6、步驟2通過自定義的非線性變換調(diào)整輸入圖像i的亮暗分布與對比度，然后調(diào)整圖像的均值和方差得到微光圖像il。

7、步驟3根據(jù)單反相機和夜視儀兩種成像系統(tǒng)的原理，計算變換兩種成像系統(tǒng)的線性擬合系數(shù)，并將微光圖像il的三個通道擬合成夜視圖像的可見光波段部分ivis。

8、步驟4根據(jù)夜視儀的完整成像模型，將月光光譜輻照度、光電轉(zhuǎn)換元器件光譜響應、不同景物的光譜反射特性等參數(shù)帶入成像數(shù)學模型，計算不同景物的可見光-近紅外映射關系。

9、步驟5在語義標簽的指導下，按照景物的類別和對應的見光-近紅外映射關系，根據(jù)夜視圖像可見光波段能量ivis逐像素地計算得到夜視圖像近紅外波段能量inir，并將其與ivis相加得到完整地夜視圖像。

10、基于以上步驟地信號處理流程圖如圖1(a)所示，步驟(2)中使用的非線性變換如圖1(b)所示，步驟(3)中的線性擬合系數(shù)和和步驟(4)中的不同景物的可見光-近紅外映射關系計算使用的模型如圖1(c)所示。

11、2.本發(fā)明的技術原理

12、技術原理部分首先分析了兩種成像系統(tǒng)的完整成像模型，在此基礎上計算得到變換成像系統(tǒng)所需的線性擬合系數(shù)和夜視儀成像系統(tǒng)中不同景物的可見光-近紅外能量映射關系；其次通過非線性變換得到生成的微光圖像；再次利用計算得到的線性擬合系數(shù)將微光圖像線性擬合成夜視圖像的可見光波段；最后在夜視儀成像系統(tǒng)中不同景物的可見光-近紅外能量映射關系和語義信息的指導下，根據(jù)不同的景物類別，逐像素地由夜視圖像可見光波段能量合成對應地近紅外能量，進而相加得到完整的夜視圖像。

13、2.1兩種成像系統(tǒng)成像模型

14、(1)日月光光譜與大氣傳輸特性

15、美國材料實驗協(xié)會(american?society?of?testing?materials，astm)發(fā)布了一項名為am?1.5g的標準，定義為地表太陽光參考光譜。如圖2所示。月光的來源為月球表面反射的太陽光，因此月光有著和太陽光相似的光譜輻照度曲線，如圖3所示。

16、大氣傳輸特性是指光線在大氣中傳輸時輻射能量衰減的特性，大氣損耗包括大氣散射和大氣吸收。在空氣環(huán)境良好時，空氣中微粒對不同波長的光有著相似的散射率，實驗中忽略大氣散射的影響。大氣的吸收特性是指大氣中的各種氣體對于電磁波輻射的選擇性吸收過程導致的電磁波輻射強度下降的特性。大氣中二氧化碳、水蒸氣和臭氧的濃度影響著大氣的吸收特性。圖4是典型的大氣吸收光譜。

17、(2)兩種成像系統(tǒng)模型

18、本專利涉及到的圖像分別來自兩種不同類型的成像設備，分別為單反相機成像系統(tǒng)和夜視儀成像系統(tǒng)。相機成像系統(tǒng)采集的圖像為三通道的rgb圖像，夜視儀成像系統(tǒng)采集的圖像為夜間場景下由微光夜視儀采集的單通道圖像。

19、普通單反相機和夜視儀的最大不同之處在于其內(nèi)部的感光元器件的差異。夜視儀輸出的圖像為單通道的能量圖，不含色彩信息，單反相機三個通道視為獨立的輸出，兩種成像系統(tǒng)的光電轉(zhuǎn)換器件的相對光譜響應如圖5所示。

20、兩種成像系統(tǒng)的成像器件光譜響應函數(shù)的差異體現(xiàn)在兩方面，一是通道數(shù)的不同，二是橫坐標范圍即接收光波長的范圍不同。將夜視圖像的完整信息按照波長范圍是否與相機成像系統(tǒng)拍攝的白天圖像重合分為兩部分，分別是400nm-700nm的ivis和700nm-950nm的inir。兩種成像系統(tǒng)除光電轉(zhuǎn)換器件外，其余部件的增益均可視為線性增益，忽略其影響。像素的亮度值取決于單位時間內(nèi)激發(fā)電子的數(shù)量，成像過程實際上是感光元器件對電子進行積分的過程。

21、若假設成像系統(tǒng)物鏡端接受的景物光譜能量分布為d(λ)，則夜視鏡的成像過程為

22、

23、式(1)中envg表示夜視鏡成像系統(tǒng)的輸出亮度圖(逐像素計)，λmin和λmax分別代表微光夜視鏡像增強器的相對光譜響應曲線上下限，本文中分別取400nm和950nm。λ為波長，單位為納米，res(λ)為微光夜視鏡像增強器的相對光譜響應。k1為常數(shù)，包括相對光譜響應與絕對值之間的補償系數(shù)和像增強器的放大系數(shù)。

24、類似地，可以得到相機成像系統(tǒng)的成像過程為：

25、

26、

27、

28、公式(2)、(3)和(4)中，ir、ig、ib分別代表相機成像系統(tǒng)的rgb通道像素值亮度，res_r(λ)、res_g(λ)、res_b(λ)分別代表相機成像系統(tǒng)三個通道的相對光譜響應，d(λ)為物鏡端接受的景物光譜能量分布。

29、2.2生成微光圖像

30、由于傳統(tǒng)的gamma變換的變換曲線為單調(diào)曲線，只能進行對比度的放縮，無法發(fā)生對比度的反轉(zhuǎn)，即亮度較低的像素經(jīng)過gamma變換后亮度仍然較低，與真實情況不符。為了解決此類問題，本專利提出的算法使用非單調(diào)變換+gamma變換的方式調(diào)整輸入圖像i的對比度。然后調(diào)整均值和方差得到微光圖像il。

31、使用的非單調(diào)變換的曲線f如圖6所示，f的計算公式為：

32、

33、對于輸入的白天圖像i的每個通道in(n＝1，2，3，分別代表紅色、綠色、藍色通道)，首先進行非單調(diào)變換得到(it)n(n含義同in)，即

34、(it)n＝in.*f(2*ir+2*ib+ig+1)???(6)

35、式(6)中，f為如式(5)所示，ir、ig、ib分別代表i的紅色通道、綠色通道和藍色通道，點乘運算表示i的每個通道均與變換矩陣f(2*ir+2*ib+ig)求哈達馬積。

36、然后對得到的it進行gamma彎換調(diào)整對比度，即

37、

38、式(7)中，it如式(6)所示，γ取0.3以拉伸圖像較暗處，壓縮圖像較亮處，使整體圖像亮度更為均衡。

39、最后，通過乘上一個系數(shù)將圖像的均值調(diào)整至所需的亮度得到微光圖像il，驗證實驗中將圖像均值調(diào)整至23。

40、2.3生成夜視圖像可見光部分

41、按照波長范圍將完整的夜視圖像invg分為可見光部分ivis和近紅外光部分inir，其中，ivis的計算公式為：

42、

43、公式(8)中各變量和參數(shù)的意義同公式(1)。物鏡端接收到的景物光譜能量分布d(λ)的計算公式為：

44、d(λ)＝k0es(λ)ρ(λ)t(λ)αij???(9)

45、其中es(λ)表示地面接收到的光源的光譜輻射強度，ρ(λ)表示景物的光譜反射率，t(λ)表示大氣傳輸損耗系數(shù)，αij表示遮擋和入射出射角度導致的亮度衰減。由于景物的光譜反射率和光源的光譜分布均為歸一化的相對值，因此公式右端需要乘上一個補償系數(shù)k0。

46、將公式(2)、(3)、(4)中等號右端的es(λ)替換為月光光譜輻照度后，對應的白天圖像的三通道的計算公式即變?yōu)槲⒐鈭D像的三通道計算公式，將公式(10)代入到公式(2)、(3)、(4)和(8)得到夜間滿月光照明條件下，微光圖像的三通道(il)r、(il)g、(il)b和夜視圖像的可見光信息ivis如下所示。

47、

48、

49、

50、

51、以上4個公式中，ivis為夜視圖像的可見光部分能量，由于均為相同場景，αij相同且與λ無關，可將αij視為常量，大氣傳輸損耗t(λ)在可見光波段400nm-700nm為固定常數(shù)。il已知，假設ivis＝kr*(il)r+kg*(il)g+kb*(il)b，其中kr、kg、kb為常數(shù)。則問題轉(zhuǎn)化為被積函數(shù)之間的線性擬合。忽略掉無關變量ρ(λ)和αij，(il)r、(il)g、(il)b和ivis對應的被積函數(shù)在λ∈[400nm，700hm]的曲線fr、fg、fb和fvis如圖7所示。

52、以kr、kg、kb為自變量，以離散取樣點的均方誤差作為擬合誤差，使用梯度下降法(stochastic?gradient?descent，sgd)最小化擬合誤差，得到擬合誤差最小時的kr、kg、kb，從而得到夜視圖像可見光波段圖像ivis：

53、ivis＝kr*(il)r+kg*(il)g+kb*(il)b???(14)

54、公式(14)中，(il)r、(il)g、(il)b分別代表生成的微光圖像il的紅色、綠色、藍色通道。

55、2.4生成完整夜視圖像

56、已經(jīng)得到夜視圖像的可見光波段信息，還缺少近紅外波段信息，根據(jù)已經(jīng)建立的夜視儀成像模型，近紅外波段信息的計算公式為：

57、

58、將公式(9)物鏡端接收到的景物光譜能量分布d(λ)帶入公式(15)得到：

59、

60、上式中，由于各個像素的αij均不同且無法獲取，因此無法直接利用公式求得圖像的近紅外能量。考慮到evis和enir為相同場景，具有相同的αij，因此利用已知信息evis，逐像素地計算evis和enir的比值，得到可見光-近紅外映射關系。對比evis和enir成像公式，由于evis和enir場景相同，所以αij相同，αij只取決于景物的角度和遮擋等因素，與波長無關，因此evis和enir的比值可忽略αij影響。圖8給出了地面常見景物在400nm-950nm波段的光譜反射率，將res(λ)、es(λ)、ρ(λ)、t(λ)代入公式(13)和公式(16)，并計算其比值消去無關常量，得到每種景物的可見光-近紅外映射關系如圖9所示。在圖像語義信息的指導下，按照求得的景物的可見光-近紅外映射關系，逐像素地根據(jù)夜視圖像可見光信息ivis生成夜視圖像近紅外信息inir，然后直接將兩部分相加求和，即得到完整的夜視圖像，即

61、invg＝ivis+inir???(17)

62、3.本發(fā)明的驗證實驗

63、為了驗證本發(fā)明中生成的夜視圖像的質(zhì)量，我們輸入部分白天圖像并使用該方法生成夜視圖像，并與部分基于生成對抗網(wǎng)絡的方法進行對比，生成的圖像如圖10所示，通過主觀評價(滿分10分)與客觀評價方法評估生成圖像的質(zhì)量，主觀評價和客觀評價的結(jié)果如圖11和12所示。本專利提出的方法在主觀評價與客觀評價中均超過其他的方法。

64、同時，為了驗證本專利中各項步驟的有效性，還針對非單調(diào)變換、線性擬合以及可見光-近紅外映射關系進行消融實驗并使用fid來評估與真實夜視圖像的差異。針對非單調(diào)變換的消融實驗對比了去除非單調(diào)變換后的fid；針對線性擬合的消融實驗取消線性擬合步驟，分別用微光圖像的紅色通道r、綠色通道g和藍色通道b來代替擬合結(jié)果ivis作為夜視圖像的可見光部分；針對不同景物可見光-近紅外映射關系的消融實驗設置了超參數(shù)γ，對所有景物的可見光-近紅外映射關系進行gamma變換以逐步消融該映射關系，當γ＝1時，為原始映射關系，γ＝0時，所有景物的可見光-近紅外映射關系均為1，相當于完全消融映射關系。實驗結(jié)果如圖13、圖14、圖15所示，實驗結(jié)果表明本專利的主要步驟在夜視圖像生成任務中具有正面效果。

65、與現(xiàn)有技術相比，本發(fā)明的有益效果是：本發(fā)明提出的夜視圖像生成方法能夠在不依賴真實夜視圖像數(shù)據(jù)集和高性能顯卡的前提下生成高質(zhì)量的夜視圖像，且生成的夜視圖像具有與原始輸入圖像相同的分辨率和相似的清晰度，在圖像清晰度方面遠遠超過現(xiàn)有的基于生成對抗網(wǎng)絡生成的夜視圖像。在夜視圖像領域的相關研究中，能夠緩解對硬件設施的要求，以更低的成本獲取質(zhì)量更好的夜視圖像。