本發(fā)明屬于圖像處理中遙感圖像融合，具體涉及基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的遙感圖像全色銳化方法。

背景技術(shù)：

1、近年來(lái)，遙感技術(shù)快速發(fā)展，隨著遙感影像數(shù)據(jù)規(guī)模的不斷擴(kuò)大，在地物勘探、環(huán)境監(jiān)測(cè)以及國(guó)防軍事等領(lǐng)域的應(yīng)用日益突出。然而，受傳感器成像條件和工藝的限制，單一傳感器無(wú)法獲取兼具高空間和高光譜分辨率的遙感影像。一般情況下，遙感衛(wèi)星通過(guò)兩類(lèi)傳感器分別獲取全色圖像(pan)和多光譜(ms)圖像。多光譜圖像在成像前會(huì)將入射光分解為紅、綠、藍(lán)、近紅外等不同譜段，因此光譜分辨率高，但含有的空間信息不足；全色圖像的譜段范圍比多光譜圖像寬，因而光譜分辨率較低，但具有豐富的空間信息。全色銳化的目的是對(duì)兩類(lèi)圖像進(jìn)行融合，結(jié)合兩類(lèi)圖像的互補(bǔ)優(yōu)勢(shì)，以獲得在光譜和空間上兼具高分辨率的遙感影像。融合后的圖像保留了多光譜圖像中的光譜信息，有利于區(qū)分不同的地物目標(biāo)，同時(shí)具有高的空間分辨率，便于觀察目標(biāo)的形狀結(jié)構(gòu)。全色銳化技術(shù)降低了利用單一遙感數(shù)據(jù)對(duì)目標(biāo)進(jìn)行分析的不確定性、不完全性，提高了遙感數(shù)據(jù)的應(yīng)用價(jià)值。

2、傳統(tǒng)的全色銳化方法通常需要借助特定工具從圖像中提取輪廓、邊緣、紋理等特征，隨后進(jìn)行特征選擇，并通過(guò)適當(dāng)?shù)娜诤弦?guī)則將這些特征融合，以生成融合圖像。這些步驟通常需要手動(dòng)設(shè)計(jì)和實(shí)現(xiàn)，其復(fù)雜性較高。然而，傳統(tǒng)方法生成的融合圖像在光譜和空間質(zhì)量之間往往難以實(shí)現(xiàn)良好的平衡。此外，傳統(tǒng)的全色銳化方法往往缺乏對(duì)不同類(lèi)型圖像的適應(yīng)性，無(wú)法靈活處理不同場(chǎng)景、不同分辨率的圖像。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的主流方法，并取得了令人矚目的進(jìn)展。近年來(lái)，這一技術(shù)逐漸在全色銳化領(lǐng)域得到了廣泛應(yīng)用。基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化方法避免了傳統(tǒng)算法中手工設(shè)計(jì)融合方案的問(wèn)題。相反，它通過(guò)聯(lián)合優(yōu)化特征提取、選擇以及融合圖像重建等過(guò)程，減小了中間步驟對(duì)最終融合結(jié)果的影響。此外，生成的融合圖像性能也相較于傳統(tǒng)算法有了顯著提升。

3、在目前提出的應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)解決全色銳化問(wèn)題的方法中，通常將全色銳化視作多光譜圖像的超分辨率重建，即以上采樣的低分辨率多光譜圖像和全色圖像共同作為網(wǎng)絡(luò)模型的輸入，并直接學(xué)習(xí)該輸入到理想高分辨率多光譜(hrms)圖像的映射，但這樣忽略了兩類(lèi)源圖像間的差異性，且沒(méi)有充分利用全色圖像中的空間信息及多光譜圖像中的光譜信息。另一方面，許多網(wǎng)絡(luò)將全色銳化的過(guò)程視作一個(gè)黑盒，模型結(jié)構(gòu)不具有明確的物理可解釋性，同時(shí)也沒(méi)有引入全色銳化領(lǐng)域的先驗(yàn)知識(shí)，因此模型的學(xué)習(xí)能力和性能受到限制。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的遙感圖像全色銳化方法，旨在解決現(xiàn)有技術(shù)中遙感圖像特征提取過(guò)程中對(duì)所有特征一視同仁，未能充分考慮特征之間的重要性差異，導(dǎo)致重要特征被忽視，從而影響了銳化效果的問(wèn)題。

2、本發(fā)明所采用的技術(shù)方案是，基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的遙感圖像全色銳化方法，具體按照以下步驟實(shí)施：

3、步驟1、將原始數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，生成相應(yīng)的數(shù)據(jù)集并進(jìn)行預(yù)處理；

4、步驟2、構(gòu)建基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的全色銳化網(wǎng)絡(luò)模型；

5、步驟3、對(duì)基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的全色銳化網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

6、步驟4、利用訓(xùn)練好的基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的全色銳化網(wǎng)絡(luò)模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行融合；

7、步驟5、對(duì)融合圖像質(zhì)量進(jìn)行評(píng)估。

8、本發(fā)明的特點(diǎn)還在于，

9、步驟1具體按照以下步驟實(shí)施：

10、步驟1.1、使用ikonos的pan源圖像尺寸為12124*13148，lrms源圖像則為3031×3287像素。首先將每類(lèi)衛(wèi)星的源數(shù)據(jù)去除黑邊后，統(tǒng)一劃分為400×400像素的lrms圖像塊及其對(duì)應(yīng)的1600×1600像素的pan圖像塊，確保各圖像塊間無(wú)重疊，共得到63組圖像對(duì)，其中隨機(jī)分配39組為訓(xùn)練集，24組為測(cè)試集；

11、步驟1.2、對(duì)于訓(xùn)練數(shù)據(jù)中的每一組圖像，采用與獲取多光譜圖像的傳感器的調(diào)制傳遞函數(shù)mtf相匹配的濾波器對(duì)原始多光譜ms圖像進(jìn)行濾波，然后采用最近鄰插值的方式對(duì)濾波后的原始多光譜ms圖像進(jìn)行下采樣得到空間退化的原始多光譜ms圖像，同時(shí)采用雙三次插值方式對(duì)全色pan圖像進(jìn)行下采樣得到空間退化的全色pan圖像。對(duì)空間退化的原始多光譜ms圖像進(jìn)行上采樣，使空間退化的原始多光譜ms圖像與空間退化的全色pan圖像尺寸一致。以空間退化的原始多光譜ms圖像及空間退化的全色pan圖像作為模擬輸入數(shù)據(jù)，并將原始多光譜ms圖像作為參考圖像，按設(shè)定步幅將步驟1.1中生成的訓(xùn)練集裁剪為對(duì)應(yīng)的小尺寸圖像塊，以產(chǎn)生數(shù)據(jù)量較大的訓(xùn)練集；

12、步驟1.3、對(duì)于測(cè)試數(shù)據(jù)，分別生成模擬測(cè)試數(shù)據(jù)和真實(shí)測(cè)試數(shù)據(jù)兩類(lèi)。生成模擬測(cè)試數(shù)據(jù)的方式為：對(duì)原始ms和pan圖像分別執(zhí)行空間退化操作，然后對(duì)退化的ms圖像進(jìn)行上采樣，接著對(duì)上采樣的退化ms圖像及退化的pan圖像作歸一化處理，以歸一化后的上采樣的退化ms圖像和退化的pan圖像作為模擬測(cè)試數(shù)據(jù)。生成真實(shí)測(cè)試數(shù)據(jù)的方式為：對(duì)原始ms圖像進(jìn)行上采樣，然后對(duì)上采樣的ms圖像及原始pan圖像作歸一化處理，以歸一化后的上采樣ms圖像和pan圖像作為真實(shí)測(cè)試數(shù)據(jù)。

13、步驟2具體按照以下步驟實(shí)施：

14、基于圖卷積網(wǎng)絡(luò)和注意力金字塔的全色銳化模型由淺層特征提取、深層全局特征提取、特征融合以及圖像重構(gòu)四部分組成，將全色pan圖像與多光譜ms圖像輸入至網(wǎng)絡(luò)模型中，在通道方向拼接全色pan圖像與多光譜ms圖像，分別經(jīng)淺層特征提取、深層全局特征提取、特征融合及最終的圖像重構(gòu)模塊得到融合圖像，詳細(xì)實(shí)施步驟如下所示：

15、步驟2.1、將全色pan圖像與多光譜ms圖像在通道方向進(jìn)行拼接操作從而充分融合兩者的信息，將拼接后的圖像數(shù)據(jù)輸入至淺層特征提取網(wǎng)絡(luò)，以初步提取圖像的基本特征，構(gòu)建兩個(gè)3*3的卷積層以提取出表層信息，其中首個(gè)卷積層進(jìn)行特征提取，提取的淺層特征將輸入至第二個(gè)卷積層用于第二淺層的特征提取和全局殘差；

16、步驟2.2、深度全局特征提取模塊是通過(guò)結(jié)合注意力金字塔模塊和圖卷積神經(jīng)網(wǎng)絡(luò)的多個(gè)鏈?zhǔn)侥K實(shí)現(xiàn)的，將步驟2.1中第二淺層提取的特征作為注意力深層特征提取和全局特征提取的輸入，首先送入注意力金字塔ap模塊，注意力金字塔ap模塊由三個(gè)核心部分構(gòu)成，首先，第一部分利用具有不同膨脹率的卷積注意力模塊執(zhí)行特征提取操作，具體膨脹率分別為6、12和18，其次，第二部分包含1*1卷積注意力和池化卷積注意力組件，最后，第三部分涉及特征圖的拼接與壓縮操作，以實(shí)現(xiàn)信息的有效整合與傳遞，由ap模塊輸出的特征圖再依次輸入至圖卷積神經(jīng)網(wǎng)絡(luò)gcn中，此時(shí)將傳統(tǒng)的卷積操作轉(zhuǎn)換為圖卷積，使用歸一化的拉普拉斯矩陣進(jìn)行信息聚合，從而提取出經(jīng)全局分析的深層特征；接著，通過(guò)1*1卷積操作，進(jìn)行特征壓縮，之后再次應(yīng)用注意力金字塔，增強(qiáng)高頻信息的重建，最后，引入長(zhǎng)殘差操作確保模型的穩(wěn)定性和高效性；

17、步驟2.3、將上述步驟2.2經(jīng)注意力深度特征提取輸出的特征使用特征融合模塊進(jìn)行全局特征融合，此特征融合模塊涵蓋特征融合與全局殘差學(xué)習(xí)兩方面。特征融合部分由兩層卷積層組成，分別為1*1卷積層和3*3卷積層；其中，1×1卷積層的主要是自適應(yīng)地融合不同尺度的特征，而3×3卷積層則負(fù)責(zé)進(jìn)一步提取融合后的特征，以支持全局殘差學(xué)習(xí)，全局殘差部分結(jié)合經(jīng)過(guò)一層卷積處理的淺層特征和融合后的特征，二者相加獲取最終的特征圖；

18、步驟2.4、將上述步驟2.3得到最終的特征圖經(jīng)圖像重構(gòu)模塊即一3*3卷積層對(duì)特征圖進(jìn)行整合，將特征圖的通道數(shù)恢復(fù)為4，重建形成最終的hrms圖像。

19、4.根據(jù)權(quán)利要求3所述的基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的遙感圖像全色銳化方法，其特征在于，所述步驟3具體按照以下步驟實(shí)施：

20、步驟3.1、將步驟1中生成的訓(xùn)練集作為步驟2中所提網(wǎng)絡(luò)結(jié)構(gòu)模型的輸入進(jìn)行有監(jiān)督訓(xùn)練，訓(xùn)練過(guò)程中采用的損失函數(shù)為

21、l＝lm+lgrad?(1)

22、其中l(wèi)m、lgrad分別為融合圖像hrms和真實(shí)圖像pan之間差的范數(shù)、hrms和pan的梯度之差的l1范數(shù)；

23、步驟3.2、兩個(gè)損失項(xiàng)分別定義如下：

24、

25、式中，分別為網(wǎng)絡(luò)的輸出即融合圖像及真實(shí)圖像pan；

26、步驟3.3、采用adam方法更新模型參數(shù)，訓(xùn)練過(guò)程中的學(xué)習(xí)率設(shè)置為0.001，直到損失值收斂或達(dá)到設(shè)定的最大迭代次數(shù)時(shí)停止訓(xùn)練，得到訓(xùn)練好的基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的全色銳化網(wǎng)絡(luò)模型。

27、步驟4具體按照以下步驟實(shí)施：

28、將步驟1.3中所描述的測(cè)試數(shù)據(jù)生成模擬測(cè)試數(shù)據(jù)和真實(shí)測(cè)試數(shù)據(jù)分別輸入至步驟3訓(xùn)練好的基于圖卷積神經(jīng)網(wǎng)絡(luò)和注意力金字塔的全色銳化網(wǎng)絡(luò)模型獲得相應(yīng)的模擬融合結(jié)果和真實(shí)融合結(jié)果，將獲得的融合結(jié)果的像素值裁減至[0,1]區(qū)間，再通過(guò)乘最大像素灰度值的方式進(jìn)行反歸一化得到最終的融合結(jié)果。

29、步驟5具體按照以下步驟實(shí)施：

30、對(duì)于模擬融合圖像，以原始多光譜ms圖像為參照，步驟4得到的融合圖像的質(zhì)量進(jìn)行定性評(píng)估；對(duì)于真實(shí)融合圖像，將步驟4得到的融合圖像與原始ms和全色pan圖像進(jìn)行對(duì)照，對(duì)融合圖像進(jìn)行定性評(píng)估。

31、本發(fā)明的有益效果是，第一，模型采用淺層特征提取與注意力深層特征提取相結(jié)合，引入殘差學(xué)習(xí)機(jī)制，構(gòu)建了一個(gè)由注意力金字塔模塊和圖卷積神經(jīng)網(wǎng)絡(luò)組成的鏈模塊，以提取更多的多尺度深度特征和多尺度高頻細(xì)節(jié)信息，并將獲取的特征信息持續(xù)地應(yīng)用于后續(xù)的融合過(guò)程，使得模型能夠充分利用輸入圖像中包含的空間和光譜信息，提高信息重用性的同時(shí)促進(jìn)了信息流動(dòng)，克服了現(xiàn)有技術(shù)中以ms和pan圖像共同作為網(wǎng)絡(luò)輸入而導(dǎo)致的信息利用不充分、及融合過(guò)程中出現(xiàn)的空間信息丟失問(wèn)題。第二，模型學(xué)習(xí)的是經(jīng)上采樣lrms圖像的光譜信息和pan圖像的細(xì)節(jié)信息，克服了直接學(xué)習(xí)理想融合圖像帶來(lái)的學(xué)習(xí)過(guò)程復(fù)雜度高等問(wèn)題。第三，在對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)設(shè)計(jì)了一種考慮圖像邊緣細(xì)節(jié)的損失函數(shù)，其在常用均方誤差損失函數(shù)的基礎(chǔ)上添加了對(duì)融合圖像的梯度約束項(xiàng)，加強(qiáng)了融合圖像與輸入圖像的光譜和空間一致性，有效緩解了采用均方誤差損失函數(shù)訓(xùn)練網(wǎng)絡(luò)存在的融合圖像高頻細(xì)節(jié)丟失和光譜失真較大等問(wèn)題。