本發(fā)明屬于計算機視覺領(lǐng)域，具體的說是一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法。

背景技術(shù)：

1、隨著遙感技術(shù)的不斷發(fā)展，遙感圖像已成為獲取地表信息的重要手段之一。由于成像條件和成本的限制，獲取的遙感圖像往往存在分辨率低的問題，低分辨率的遙感圖像可能會導(dǎo)致細(xì)節(jié)信息的丟失或模糊，無法滿足具體應(yīng)用領(lǐng)域的需求。超分辨率重建可以通過重建圖像的細(xì)節(jié)信息，使其更加豐富和清晰，提高遙感圖像在目標(biāo)檢測、變化檢測等任務(wù)中的準(zhǔn)確性和可靠性。

2、常見的超分辨率重建方法主要分為三類：基于插值的方法、基于重構(gòu)的方法和基于學(xué)習(xí)的方法?；诓逯档姆椒ê唵巍⒏咝?、易于理解，但由于插值過程中沒有產(chǎn)生新的信息，導(dǎo)致重建結(jié)果邊緣模糊，無法恢復(fù)細(xì)節(jié)信息。基于重構(gòu)的方法將同一場景中的不同信息進行融合，獲得高質(zhì)量的重建結(jié)果，但是這些方法以時間差異換取空間分辨率的提高，計算成本較大?；趯W(xué)習(xí)的方法通過其強大的擬合能力構(gòu)建低分辨率圖像和高分辨率結(jié)果之間的映射，來實現(xiàn)分辨率的提高。

3、近年來，使用卷積神經(jīng)網(wǎng)絡(luò)的方法在遙感圖像超分辨率重建領(lǐng)域取得了一定的進展，但目前針對遙感圖像的超分辨率重建的研究只集中在×2，×4等較低的放大倍數(shù)上，對較大因子分辨率問題的研究很少。在大因子退化的場景下，遙感圖像的空間分辨率明顯降低，高頻信息的大量丟失將導(dǎo)致嚴(yán)重的形狀失真和模糊效果。除此之外，現(xiàn)有的算法大多為單模態(tài)的超分辨率重建。而在遙感圖像中，一些小尺度的地物存在完全整合到單像素網(wǎng)格中的情況，由于不同地物的rgb波段輻射可能相同，僅依靠紅、綠、藍(rgb)波段的信息可能無法理清地物在像素中的語義。

4、因此，即要保證了重建結(jié)果語義的正確性，又要解決在大因子退化的場景下重建結(jié)果嚴(yán)重的形狀失真和模糊效果的問題，成為遙感圖像超分辨率重建領(lǐng)域亟需解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處，提出一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法，以期能在大因子退化的場景下，解決重建結(jié)果語義錯誤和模糊效果的問題，從而能提高重建圖像質(zhì)量。

2、本發(fā)明為達到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建方法的特點在于，包括如下步驟：

4、步驟1：獲取低分辨率的多模態(tài)遙感圖像集ilr＝{p,m}與高分辨率圖像其中，表示rgb圖像，表示高光譜圖像，h表示圖像的高度，w表示圖像的寬度，3表示rgb圖像的通道數(shù)，c′表示高光譜圖像的通道數(shù)，r表示重建因子；

5、步驟2：構(gòu)建超分辨率重建網(wǎng)絡(luò)，包括：上采樣模塊、淺層特征提取模塊、n個級聯(lián)的編碼器模塊、多模態(tài)融合模塊、中間模塊和n個級聯(lián)的解碼器模塊以及通道映射模塊；

6、步驟2.1、所述上采樣模塊對ilr＝{p,m}進行雙線性插值，從而將多模態(tài)遙感圖像上采樣r倍，得到初始圖像集i＝{p′,m′}，其中，表示上采樣后的rgb圖像，表示上采樣后的高光譜圖像；

7、步驟2.2、所述淺層特征提取模塊利用卷積層對初始圖像集i進行處理，得到淺層特征集i0＝{p0,m0}，其中，表示淺層rgb特征，表示淺層高光譜特征，c表示特征的通道數(shù)；

8、步驟2.3、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊對i0＝{p0,m0}進行處理后，輸出第i個編碼特征集其中，表示第i個級聯(lián)的編碼器模塊輸出的rgb特征，表示第i個級聯(lián)的編碼器模塊輸出的高光譜特征；

9、當(dāng)i＝2,3,v,n時，將第i-1個編碼特征集作為第i個級聯(lián)的編碼器模塊的輸入，并由第i個級聯(lián)的編碼器模塊輸出第i個編碼特征集從而第n個級聯(lián)的編碼器模塊輸出第n個編碼特征集其中，表示第i-1個級聯(lián)的編碼器模塊輸出的rgb特征，表示第i-1個級聯(lián)的編碼器模塊輸出的高光譜特征，表示第i個級聯(lián)的編碼器模塊輸出的rgb特征，表示第i個級聯(lián)的編碼器模塊輸出的高光譜特征，表示第n個級聯(lián)的編碼器模塊輸出的rgb特征，表示第n個級聯(lián)的編碼器模塊輸出的高光譜特征；

10、步驟2.4、所述多模態(tài)融合模塊對進行處理，得到融合特征

11、步驟2.5、所述中間模塊對ifuse進行處理，并得到融合后的中間特征

12、步驟2.6、當(dāng)i＝1時，將第i個級聯(lián)的解碼器模塊對ibottleneck進行處理后，輸出第i個解碼特征

13、當(dāng)i＝2,3,…,n時，將第i-1個解碼特征作為第i個級聯(lián)的解碼器模塊的輸入，并由第i個級聯(lián)的解碼器模塊輸出第i個解碼特征從而由第n個級聯(lián)的解碼器模塊輸出第n個解碼特征

14、步驟2.7、所述通道映射模塊利用卷積層fconv對進行處理，得到重建的超分辨率結(jié)果圖其中，+表示殘差連接；

15、步驟3：通過反向傳播算法對所述超分辨率重建網(wǎng)絡(luò)進行訓(xùn)練，并使用l1損失函數(shù)l1＝||ihr-isr||1計算網(wǎng)絡(luò)損失以更新網(wǎng)絡(luò)參數(shù)，直至損失函數(shù)收斂為止，從而得到訓(xùn)練好的超分辨率重建模型，用于低分辨率圖像重建出相應(yīng)的高分辨率圖像。

16、本發(fā)明所述的空間、頻域聯(lián)合的任意尺度多模態(tài)遙感圖像的超分辨率重建網(wǎng)絡(luò)的特點也在于，每個級聯(lián)的編碼器模塊由下采樣模塊和雙分支的空間、頻域特征提取模塊以及多模態(tài)配準(zhǔn)模塊組成；

17、步驟2.3.1、當(dāng)i＝1時，所述第i個級聯(lián)的編碼器模塊中的下采樣模塊利用卷積層對i0進行處理，得到第i個下采樣后的特征集其中，為第i個下采樣后的rgb特征圖，為第i個下采樣后的高光譜特征圖；

18、步驟2.3.2、當(dāng)i＝1時，所述第i個級聯(lián)的編碼器模塊中的雙分支的空間、頻域特征提取模塊對進行處理，得到提取的第i個深層特征集其中，為提取的第i個rgb深層特征圖，為提取的第i個高光譜深層特征圖；

19、步驟2.3.3、當(dāng)i＝1時，所述第i個級聯(lián)的編碼器模塊中的多模態(tài)配準(zhǔn)模塊對進行處理，得到第i個配準(zhǔn)后的高光譜特征圖再對和進行處理，得到第i個配準(zhǔn)后的rgb特征圖

20、每個編碼器模塊的雙分支的空間、頻域特征提取模塊包括：空間分支和頻域分支以及空間、頻域融合模塊；其中，空間分支包括：e個空間單元以及一個1*1卷積層，每個空間單元是由一個普通卷積層、一個激活函數(shù)層和一個msc模塊組成；頻域分支包括：小波變換層、小波逆變換層和若干個卷積層；

21、步驟2.3.2.1、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊的空間分支中的第1個空間單元對pidown進行普通卷積層和激活函數(shù)層處理，輸出的第1個中間結(jié)果作為第2個空間單元的輸入以及第1個空間單元中的msc模塊的輸入，將最后一個空間單元的輸出和每個空間單元的msc模塊的輸出進行通道維度的疊加后，再輸入1*1卷積層中進行處理，得到第i個空間分支的rgb特征圖pispace；

22、步驟2.3.2.2、按照步驟2.3.2.1的過程對進行處理后，得到第i個空間分支的高光譜特征圖

23、步驟2.3.2.3、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊的頻域分支中小波變換層對進行映射處理，得到低頻分量和高頻分量，再對兩個分量分別進行振幅和相位分離，得到低頻分量的振幅特征和相位特征以及高頻分量的振幅特征和相位特征，再分別經(jīng)過兩個卷積層和殘差的處理，得到低頻分量恢復(fù)后的振幅信息和相位信息以及高頻分量的恢復(fù)后的振幅信息和相位信息，再一起通過小波逆變換層的轉(zhuǎn)換后，得到第i個頻域分支的rgb特征pifrequency；

24、步驟2.3.2.4、按照步驟2.3.2.3的過程對進行處理，得到第i個頻域分支的高光譜特征

25、步驟2.3.2.5、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊的雙分支的空間、頻域特征提取模塊中的空間、頻域融合模塊對pispace和pifrequency在通道維度上進行疊加后，再經(jīng)過自注意力層的處理后，得到第i個空間、頻域融合的rgb特征pimscwt；

26、步驟2.3.2.6、按照步驟2.3.2.5的過程對和進行處理后，得到第i個空間、頻域融合的高光譜特征

27、所述第i個級聯(lián)的編碼器模塊中的多模態(tài)配準(zhǔn)模塊，包括：rgb特征配準(zhǔn)模塊和高光譜特征配準(zhǔn)模塊；

28、步驟2.3.3.1、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊的多模態(tài)配準(zhǔn)模塊中的高光譜特征配準(zhǔn)模塊將pimscwt和在通道維度上拼接，得到拼接后的第一特征，再經(jīng)過卷積層的處理后，與進行逐像素相乘，得到的第一乘積矩陣再與拼接后的第一特征相加，從而得到第i個配準(zhǔn)后的高光譜特征

29、步驟2.3.3.2、當(dāng)i＝1時，第i個級聯(lián)的編碼器模塊的多模態(tài)配準(zhǔn)模塊中的rgb特征配準(zhǔn)模塊，將pimscwt和在通道維度上拼接，得到拼接后的第二特征，再經(jīng)過卷積層的處理后，與pimscwt進行逐像素相乘，得到的第二乘積矩陣再與拼接后的第二特征相加，從而得到第i個配準(zhǔn)后的rgb特征pimr,encoder。

30、所述多模態(tài)融合模塊，包括：若干個卷積層、最大池化層、平均池化層、大卷積核卷積層、sigmoid層、層歸一化層和自注意力層以及1*1卷積層；

31、對pn和mn分別經(jīng)過卷積層的處理后，相應(yīng)得到初級融合rgb特征pfuse_conv和初級融合高光譜特征mfuse_conv后再進行通道維度上的拼接，得到的拼接特征，再分別經(jīng)過平均池化層和最大池化層的處理，相應(yīng)得到兩個維度為的特征圖，將兩個維度為的特征圖拼接后，得到維度為的特征圖，再通過大卷積核卷積層和sigmoid層的處理后，得到的概率圖，分別與特征pfuse_conv和mfuse_conv相乘，將相乘后的兩個特征圖相加后，再依次經(jīng)過卷積層、層歸一化層、自注意力層和1*1卷積層的處理后，得到融合特征ifuse。

32、每個解碼器模塊也由上采樣模塊和雙分支的空間、頻域特征提取模塊組成，并利用式(1)得到第i個解碼特征

33、

34、式(1)中，fiup表示第i個解碼器模塊中的上采樣模塊，fimscwt,decoder表示第i個解碼器模塊中的雙分支的空間、頻域特征提取模塊，+表示殘差連接。

35、本發(fā)明一種電子設(shè)備，包括存儲器以及處理器的特點在于，所述存儲器用于存儲支持處理器執(zhí)行所述超分辨率重建方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

36、本發(fā)明一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執(zhí)行所述超分辨率重建方法的步驟。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

38、1、本發(fā)明利用兩個模態(tài)圖像并行的雙分支架構(gòu)，使得高光譜圖像輔助rgb圖像進行超分辨率重建，增強了對生成圖像的語義約束，避免了語義誤判。

39、2、本發(fā)明引入了雙分支的空間、頻域特征提取模塊的空間分支，通過引入不同大小的卷積核捕獲具有全局和局部分布信息以及將卷積核分解為1×n和n×1卷積，在不改變性能的情況下有效地提高了模型的效率，進一步提高了超分辨率重建的精度。

40、3、本發(fā)明引入了雙分支的空間、頻域特征提取模塊的頻域分支，通過對頻域特征進行振幅和相位分離能夠在一定程度上解決常見的圖像退化問題。且利用小波變換得到低頻分量和高頻分量，對高頻分量和低頻分量分別進行振幅和相位分離可以分別獲取高頻分量和低頻分量的振幅和相位信息，更加直觀地理解信號的頻率特性。

41、4、本發(fā)明引入了多模態(tài)配準(zhǔn)模塊，解決了多源數(shù)據(jù)在像素上的不完全對應(yīng)的問題。

42、5、本發(fā)明引入了多模態(tài)融合模塊，對多模態(tài)的數(shù)據(jù)進行充分融合，從而幫助網(wǎng)絡(luò)更有效地利用多模態(tài)數(shù)據(jù)的特征信息，實現(xiàn)更準(zhǔn)確、魯棒的模型訓(xùn)練和預(yù)測。