本說明書一個或多個實施例涉及圖像處理技術(shù)，尤其涉及一種遙感影像的扭曲變形修復方法、裝置及電子設備。

背景技術(shù)：

1、遙感影像在產(chǎn)生時，部分圖像會出現(xiàn)扭曲和變形，影響遙感影像整體的數(shù)據(jù)質(zhì)量。為了解決該問題，目前一般是由作業(yè)人員在photoshop軟件中對得到的遙感影像進行修圖調(diào)整，增加巨大的時間成本和人力成本。此外，現(xiàn)有技術(shù)中也有通過特征點檢測與匹配后，根據(jù)仿射變換矩陣對扭曲影像進行修復的方式，但是由于并非所有影像都存在扭曲變形，該方式每次都需要人工手動確認扭曲變形區(qū)域后才能進行修復，仍然需要大量的時間和人力資源。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本說明書一個或多個實施例描述了一種遙感影像的扭曲變形修復方法、裝置及電子設備。

2、根據(jù)第一方面，提供了一種遙感影像的扭曲變形修復方法，所述方法包括：

3、以生成對抗網(wǎng)絡模型為基礎模型，基于訓練數(shù)據(jù)訓練所述基礎模型，得到扭曲變形修復模型，所述訓練數(shù)據(jù)包括真實修復樣本和模擬合成樣本，所述真實修復樣本基于實際作業(yè)過程中通過手動標注得到，所述模擬合成樣本基于真實無扭曲變形影像進行隨機變形操作后得到，所述真實修復樣本的約束損失函數(shù)權(quán)重大于所述模擬合成樣本的約束損失函數(shù)權(quán)重，所述基礎模型中設置有像素級監(jiān)督損失函數(shù)，所述像素級監(jiān)督損失函數(shù)用以確定模型輸出結(jié)果和實際結(jié)果之間每個像素點的像素誤差，并根據(jù)像素誤差大小生成誤差懲罰，所述誤差懲罰用以引導調(diào)整模型參數(shù)以最小化所述像素誤差；

4、獲取待修復的遙感影像，基于第一預設尺寸將所述遙感影像劃分為至少一個第一影像，并基于第二預設尺寸和預設重疊率分別將各所述第一影像劃分為多個第二影像；

5、針對任一所述第一影像，基于所述扭曲變形修復模型分別處理各所述第二影像，得到各第一修復影像，并基于各所述第一修復影像生成所述第一影像的第二修復影像；

6、在得到所有所述第二修復影像后，整合各所述第二修復影像，得到所述遙感影像對應的修復遙感影像。

7、優(yōu)選的，所述基礎模型為pix2pixhd模型，所述像素級監(jiān)督損失函數(shù)用以確定模型輸出結(jié)果和實際結(jié)果之間每個像素點的像素均方誤差，并根據(jù)像素均方誤差大小生成誤差懲罰，所述誤差懲罰用以引導調(diào)整模型參數(shù)以最小化所述像素均方誤差，所述像素均方誤差與誤差懲罰的大小呈正相關(guān)。

8、優(yōu)選的，所述基于訓練數(shù)據(jù)訓練所述基礎模型，包括：

9、按照預設比例將所述訓練數(shù)據(jù)劃分為訓練樣本和測試樣本，并基于預設的數(shù)據(jù)增強策略對訓練數(shù)據(jù)進行處理，所述訓練數(shù)據(jù)中真實修復樣本的數(shù)量占比小于模擬合成樣本的數(shù)量占比，所述數(shù)據(jù)增強策略包括隨機縮放、隨機翻轉(zhuǎn)、隨機參數(shù)變換，所述參數(shù)包括色彩、亮度、對比度和飽和度；

10、基于所述訓練樣本和測試樣本訓練所述基礎模型，并在訓練過程中根據(jù)隨機梯度下降方法進行模型反向傳播更新，模型的學習率隨著訓練輪數(shù)的增加而衰減。

11、優(yōu)選的，所述訓練數(shù)據(jù)還包括無修復樣本，每個所述真實修復樣本和模擬合成樣本均為扭曲影像和修復影像組成的一個影像對，所述無修復樣本為相同的兩個無扭曲影像組成的一個影像對；

12、所述整合各所述第二修復影像，得到所述遙感影像對應的修復遙感影像之后，還包括：

13、當所述遙感影像與第二修復影像之間存在像素差時，基于二值掩膜標注所述第二修復影像的第一修復區(qū)域，并對所述第一修復區(qū)域進行輪廓提取，生成扭曲變形檢測結(jié)果，將所述扭曲變形檢測結(jié)果發(fā)送至預設終端；

14、當檢測到所述預設終端基于所述扭曲變形檢測結(jié)果發(fā)送的正確樣本時，將所述正確樣本添加至所述真實修復樣本中，并基于所述訓練數(shù)據(jù)優(yōu)化所述扭曲變形修復模型。

15、優(yōu)選的，所述真實修復樣本中修復影像標注有至少一個預設大小的目標框，所有所述目標框?qū)目蜻x區(qū)域覆蓋所述修復影像的第二修復區(qū)域。

16、優(yōu)選的，生成所述模擬合成樣本的所述隨機變形操作的種類包括波浪扭曲和擠壓變形，每種所述隨機變形操作的選取概率相同且獨立。

17、優(yōu)選的，所述基于各所述第一修復影像生成所述第一影像的第二修復影像，包括：

18、將所述第一修復影像的重疊區(qū)域劃分為多個子重疊區(qū)域，根據(jù)與所述第一修復影像的影像中心的距離大小為各所述子重疊區(qū)域設置權(quán)重，距離影像中心越遠的子重疊區(qū)域的權(quán)重越大；

19、對各所述第一修復影像的重疊區(qū)域進行加權(quán)計算，得到第二修復影像。

20、根據(jù)第二方面，提供了一種遙感影像的扭曲變形修復裝置，所述裝置包括：

21、訓練模塊，用于以生成對抗網(wǎng)絡模型為基礎模型，基于訓練數(shù)據(jù)訓練所述基礎模型，得到扭曲變形修復模型，所述訓練數(shù)據(jù)包括真實修復樣本和模擬合成樣本，所述真實修復樣本基于實際作業(yè)過程中通過手動標注得到，所述模擬合成樣本基于真實無扭曲變形影像進行隨機變形操作后得到，所述真實修復樣本的約束損失函數(shù)權(quán)重大于所述模擬合成樣本的約束損失函數(shù)權(quán)重，所述基礎模型中設置有像素級監(jiān)督損失函數(shù)，所述像素級監(jiān)督損失函數(shù)用以確定模型輸出結(jié)果和實際結(jié)果之間每個像素點的像素誤差，并根據(jù)像素誤差大小生成誤差懲罰，所述誤差懲罰用以引導調(diào)整模型參數(shù)以最小化所述像素誤差；

22、獲取模塊，用于獲取待修復的遙感影像，基于第一預設尺寸將所述遙感影像劃分為至少一個第一影像，并基于第二預設尺寸和預設重疊率分別將各所述第一影像劃分為多個第二影像；

23、第一修復模塊，用于針對任一所述第一影像，基于所述扭曲變形修復模型分別處理各所述第二影像，得到各第一修復影像，并基于各所述第一修復影像生成所述第一影像的第二修復影像；

24、第二修復模塊，用于在得到所有所述第二修復影像后，整合各所述第二修復影像，得到所述遙感影像對應的修復遙感影像。

25、根據(jù)第三方面，提供了一種電子設備，包括處理器以及存儲器；

26、所述處理器與所述存儲器相連；

27、所述存儲器，用于存儲可執(zhí)行程序代碼；

28、所述處理器通過讀取所述存儲器中存儲的可執(zhí)行程序代碼來運行與所述可執(zhí)行程序代碼對應的程序，以用于執(zhí)行如第一方面或第一方面的任意一種可能的實現(xiàn)方式提供的方法的步驟。

29、根據(jù)第四方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機可讀存儲介質(zhì)中存儲有指令，當所述指令在計算機或處理器上運行時，使得所述計算機或處理器執(zhí)行如第一方面或第一方面的任意一種可能的實現(xiàn)方式提供的方法。

30、本說明書實施例提供的方法及裝置，根據(jù)生成對抗網(wǎng)絡模型訓練扭曲變形修復模型，且訓練數(shù)據(jù)中根據(jù)真實無扭曲變形影像的隨即變形操作生成大量模擬合成樣本，以滿足生成對抗網(wǎng)絡模型對訓練樣本的需求，同時除了常規(guī)的約束損失函數(shù)外，額外設置了像素級監(jiān)督損失函數(shù)確定訓練結(jié)果的像素誤差，并通過最小化像素誤差來優(yōu)化模型參數(shù)，最終通過訓練好的扭曲變形修復模型對遙感影像進行修復，無需人工預處理即可快速準確的對遙感影像進行扭曲變形修復。