本發(fā)明屬于圖像處理，具體涉及一種全景圖像超分辨率方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著全景圖像技術(shù)的發(fā)展和應(yīng)用的普及，人們對高分辨率全景圖像的需求日益增長。全景圖像能夠捕捉到一個(gè)場景的完整視野，這在虛擬現(xiàn)實(shí)、城市規(guī)劃、建筑設(shè)計(jì)和旅游業(yè)等領(lǐng)域具有廣泛的應(yīng)用。高分辨率的全景圖像能提供360度的視角，這意味著圖像中的每一個(gè)細(xì)節(jié)都能被清晰地展現(xiàn)，且這對于增強(qiáng)用戶體驗(yàn)和提高應(yīng)用的實(shí)際效用至關(guān)重要。例如，在虛擬現(xiàn)實(shí)中，高分辨率的全景圖像能為用戶提供更加沉浸式的體驗(yàn)，使他們仿佛置身于真實(shí)的環(huán)境中；在城市規(guī)劃中，高分辨率全景圖像能夠幫助規(guī)劃者更精確地分析地形和建筑物的分布；在旅游業(yè)中，高清的全景圖像能讓潛在游客更直觀地了解目的地的360度風(fēng)景。然而，與高分辨率的普通圖片和視頻相比，高分辨率全景圖像的拍攝不但需要高精度的光學(xué)設(shè)備和圖像傳感器進(jìn)行拍攝，還需要將不同角度的圖片進(jìn)行組合、配準(zhǔn)以構(gòu)建最終的360度全景圖像，這導(dǎo)致了拍攝成本更加高昂。尤其是在戶外或復(fù)雜場景下，獲取高質(zhì)量的全景圖像的難度和成本還會進(jìn)一步的增加。

2、因此，在現(xiàn)有設(shè)備無法滿足高分辨率全景圖像需求的情況下，目前全景圖像的分辨率大多數(shù)比較低，而用戶對高清全景圖像的需求卻不斷攀升。這種需求的矛盾推動了全景圖像超分辨率技術(shù)的發(fā)展，通過該技術(shù)，可以在不更換硬件設(shè)備的前提下，將低分辨率全景圖像轉(zhuǎn)換為高分辨率的圖像，從而滿足各類應(yīng)用的實(shí)際需求。

3、然而，全景圖像通常以等矩形投影?(equirectangular?projection,?erp)?格式存儲，存在著嚴(yán)重的幾何畸變和與緯度相關(guān)的特征分布差異。在erp?全景圖中，從赤道開始，隨著緯度向南極或者北極的不斷升高，全景圖中的紋理特征和細(xì)節(jié)信息顯著變少。從數(shù)學(xué)角度來說明，erp投影是一種從球面投影到平面的過程，存在著嚴(yán)重的空間畸變，由于這種拉伸（也可稱作過采樣）通常是由插值操作(如雙三次插值)進(jìn)行的，這必然會導(dǎo)致高緯度地區(qū)的紋理和細(xì)節(jié)等高頻信息會變得更加平滑。因此，erp全景圖中呈現(xiàn)出明顯的紋理和細(xì)節(jié)的分布差異性。而現(xiàn)有的圖像超分辨率方法，絕大多數(shù)是面向普通2d圖像設(shè)計(jì)的，無法有效解決這一難題，難以獲得理想的超分性能，不能滿足用戶的視覺需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對上述問題，提供了一種基于緯度分級強(qiáng)化的全景圖像超分辨率方法、系統(tǒng)及存儲介質(zhì)，旨在恢復(fù)出更高分辨率、更高質(zhì)量的全景圖像。

2、根據(jù)本公開實(shí)施例的第一方面，提供一種基于緯度分級強(qiáng)化的全景圖像超分辨率方法，所述方法包括以下步驟：

3、獲取含多種不同場景的全景圖像數(shù)據(jù)集，將所述全景圖像數(shù)據(jù)集預(yù)處理后將所述全景圖像數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

4、建立基于緯度分級強(qiáng)化的全景圖像超分辨率模型，所述全景圖像超分辨率模型包括特征提取子網(wǎng)、深度特征增強(qiáng)子網(wǎng)、上采樣子網(wǎng)和重建子網(wǎng)，其中，所述特征提取子網(wǎng)用于提取輸入全景圖片的淺層特征；所述深度特征增強(qiáng)子網(wǎng)通過級聯(lián)的緯度分級強(qiáng)化單元，對不同緯度區(qū)域的淺層特征進(jìn)行分等級的深度增強(qiáng)，基于全景圖像中不同緯度區(qū)域特征分布的差異性，提煉不同緯度的高頻信息，得到增強(qiáng)特征；所述上采樣子網(wǎng)采用亞像素卷積層放大所述增強(qiáng)特征的空間分辨率尺寸；所述重建子網(wǎng)將所述的放大后的增強(qiáng)特征復(fù)原成高分辨率全景圖；

5、分別利用所述訓(xùn)練數(shù)據(jù)集和所述測試數(shù)據(jù)集訓(xùn)練和測試所述全景圖像超分辨率模型，

6、利用訓(xùn)練以及測試通過的所述全景圖像超分辨率模型實(shí)現(xiàn)全景圖像超分辨率。

7、在一些實(shí)施例中，利用所述訓(xùn)練數(shù)據(jù)集和所述測試數(shù)據(jù)集訓(xùn)練和測試所述全景圖像超分辨率模型，具體包括：

8、將多種不同場景下的所述訓(xùn)練數(shù)據(jù)集依次輸入所述全景圖像超分辨率模型；

9、迭代訓(xùn)練時(shí)，計(jì)算所述全景圖像超分辨率模型生成的高分辨率全景圖與真實(shí)值之間的損失值；

10、以縮小損失值為優(yōu)化目標(biāo)訓(xùn)練所述全景圖像超分辨率模型，并同步更新、優(yōu)化網(wǎng)絡(luò)權(quán)重；

11、利用所述測試數(shù)據(jù)集評估所述全景圖像超分辨率模型的重建性能。

12、在一些實(shí)施例中，所述深度特征增強(qiáng)子網(wǎng)按照緯度高低，將所述淺層特征劃分為不同區(qū)域，對不同區(qū)域的特征進(jìn)行分等級增強(qiáng)，即從高緯度區(qū)域到低緯度區(qū)域獲得的特征提煉的強(qiáng)度依次增加。

13、在一些實(shí)施例中，所述分級強(qiáng)化單元還將各區(qū)域增強(qiáng)特征合并成特征圖，運(yùn)用級聯(lián)的卷積層對所述特征圖進(jìn)行增強(qiáng)。

14、在一些實(shí)施例中，所述損失值由全局損失函數(shù)求得，所述全局損失函數(shù)的具體表達(dá)式為：

15、，

16、其中，為訓(xùn)練集中的樣本數(shù)量，、分別表示全景圖像超分辨率模型對第 k個(gè)輸入的全景圖像的超分結(jié)果及其對應(yīng)的真值，為全局損失函數(shù)。

17、根據(jù)本公開實(shí)施例的第二方面，提供一種基于緯度分級強(qiáng)化的全景圖像超分辨率系統(tǒng)，所述系統(tǒng)包括：

18、數(shù)據(jù)集獲取模塊，用于獲取含多種不同場景的全景圖像數(shù)據(jù)集，將所述全景圖像數(shù)據(jù)集預(yù)處理后將所述全景圖像數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

19、模型建立模塊，用于建立基于緯度分級強(qiáng)化的全景圖像超分辨率模型，所述全景圖像超分辨率模型包括特征提取子網(wǎng)、深度特征增強(qiáng)子網(wǎng)、上采樣子網(wǎng)和重建子網(wǎng)，其中，所述特征提取子網(wǎng)用于提取輸入全景圖片的淺層特征；所述深度特征增強(qiáng)子網(wǎng)通過級聯(lián)的緯度分級強(qiáng)化單元，對不同緯度區(qū)域的淺層特征進(jìn)行分等級的深度增強(qiáng)，基于全景圖像中不同緯度區(qū)域特征分布的差異性，提煉不同緯度的高頻信息，得到增強(qiáng)特征；所述上采樣子網(wǎng)采用亞像素卷積層放大所述增強(qiáng)特征的空間分辨率尺寸；所述重建子網(wǎng)將放大后的增強(qiáng)特征復(fù)原成高分辨率全景圖；

20、模型訓(xùn)練和測試模塊，用于分別利用所述訓(xùn)練數(shù)據(jù)集和所述測試數(shù)據(jù)集訓(xùn)練和測試所述全景圖像超分辨率模型，

21、全景圖像超分辨率實(shí)現(xiàn)模塊，用于利用訓(xùn)練以及測試通過的所述全景圖像超分辨率模型實(shí)現(xiàn)全景圖像超分辨率。

22、在一些實(shí)施例中，所述模型訓(xùn)練和測試模塊，實(shí)現(xiàn)過程具體包括：

23、將多種不同場景下的所述訓(xùn)練數(shù)據(jù)集依次輸入所述全景圖像超分辨率模型；

24、迭代訓(xùn)練時(shí)，計(jì)算所述全景圖像超分辨率模型生成的高分辨率全景圖與真實(shí)值之間的損失值；

25、以縮小損失值為優(yōu)化目標(biāo)訓(xùn)練所述全景圖像超分辨率模型，并同步更新、優(yōu)化網(wǎng)絡(luò)權(quán)重；

26、利用所述測試數(shù)據(jù)集評估所述全景圖像超分辨率模型的重建性能。

27、在一些實(shí)施例中，所述深度特征增強(qiáng)子網(wǎng)按照緯度高低，將所述淺層特征劃分為不同區(qū)域，對不同區(qū)域的特征進(jìn)行分等級增強(qiáng)，即從高緯度區(qū)域到低緯度區(qū)域獲得的特征提煉的強(qiáng)度依次增加。

28、根據(jù)本公開實(shí)施例的第三方面，提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述基于緯度分級強(qiáng)化的全景圖像超分辨率方法的步驟。

29、根據(jù)本公開實(shí)施例的第四方面，提供一種非臨時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)指令，所述指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于緯度分級強(qiáng)化的全景圖像超分辨率方法的步驟。

30、本公開實(shí)施例提供的一種基于緯度分級強(qiáng)化的全景圖像超分辨率方法、系統(tǒng)及存儲介質(zhì)，其有益效果包括：

31、充分考慮到全景圖像中不同緯度區(qū)域的特征分布的差異性，通過級聯(lián)的緯度分級強(qiáng)化單元，按照緯度高低，將全景圖像的特征劃分為不同區(qū)域，對這些不同區(qū)域的特征進(jìn)行分等級的增強(qiáng)，確保不同緯度區(qū)域被強(qiáng)化的程度不同，即擁有更多紋理特征的較低緯度區(qū)域會獲得更強(qiáng)的提煉。通過這種對深層特征的獨(dú)特的差異化提煉，能充分提取不同緯度的高頻信息，從而恢復(fù)出更清晰的細(xì)節(jié)、紋理和物體邊緣。此外，為了解決這種空間劃分導(dǎo)致的不同區(qū)域的信息隔絕，在分級強(qiáng)化單元中將各區(qū)域特征合并成完整的特征圖后，再運(yùn)用級聯(lián)的卷積層進(jìn)一步地對完整的特征圖進(jìn)行增強(qiáng)，促進(jìn)不同區(qū)域之間的信息交互，避免了邊緣偽影的出現(xiàn)，進(jìn)而提升了超分的重建性能。

32、綜上所述，本發(fā)明有效地解決了全景圖像中不同緯度特征分布的差異性難題，提高對不同場景環(huán)境下全景圖像的超分效果，增強(qiáng)了全景圖像的質(zhì)量和視覺體驗(yàn)。

33、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。