本發(fā)明涉及虛擬現(xiàn)實(shí)建模，具體地，涉及一種基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法，同時(shí)涉及一種相應(yīng)的系統(tǒng)、計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、nerf神經(jīng)網(wǎng)絡(luò)作為一種3d建模的全新技術(shù)，具有速度快，建模精良的優(yōu)點(diǎn)，在包括室內(nèi)場景建模、實(shí)景三維建模的諸多領(lǐng)域得以廣泛運(yùn)用，也是未來虛擬現(xiàn)實(shí)技術(shù)、數(shù)字孿生技術(shù)實(shí)現(xiàn)的基礎(chǔ)。但nerf神經(jīng)網(wǎng)絡(luò)技術(shù)在實(shí)景3d地圖并未有相關(guān)運(yùn)用，其原因部分在于數(shù)據(jù)來源的不足。因此，有必要使用眾包數(shù)據(jù)的方式將nerf神經(jīng)網(wǎng)絡(luò)技術(shù)運(yùn)用于實(shí)景3d地圖的建模過程中。

2、經(jīng)過檢索發(fā)現(xiàn)，申請?zhí)枮?02110427891.9的中國發(fā)明專利申請《基于手機(jī)眾包成像終端的室內(nèi)地下應(yīng)急場景三維建模方法》，該方法基于手機(jī)眾包感知數(shù)據(jù)重建室內(nèi)的固定封閉場景，無法實(shí)現(xiàn)對于動態(tài)街景的語義分割和開闊場景建模；同時(shí)該方法眾包數(shù)據(jù)來源較為單一、規(guī)律性強(qiáng)、數(shù)據(jù)量少，對于來源廣泛、語義復(fù)雜、采集量大的街景眾包數(shù)據(jù)處理不適用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)中存在的上述不足，提供了一種基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法，同時(shí)提供了一種相應(yīng)的系統(tǒng)、計(jì)算機(jī)終端和計(jì)算機(jī)可讀存儲介質(zhì)。

2、根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法，包括：

3、基于車載相機(jī)獲取多個(gè)具有不同角度和不同高度的連續(xù)多視角周圍實(shí)時(shí)圖像數(shù)據(jù)；

4、提取所述連續(xù)多視角周圍實(shí)時(shí)圖像數(shù)據(jù)的關(guān)鍵特征；

5、基于所述關(guān)鍵特征，對所述連續(xù)多視角周圍實(shí)時(shí)圖像進(jìn)行配準(zhǔn)，得到圖像之間的相對位置關(guān)系，拼接形成實(shí)時(shí)街景圖片；

6、利用所述實(shí)時(shí)街景圖片，構(gòu)建眾包數(shù)據(jù)；

7、對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理，得到對齊后的圖片；

8、利用所述對齊后的圖片訓(xùn)練得到一nerf模型，基于所述nerf模型生成全角度三維街景圖像，完成nerf實(shí)景構(gòu)建。

9、優(yōu)選地，所述提取所述連續(xù)多視角周圍實(shí)時(shí)圖像數(shù)據(jù)的關(guān)鍵特征，包括：

10、將彩色圖像轉(zhuǎn)換為灰度圖像；

11、對所述灰度圖像進(jìn)行高斯濾波，得到平滑圖像；

12、計(jì)算所述平滑圖像的梯度，得到水平和垂直方向的梯度圖；

13、在所述梯度圖中，保留局部最大值的位置，將其他非極大值的位置設(shè)為零，得到梯度幅值；

14、利用高低雙閾值，將所述梯度幅值高于高閾值的點(diǎn)標(biāo)記為強(qiáng)邊緣，將所述梯度幅值低于低閾值的點(diǎn)標(biāo)記為非邊緣，介于高低閾值之間的點(diǎn)標(biāo)記為弱邊緣；

15、將強(qiáng)邊緣點(diǎn)連接弱邊緣點(diǎn)，生成最終的邊緣圖；

16、對所述邊緣圖進(jìn)行多尺度高斯模糊，生成一系列尺度空間的圖像；

17、在所述尺度空間的每一個(gè)像素位置，比較該像素在空間和尺度上的鄰域像素值，找到極值點(diǎn)；

18、對每一個(gè)極值點(diǎn)進(jìn)行精確定位，去除低對比度點(diǎn)和邊緣響應(yīng)點(diǎn)，得到關(guān)鍵點(diǎn)；

19、為每一個(gè)關(guān)鍵點(diǎn)分配一個(gè)或多個(gè)方向，并在每一個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，計(jì)算方向梯度直方圖，形成特征向量描述子。

20、優(yōu)選地，所述基于所述關(guān)鍵特征，對所述連續(xù)多視角周圍實(shí)時(shí)圖像進(jìn)行配準(zhǔn)，得到圖像之間的相對位置關(guān)系，拼接形成實(shí)時(shí)街景圖片，包括：

21、對多視角的每一幀圖像進(jìn)行特征點(diǎn)檢測；

22、生成每個(gè)特征點(diǎn)的描述子，形成特征向量；

23、使用距離度量比較不同幀圖像間的特征向量，找到最佳匹配點(diǎn)對；

24、通過設(shè)置距離閾值，篩選出初步匹配點(diǎn)對，去除明顯錯(cuò)誤匹配；

25、估計(jì)圖像間的變換矩陣；

26、利用估計(jì)的變換矩陣，將多視角的圖像進(jìn)行精確對齊，得到圖像之間的相對位置關(guān)系，拼接形成連續(xù)的街景圖像。

27、優(yōu)選地，所述利用所述實(shí)時(shí)街景圖片，構(gòu)建眾包數(shù)據(jù)，包括：

28、對所述實(shí)時(shí)街景圖片進(jìn)行脫敏處理，并結(jié)合與圖片相關(guān)的其他信息數(shù)據(jù)，構(gòu)建得到眾包數(shù)據(jù)；

29、將所述眾包數(shù)據(jù)上傳至云端。

30、優(yōu)選地，所述脫敏處理，包括：將所述實(shí)時(shí)街景圖片中的敏感信息打上馬賽克。

31、優(yōu)選地，所述與圖片相關(guān)的其他信息數(shù)據(jù)，包括：車輛定位信息和其他車輛的位姿信息。

32、優(yōu)選地，所述對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理，包括：

33、對所述眾包數(shù)據(jù)中的實(shí)時(shí)街景圖片進(jìn)行幾何上的對齊處理，使得圖片分別在空間上對應(yīng)到實(shí)際地理位置，得到車道級定位結(jié)果；

34、分析所述眾包數(shù)據(jù)中的實(shí)時(shí)街景圖片序列，估計(jì)相機(jī)的運(yùn)動軌跡，構(gòu)建稀疏的特征點(diǎn)地圖；

35、在所述稀疏的特征點(diǎn)地圖的基礎(chǔ)上，通過位姿圖優(yōu)化方法，結(jié)合所述車道級定位結(jié)果，確定車載相機(jī)的初步位置，進(jìn)而完成對所述眾包數(shù)據(jù)中的圖片的坐標(biāo)對齊處理。

36、優(yōu)選地，所述對所述眾包數(shù)據(jù)中的實(shí)時(shí)街景圖片進(jìn)行幾何上的對齊處理，使得圖片分別在空間上對應(yīng)到實(shí)際地理位置，包括：

37、根據(jù)眾包數(shù)據(jù)上傳時(shí)的gps或者基站信號，獲取到拍攝地點(diǎn)設(shè)定距離閾值上的一個(gè)位置，作為初始位置；

38、根據(jù)所述初始位置，將周圍視覺特征與導(dǎo)航地圖中的特征通過神經(jīng)網(wǎng)絡(luò)的方式進(jìn)行對齊，將周圍視覺特征鎖定到導(dǎo)航地圖的路網(wǎng)上，實(shí)現(xiàn)圖片分別在空間上對應(yīng)到實(shí)際地理位置，得到車道級定位結(jié)果。

39、優(yōu)選地，所述分析所述眾包數(shù)據(jù)中的實(shí)時(shí)街景圖片序列，估計(jì)相機(jī)的運(yùn)動軌跡，構(gòu)建稀疏的特征點(diǎn)地圖，包括：

40、利用視覺slam技術(shù)，對采集的實(shí)時(shí)街景圖片進(jìn)行語義分割，通過深度學(xué)習(xí)模型，將實(shí)時(shí)街景圖片中的每個(gè)像素分類到不同的語義類別上，區(qū)分動態(tài)物體和靜態(tài)環(huán)境，并移除動態(tài)物體的像素，得到語義分割結(jié)果；

41、利用所述語義分割結(jié)果指導(dǎo)特征點(diǎn)的匹配，將所有實(shí)時(shí)街景圖片對齊并匹配到一個(gè)統(tǒng)一的全局坐標(biāo)系中。

42、優(yōu)選地，所述通過位姿圖優(yōu)化方法，結(jié)合所述車道級定位結(jié)果，確定相機(jī)的初步位置，進(jìn)而完成對所述眾包數(shù)據(jù)中的圖片的對齊處理，包括：

43、通過車載相機(jī)的外參進(jìn)行逆透視變換投影，以估算地面的深度，得到估算的深度值；

44、將所述估算的深度值作為特征點(diǎn)在空間中的位置先驗(yàn)，為全局優(yōu)化提供一致的尺度信息。

45、結(jié)合所述車道級定位結(jié)果，確定車載相機(jī)的初步位置，通過集束優(yōu)化優(yōu)化方法，對車載相機(jī)的位置和方向進(jìn)行優(yōu)化，使得重投影的誤差最小化，完成對所述眾包數(shù)據(jù)中的圖片的坐標(biāo)對齊處理。

46、優(yōu)選地，所述利用所述對齊后的圖片訓(xùn)練得到一nerf模型，包括：

47、針對某個(gè)特定的場景點(diǎn)，利用多視角的對齊后的圖片，對動態(tài)物體進(jìn)行替換，得到初步預(yù)處理圖片；

48、獲取地面的深度信息；

49、對所述初步預(yù)處理圖片進(jìn)行風(fēng)格處理，得到預(yù)處理后圖像；其中，對于能夠直接統(tǒng)一風(fēng)格的圖片，通過風(fēng)格轉(zhuǎn)換算法，調(diào)整圖片的顏色、對比度和亮度；對于無法直接統(tǒng)一風(fēng)格的圖片，采用深度學(xué)習(xí)模型提取圖片中的風(fēng)格特征；

50、提供一神經(jīng)輻射場模型，利用所述預(yù)處理后圖像和所述地面的深度信息對所述神經(jīng)輻射場模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的nerf模型。

51、優(yōu)選地，所述獲取地面的深度信息，包括：

52、利用所述對齊后的圖片的語義分割結(jié)果，提取出標(biāo)記為地面的區(qū)域，并估計(jì)的深度值應(yīng)用于這些地面區(qū)域，生成對應(yīng)的深度圖；

53、對所述深度圖進(jìn)行濾波和平滑處理，得到地面的深度信息。

54、根據(jù)本發(fā)明的另一個(gè)方面，提供了一種基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的系統(tǒng)，包括：

55、數(shù)據(jù)采集模塊，該模塊基于車載相機(jī)獲取多個(gè)具有不同角度和不同高度的連續(xù)多視角周圍實(shí)時(shí)圖像數(shù)據(jù)；提取所述連續(xù)多視角周圍實(shí)時(shí)圖像數(shù)據(jù)的關(guān)鍵特征；基于所述關(guān)鍵特征，對所述連續(xù)多視角周圍實(shí)時(shí)圖像進(jìn)行配準(zhǔn)，得到圖像之間的相對位置關(guān)系，拼接形成實(shí)時(shí)街景圖片；利用所述實(shí)時(shí)街景圖片，構(gòu)建眾包數(shù)據(jù)；

56、數(shù)據(jù)對齊模塊，該模塊用于對所述眾包數(shù)據(jù)中的圖片進(jìn)行坐標(biāo)對齊處理，得到對齊后的圖片；

57、nerf實(shí)景建模模塊，該模塊利用所述對齊后的圖片訓(xùn)練得到一nerf模型，基于所述nerf模型生成全角度三維街景圖像，完成nerf實(shí)景構(gòu)建。

58、根據(jù)本發(fā)明的第三個(gè)方面，提供了一種計(jì)算機(jī)終端，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，該處理器執(zhí)行該計(jì)算機(jī)程序時(shí)可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

59、根據(jù)本發(fā)明的第四個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中所述的系統(tǒng)。

60、由于采用了上述技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有如下至少一項(xiàng)的有益效果：

61、本發(fā)明提供的基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法及系統(tǒng)，解決了眾包數(shù)據(jù)的對齊問題，通過使用slam、神經(jīng)網(wǎng)絡(luò)等技術(shù)，實(shí)現(xiàn)眾包圖像之間的像素級匹配和位姿優(yōu)化。

62、本發(fā)明提供的基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法及系統(tǒng)，使用基于車載相機(jī)的眾包數(shù)據(jù)進(jìn)行街景建模的方法，通過使用nerf神經(jīng)網(wǎng)絡(luò)，以較高的速度構(gòu)建高度還原的全角度三維街景圖像。

63、本發(fā)明提供的基于車載相機(jī)獲取實(shí)時(shí)街景圖像構(gòu)建nerf實(shí)景的方法及系統(tǒng)，實(shí)現(xiàn)了對于動態(tài)街景的語義分割和開闊場景建模；同時(shí)，采用車載相機(jī)獲取眾包數(shù)據(jù)，并對眾包數(shù)據(jù)進(jìn)行對齊及預(yù)處理，解決了來源較為單一、規(guī)律性強(qiáng)、數(shù)據(jù)量少的問題，同時(shí)實(shí)現(xiàn)了對來源廣泛、語義復(fù)雜、采集量大的室外街景眾包數(shù)據(jù)的處理。