本技術(shù)實(shí)施例涉及互聯(lián)網(wǎng)領(lǐng)域，涉及但不限于一種三維重建方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、三維重建是計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺(jué)里重要而基礎(chǔ)的問(wèn)題。從二維圖像重建任意拓?fù)涞拈_(kāi)放曲面是一個(gè)重要的研究的方向。

2、相關(guān)技術(shù)中，在進(jìn)行三維重建時(shí)，通常通過(guò)神經(jīng)輻射場(chǎng)(nerf，neural?radiancefield)拓寬從二維圖像學(xué)習(xí)三維信息的視野，或者，在基于神經(jīng)輻射場(chǎng)的工作中，進(jìn)一步將有向距離場(chǎng)(sdf，signed?distance?function)引入神經(jīng)輻射場(chǎng)，從而獲得了從二維圖像提取高質(zhì)量閉合曲面的能力，重建效果與傳統(tǒng)方法相比取得了顯著的提升。另外，一些基于神經(jīng)隱式場(chǎng)的方法也通過(guò)改進(jìn)有向距離場(chǎng)來(lái)增強(qiáng)處理開(kāi)曲面的能力。

3、但是這些方法只能實(shí)現(xiàn)封閉曲面的三維重建，因此在很大程度上限制了三維重建的應(yīng)用范圍，從而使得三維重建方法的適用范圍較窄。而對(duì)于非封閉曲面的三維重建工作上，由于相關(guān)技術(shù)中基于神經(jīng)隱式場(chǎng)的方法需要三維數(shù)據(jù)作為監(jiān)督，使得非封閉曲面的三維重建的準(zhǔn)確率較低，且無(wú)法處理具有復(fù)雜拓?fù)涞谋砻娴闹亟üぷ鳌?/p>

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種三維重建方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，至少能夠應(yīng)用于人工智能領(lǐng)域和三維模型重建領(lǐng)域，能夠針對(duì)不同的目標(biāo)對(duì)象進(jìn)行三維模型的重建，從而提高了三維重建方法的適用范圍和重建的準(zhǔn)確率。

2、本技術(shù)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、本技術(shù)實(shí)施例提供一種三維重建方法，包括：基于目標(biāo)對(duì)象的多張圖像和每一所述圖像對(duì)應(yīng)的相機(jī)參數(shù)，建立所述目標(biāo)對(duì)象所在空間的初始無(wú)向距離場(chǎng)；所述初始無(wú)向距離場(chǎng)包括所述空間中的每一空間點(diǎn)與所述目標(biāo)對(duì)象的表面之間的初始距離值；基于每一空間點(diǎn)的所述初始距離值和預(yù)設(shè)的光線方向，分別確定相應(yīng)空間點(diǎn)的采樣權(quán)重和體渲染權(quán)重；基于所述采樣權(quán)重，對(duì)所述空間的全部空間點(diǎn)進(jìn)行上采樣處理，得到多個(gè)采樣點(diǎn)；基于所述體渲染權(quán)重，對(duì)所述多個(gè)采樣點(diǎn)進(jìn)行體渲染，得到每一所述采樣點(diǎn)的渲染顏色值；基于所述采樣點(diǎn)的渲染顏色值，對(duì)所述目標(biāo)對(duì)象的初始無(wú)向距離場(chǎng)進(jìn)行迭代更新，得到所述目標(biāo)對(duì)象所在空間的更新無(wú)向距離場(chǎng)；基于所述更新無(wú)向距離場(chǎng)對(duì)所述目標(biāo)對(duì)象進(jìn)行三維重建，得到所述目標(biāo)對(duì)象的三維模型。

4、本技術(shù)實(shí)施例提供一種三維重建裝置，所述裝置包括：無(wú)向距離場(chǎng)建立模塊，用于基于目標(biāo)對(duì)象的多張圖像和每一所述圖像對(duì)應(yīng)的相機(jī)參數(shù)，建立所述目標(biāo)對(duì)象所在空間的初始無(wú)向距離場(chǎng)；所述初始無(wú)向距離場(chǎng)包括所述空間中的每一空間點(diǎn)與所述目標(biāo)對(duì)象的表面之間的初始距離值；權(quán)重確定模塊，用于基于每一空間點(diǎn)的所述初始距離值和預(yù)設(shè)的光線方向，分別確定相應(yīng)空間點(diǎn)的采樣權(quán)重和體渲染權(quán)重；處理模塊，用于基于所述采樣權(quán)重，對(duì)所述空間的全部空間點(diǎn)進(jìn)行上采樣處理，得到多個(gè)采樣點(diǎn)；基于所述體渲染權(quán)重，對(duì)所述多個(gè)采樣點(diǎn)進(jìn)行體渲染，得到每一所述采樣點(diǎn)的渲染顏色值；迭代更新模塊，用于基于所述采樣點(diǎn)的渲染顏色值，對(duì)所述目標(biāo)對(duì)象的初始無(wú)向距離場(chǎng)進(jìn)行迭代更新，得到所述目標(biāo)對(duì)象所在空間的更新無(wú)向距離場(chǎng)；三維重建模塊，用于基于所述更新無(wú)向距離場(chǎng)對(duì)所述目標(biāo)對(duì)象進(jìn)行三維重建，得到所述目標(biāo)對(duì)象的三維模型。

5、在一些實(shí)施例中，所述無(wú)向距離場(chǎng)建立模塊還用于：從所述相機(jī)參數(shù)中提取所述空間的場(chǎng)景邊界信息和拍攝參數(shù)；基于所述場(chǎng)景邊界信息確定所述目標(biāo)對(duì)象所在的空間；基于所述拍攝參數(shù)，確定所述空間中的每一空間點(diǎn)的位置信息；將所述位置信息和所述多張圖像輸入至神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)中，得到所述空間中的每一空間點(diǎn)與所述目標(biāo)對(duì)象的表面之間的初始距離值；通過(guò)所述空間中的每一空間點(diǎn)與所述目標(biāo)對(duì)象的表面之間的初始距離值，建立所述目標(biāo)對(duì)象所在空間的初始無(wú)向距離場(chǎng)。

6、在一些實(shí)施例中，所述權(quán)重確定模塊還用于：基于每一空間點(diǎn)的所述初始距離值，確定相應(yīng)空間點(diǎn)的采樣權(quán)重；基于每一空間點(diǎn)的所述初始距離值和預(yù)設(shè)的光線方向，確定相應(yīng)空間點(diǎn)的體渲染權(quán)重。

7、在一些實(shí)施例中，所述權(quán)重確定模塊還用于：獲取預(yù)設(shè)的上采樣權(quán)重函數(shù)；確定當(dāng)前迭代更新的過(guò)程中上采樣處理的采樣密度；所述采樣密度是根據(jù)歷史更新無(wú)向距離場(chǎng)確定的參數(shù)，所述歷史更新無(wú)向距離場(chǎng)是在當(dāng)前迭代更新之前的上一次迭代更新過(guò)程中所得到的更新無(wú)向距離場(chǎng)；所述采樣密度包括第一類采樣密度和第二類采樣密度，所述第一類采樣密度大于所述第二類采樣密度；在對(duì)所述初始無(wú)向距離場(chǎng)進(jìn)行迭代更新時(shí)，循環(huán)采用所述第一類采樣密度和所述第二類采樣密度確定所述采樣權(quán)重；將所述采樣密度和每一空間點(diǎn)的所述初始距離值輸入至所述上采樣權(quán)重函數(shù)中，得到相應(yīng)空間點(diǎn)的采樣權(quán)重。

8、在一些實(shí)施例中，所述權(quán)重確定模塊還用于：獲取每一所述空間點(diǎn)映射至所述目標(biāo)對(duì)象的表面位置的法線方向；確定所述法線方向與所述光線方向之間的夾角的角度值；獲取預(yù)設(shè)的體渲染權(quán)重函數(shù)；確定當(dāng)前迭代更新的過(guò)程中體渲染的待學(xué)習(xí)參數(shù)；所述待學(xué)習(xí)參數(shù)是根據(jù)歷史更新無(wú)向距離場(chǎng)確定的參數(shù)，所述歷史更新無(wú)向距離場(chǎng)是在當(dāng)前迭代更新之前的上一次迭代更新過(guò)程中所得到的更新無(wú)向距離場(chǎng)；將所述待學(xué)習(xí)參數(shù)和所述角度值輸入至所述體渲染權(quán)重函數(shù)中，得到相應(yīng)空間點(diǎn)的體渲染權(quán)重。

9、在一些實(shí)施例中，通過(guò)所述體渲染權(quán)重函數(shù)確定出的全部空間點(diǎn)的體渲染權(quán)重滿足以下條件中的至少一個(gè)：全局無(wú)偏、局部無(wú)偏和遮擋感知；所述全局無(wú)偏是指隨著所述迭代更新次數(shù)的遞增，通過(guò)所述體渲染權(quán)重函數(shù)確定所述體渲染權(quán)重時(shí)，與所述目標(biāo)對(duì)象的表面交界處的空間點(diǎn)的體渲染權(quán)重等于1；所述局部無(wú)偏是指隨著所述迭代更新次數(shù)的遞增，通過(guò)所述體渲染權(quán)重函數(shù)確定所述體渲染權(quán)重時(shí)，與所述目標(biāo)對(duì)象的表面交界處的空間點(diǎn)的體渲染權(quán)重大于其他非表面交界處的空間點(diǎn)的體渲染權(quán)重；所述遮擋感知是指沿所述光線方向，在被所述目標(biāo)對(duì)象的一部分表面遮擋的區(qū)域中，如果存在所述目標(biāo)對(duì)象的另一部分表面，所述另一部分表面處的空間點(diǎn)的體渲染權(quán)重，小于所述目標(biāo)對(duì)象的一部分表面處的空間點(diǎn)的體渲染權(quán)重。

10、在一些實(shí)施例中，所述處理模塊還用于：基于所述采樣權(quán)重，在所述相機(jī)參數(shù)對(duì)應(yīng)的光線方向上，對(duì)所述空間的空間點(diǎn)進(jìn)行上采樣處理，得到多個(gè)采樣點(diǎn)。

11、在一些實(shí)施例中，所述處理模塊還用于：針對(duì)所述相機(jī)參數(shù)對(duì)應(yīng)的多條光線方向中的每一條光線方向上的多個(gè)空間點(diǎn)，獲取所述多個(gè)空間點(diǎn)中的每一空間點(diǎn)的采樣權(quán)重；將采樣權(quán)重大于采樣權(quán)重閾值的空間點(diǎn)，確定為所述光線方向上的采樣點(diǎn)。

12、在一些實(shí)施例中，所述處理模塊還用于：對(duì)所述多張圖像進(jìn)行特征提取，得到每一所述采樣點(diǎn)的初始顏色值；沿每一條光線方向，基于所述體渲染權(quán)重對(duì)所述光線方向上的多個(gè)采樣點(diǎn)的初始顏色值進(jìn)行顏色積分，得到每一所述采樣點(diǎn)的渲染顏色值。

13、在一些實(shí)施例中，所述處理模塊還用于：獲取每一條光線方向上的多個(gè)采樣點(diǎn)的初始顏色值和每一所述采樣點(diǎn)的體渲染權(quán)重；確定每一所述采樣點(diǎn)的體渲染權(quán)重與所述初始顏色值之間的顏色乘積；沿所述光線方向，通過(guò)對(duì)所述顏色乘積進(jìn)行顏色積分，依次累積每一采樣點(diǎn)的顏色乘積，得到投射到所述目標(biāo)對(duì)象的表面處的渲染顏色值。

14、在一些實(shí)施例中，所述裝置還包括：零點(diǎn)集獲取模塊，用于獲取所述初始無(wú)向距離場(chǎng)對(duì)應(yīng)的零點(diǎn)集，所述零點(diǎn)集對(duì)應(yīng)多個(gè)初始距離值為零的零點(diǎn)集采樣點(diǎn)；梯度確定模塊，用于基于所述初始無(wú)向距離場(chǎng)確定每一所述零點(diǎn)集采樣點(diǎn)的梯度值；偏移量獲取模塊，用于獲取預(yù)設(shè)的偏移量；梯度更新模塊，用于基于所述偏移量對(duì)每一所述零點(diǎn)集采樣點(diǎn)的梯度值進(jìn)行更新，得到更新后的梯度值；距離場(chǎng)更新模塊，用于基于所述更新后的梯度值對(duì)所述初始無(wú)向距離場(chǎng)進(jìn)行更新，得到所述目標(biāo)對(duì)象所在空間的更新無(wú)向距離場(chǎng)。

15、在一些實(shí)施例中，所述迭代更新模塊還用于：獲取所述目標(biāo)對(duì)象的表面處的采樣點(diǎn)的渲染顏色值和真實(shí)顏色值；確定所述渲染顏色值與所述真實(shí)顏色值之間的顏色差；基于所述顏色差確定神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)的損失結(jié)果；所述神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)用于預(yù)測(cè)所述初始無(wú)向距離場(chǎng)中的每一初始距離值；基于所述損失結(jié)果對(duì)所述神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，得到更新后的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)；通過(guò)所述更新后的神經(jīng)輻射場(chǎng)網(wǎng)絡(luò)對(duì)所述目標(biāo)對(duì)象的初始無(wú)向距離場(chǎng)進(jìn)行迭代更新，得到所述目標(biāo)對(duì)象所在空間的更新無(wú)向距離場(chǎng)。

16、本技術(shù)實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)可執(zhí)行指令；處理器，用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的可執(zhí)行指令時(shí)，實(shí)現(xiàn)上述的三維重建方法。

17、本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括可執(zhí)行指令，可執(zhí)行指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中；其中，電子設(shè)備的處理器從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中讀取可執(zhí)行指令，并執(zhí)行可執(zhí)行指令時(shí)，實(shí)現(xiàn)上述的三維重建方法。

18、本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有可執(zhí)行指令，用于引起處理器執(zhí)行所述可執(zhí)行指令時(shí)，實(shí)現(xiàn)上述的三維重建方法。

19、本技術(shù)實(shí)施例具有以下有益效果：基于目標(biāo)對(duì)象所在空間的每一空間點(diǎn)的初始距離值和預(yù)設(shè)的光線方向，分別確定相應(yīng)空間點(diǎn)的采樣權(quán)重和體渲染權(quán)重；從而基于采樣權(quán)重和體渲染權(quán)重，對(duì)空間的空間點(diǎn)依次進(jìn)行上采樣處理和體渲染，得到空間點(diǎn)的渲染顏色值；進(jìn)而基于空間點(diǎn)的渲染顏色值，對(duì)目標(biāo)對(duì)象的初始無(wú)向距離場(chǎng)進(jìn)行迭代更新，得到目標(biāo)對(duì)象所在空間的更新無(wú)向距離場(chǎng)。如此，由于在對(duì)初始無(wú)向距離場(chǎng)進(jìn)行迭代更新時(shí)，是基于所確定出的采樣權(quán)重和體渲染權(quán)重進(jìn)行上采樣處理和體渲染，且該采樣權(quán)重和體渲染權(quán)重是基于每一空間點(diǎn)的初始距離值和預(yù)設(shè)的光線方向確定的，因此，該采樣權(quán)重能夠保證對(duì)空間點(diǎn)進(jìn)行準(zhǔn)確的上采樣處理，該體渲染權(quán)重能夠?qū)ι喜蓸犹幚淼玫降牟蓸狱c(diǎn)進(jìn)行準(zhǔn)確的體渲染，從而得到更加接近目標(biāo)對(duì)象的真實(shí)顏色值的渲染顏色值，以及得到目標(biāo)對(duì)象準(zhǔn)確的無(wú)向距離場(chǎng)。另外，本技術(shù)實(shí)施例的三維重建方法能夠處理任意開(kāi)放曲面的重建，適用范圍更加廣泛，且通過(guò)采樣權(quán)重和體渲染權(quán)重進(jìn)行處理，不需要額外的三維監(jiān)督，只利用二維圖像監(jiān)督就能處理具有復(fù)雜拓?fù)涞谋砻嬷亟ā?/p>