本方法涉及計(jì)算機(jī)視覺(jué)，具體涉及一種基于nerf的交通事故場(chǎng)景三維重建方法。

背景技術(shù)：

1、在交通事故調(diào)查中，事故現(xiàn)場(chǎng)的還原對(duì)于分析事故原因、確定責(zé)任歸屬等方面起著至關(guān)重要的作用。傳統(tǒng)的交通事故場(chǎng)景還原方法通常依賴于現(xiàn)場(chǎng)勘查人員的實(shí)地測(cè)量和記錄，不僅工作量大、耗時(shí)長(zhǎng)，而且受到現(xiàn)場(chǎng)條件、人為因素等多種因素的影響，導(dǎo)致還原結(jié)果往往不夠準(zhǔn)確。

2、近年來(lái)，隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于圖像的三維重建技術(shù)逐漸展現(xiàn)出其獨(dú)特的優(yōu)勢(shì)。特別是神經(jīng)輻射場(chǎng)(nerf)技術(shù)的出現(xiàn)，使得從少量二維圖像中恢復(fù)出高質(zhì)量的三維場(chǎng)景成為可能。nerf技術(shù)通過(guò)學(xué)習(xí)場(chǎng)景中每個(gè)點(diǎn)的神經(jīng)輻射場(chǎng)函數(shù)，能夠預(yù)測(cè)并生成任意視角下的三維場(chǎng)景圖像，從而實(shí)現(xiàn)高精度的三維重建，因此本發(fā)明設(shè)計(jì)了一種基于nerf的交通事故場(chǎng)景三維重建方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中的問(wèn)題，而提出的一種基于nerf的交通事故場(chǎng)景三維重建方法。

2、一種基于nerf的交通事故場(chǎng)景三維重建方法，包括以下步驟：

3、s1：數(shù)據(jù)采集；在數(shù)據(jù)采集時(shí)針對(duì)不同的場(chǎng)景分別提供2相機(jī)組場(chǎng)景，3相機(jī)組場(chǎng)景和4相機(jī)組場(chǎng)景；

4、s2：三維重建模型及訓(xùn)練，基于原始nerf的結(jié)構(gòu)搭建新的網(wǎng)絡(luò)結(jié)構(gòu)，并進(jìn)行訓(xùn)練；

5、s3：三維重建質(zhì)量驗(yàn)證，針對(duì)訓(xùn)練好的模型的質(zhì)量進(jìn)行驗(yàn)證，使用訓(xùn)練好并且通過(guò)測(cè)試的進(jìn)行場(chǎng)景還原，若是不通過(guò)，則返回到s1步驟，循環(huán)往復(fù)。

6、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，數(shù)據(jù)采集包含采集交通事故現(xiàn)場(chǎng)的行車記錄儀數(shù)據(jù)。

7、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，數(shù)據(jù)采集具體包括以下步驟：

8、s1：圍繞事故場(chǎng)景搭建相機(jī)組，同時(shí)，若是事故場(chǎng)景提供行車記錄儀數(shù)據(jù)，一并采集并記錄行車記錄儀的內(nèi)參矩陣；

9、s2：利用搭建好的相機(jī)組，進(jìn)行交通事故現(xiàn)場(chǎng)的2d圖像數(shù)據(jù)采集。

10、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，相機(jī)組采用換位交叉采集方法，減少誤差，其中換位交叉采集方法包括以下步驟：

11、s1：以交通事故場(chǎng)景為中心，選擇4個(gè)方位放置相機(jī)，位置編號(hào)依次為a-d，相機(jī)編號(hào)為1-4，且保證1號(hào)和3號(hào)相機(jī)的連線，2號(hào)和4號(hào)相機(jī)的連線互相垂直，即初始化的位置為：1號(hào)相機(jī)對(duì)應(yīng)a號(hào)位置，依次類推；

12、s2：相機(jī)位置擺放完畢后，進(jìn)行圖像數(shù)據(jù)采集，每個(gè)相機(jī)在同一場(chǎng)景采集5張圖片，圖片命名格式為“相機(jī)編號(hào)－位置編號(hào)－圖片編號(hào)”，例如“1-a-2”，其含義為1號(hào)相機(jī)在a位置拍攝的第2張照片；

13、s3：進(jìn)行順位調(diào)換，基于初始化的位置，1號(hào)相機(jī)換到d位置，2號(hào)相機(jī)換到a位置，3號(hào)相機(jī)換到b位置，最后4號(hào)相機(jī)換到c位置，每個(gè)相機(jī)再次采集5張圖像；

14、s4：重復(fù)s1，直至最后位置為1號(hào)相機(jī)對(duì)應(yīng)b位置，2號(hào)相機(jī)對(duì)應(yīng)c位置，3號(hào)位置對(duì)應(yīng)d位置，4號(hào)相機(jī)對(duì)應(yīng)a位置，此時(shí)每個(gè)相機(jī)均采集了a-d位置的圖片，每個(gè)位置有5張圖像，共計(jì)20張圖像，相應(yīng)的，相機(jī)組為3個(gè)相機(jī)時(shí)，最終采集到的每個(gè)位置為15張圖像，同理，相機(jī)組為2個(gè)相機(jī)時(shí)，最終采集到的每個(gè)位置為10張圖像。

15、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，三維重建模型及訓(xùn)練基于原始的nerf模型并進(jìn)行改進(jìn)，采用了transformer結(jié)構(gòu)中的encoder部分替換了原始模型結(jié)構(gòu)中的兩層全連接層，三維重建模型的訓(xùn)練方法包含以下步驟：

16、s1：進(jìn)行無(wú)監(jiān)督部分權(quán)重訓(xùn)練；

17、s2：加載第一步訓(xùn)練好的權(quán)重，隨后進(jìn)行整體模型的訓(xùn)練。

18、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，在三維重建質(zhì)量驗(yàn)證中包含兩種情況：

19、情況一，若是采集的數(shù)據(jù)中包含行車記錄儀的數(shù)據(jù)，則采用行車記錄儀中的數(shù)據(jù)進(jìn)行訓(xùn)練；

20、情況二，若是采集的數(shù)據(jù)中不包含行車記錄儀的數(shù)據(jù)，則采用多視角驗(yàn)證法。

21、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，多視角驗(yàn)證法的步驟包括：

22、s1：選中一個(gè)目標(biāo)點(diǎn)，在4個(gè)相機(jī)的視角下進(jìn)行推理，獲得目標(biāo)點(diǎn)的顏色和透明度，同時(shí)，利用4個(gè)相機(jī)的內(nèi)參矩陣計(jì)算的相應(yīng)目標(biāo)點(diǎn)的顏色和透明度；

23、s2：計(jì)算平均誤差，假設(shè)rgbα(i)為四個(gè)相機(jī)推理的結(jié)果(i代表相機(jī)編號(hào))，rgbα(ti)為相機(jī)內(nèi)參矩陣計(jì)算的相應(yīng)目標(biāo)點(diǎn)的顏色和透明度，a(rgbα(ti))為平均相機(jī)內(nèi)參矩陣計(jì)算的相應(yīng)目標(biāo)點(diǎn)的顏色和透明度，e為平均誤差，具體的計(jì)算方法如下：

24、

25、s3：設(shè)定誤差閾值判斷e是否可以通過(guò)檢測(cè)標(biāo)準(zhǔn)，通過(guò)大量場(chǎng)景進(jìn)行驗(yàn)證。

26、在上述基于nerf的交通事故場(chǎng)景三維重建方法中，多視角驗(yàn)證法中的誤差閾值默認(rèn)設(shè)置為6％。

27、與現(xiàn)有的技術(shù)相比，本發(fā)明優(yōu)點(diǎn)在于：

28、1.將nerf技術(shù)應(yīng)用于交通事故場(chǎng)景還原領(lǐng)域，不僅可以大大提高還原的精度和效率，還能減少人為因素的干擾，為交通事故調(diào)查提供更加準(zhǔn)確、可靠的技術(shù)支持。

29、2.本發(fā)明提出的網(wǎng)絡(luò)結(jié)構(gòu)替換了原始nerf中的全連接層，降低了參數(shù)量，盡可能保證準(zhǔn)確性的前提下，降低模型的訓(xùn)練時(shí)間。

技術(shù)特征：

1.一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：數(shù)據(jù)采集包含采集交通事故現(xiàn)場(chǎng)的行車記錄儀數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：數(shù)據(jù)采集具體包括以下步驟：

4.根據(jù)權(quán)利要求1所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：相機(jī)組采用換位交叉采集方法，減少誤差，其中換位交叉采集方法包括以下步驟：

5.根據(jù)權(quán)利要求1所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：三維重建模型及訓(xùn)練基于原始的nerf模型并進(jìn)行改進(jìn)，采用了transformer結(jié)構(gòu)中的encoder部分替換了原始模型結(jié)構(gòu)中的兩層全連接層，三維重建模型的訓(xùn)練方法包含以下步驟：

6.根據(jù)權(quán)利要求1所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：在三維重建質(zhì)量驗(yàn)證中包含兩種情況：

7.根據(jù)權(quán)利要求6所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：多視角驗(yàn)證法的步驟包括：

8.根據(jù)權(quán)利要求7所述的一種基于nerf的交通事故場(chǎng)景三維重建方法，其特征在于：多視角驗(yàn)證法中的誤差閾值默認(rèn)設(shè)置為6％。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于神經(jīng)輻射場(chǎng)(NeRF)的交通事故場(chǎng)景三維重建方法，涉及交通事故調(diào)查與場(chǎng)景重建技術(shù)領(lǐng)域，該方法利用NeRF技術(shù)，通過(guò)從交通事故現(xiàn)場(chǎng)的二維圖像和行車記錄儀數(shù)據(jù)，快速、準(zhǔn)確地重建出事故現(xiàn)場(chǎng)的三維場(chǎng)景，為交通事故的調(diào)查、分析和責(zé)任判定提供有力的技術(shù)支持。該方法主要包括以下步驟：準(zhǔn)備原始行車記錄儀數(shù)據(jù)，并采集相應(yīng)的相機(jī)參數(shù)；隨后，基于原始NeRF的結(jié)構(gòu)，搭建新的網(wǎng)絡(luò)結(jié)構(gòu)，并進(jìn)行訓(xùn)練；最后，使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行驗(yàn)證，若是通過(guò)驗(yàn)證，則使用訓(xùn)練好并且通過(guò)測(cè)試的進(jìn)行場(chǎng)景還原，若是不通過(guò)，則返回到提取步驟，循環(huán)往復(fù)。

技術(shù)研發(fā)人員：楊雨薇,高德鵬,盧曦,李莉,胡兆鵬
受保護(hù)的技術(shù)使用者：南通理工學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21