本發(fā)明涉及計(jì)算機(jī)視覺，尤其涉及基于體素占用技術(shù)的點(diǎn)云目標(biāo)檢測方法和系統(tǒng)。

背景技術(shù)：

1、隨著算力硬件的飛速發(fā)展和深度學(xué)習(xí)算法的持續(xù)進(jìn)步，信息處理能力得到顯著增強(qiáng)，尤其在自動(dòng)駕駛領(lǐng)域，各種傳感器如雷達(dá)、激光雷達(dá)和相機(jī)的實(shí)時(shí)應(yīng)用已成為可能；目標(biāo)檢測作為自動(dòng)駕駛中的關(guān)鍵技術(shù)，通過實(shí)時(shí)感知周邊環(huán)境為車輛后續(xù)的規(guī)劃、決斷和行動(dòng)提供了至關(guān)重要的信息。

2、激光雷達(dá)以其高檢測精度和速度，成為自動(dòng)駕駛系統(tǒng)中最為關(guān)鍵的探測器之一；然而，早期激光雷達(dá)每秒產(chǎn)生的海量點(diǎn)云數(shù)據(jù)導(dǎo)致處理速度慢、效率低，限制了其在真實(shí)場景中的應(yīng)用，隨著硬件技術(shù)的提升，點(diǎn)云3d目標(biāo)檢測任務(wù)逐漸變得可行，并涌現(xiàn)出多種基于深度學(xué)習(xí)的檢測算法。

3、當(dāng)前，基于深度學(xué)習(xí)的3d點(diǎn)云目標(biāo)檢測算法主要可歸納為三種類型：基于投影和圖像的檢測算法、基于點(diǎn)云的檢測算法以及基于體素的檢測算法；其中，基于體素的檢測算法因其能夠保留3d空間信息并規(guī)避點(diǎn)云數(shù)據(jù)不規(guī)則存儲(chǔ)的缺陷，在準(zhǔn)確率和檢測速度上展現(xiàn)出優(yōu)勢；體素法可根據(jù)劃分的體素尺寸細(xì)分為兩類，一類是基于柱狀體素的檢測方法，另一類是基于小體素并應(yīng)用稀疏卷積的檢測方法。

4、雖然稀疏卷積能有效提高3d目標(biāo)檢測的檢測精度，但其訓(xùn)練與推理時(shí)間較長，且模型部署方面存在困難，而基于柱狀體素的體素法雖然能減少訓(xùn)練與推理時(shí)間，但檢測精度略有下降；因此，如何在不增加計(jì)算量的前提下提高基于柱狀體素的體素法的檢測精度，成為了一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述問題，提出了基于體素占用技術(shù)的點(diǎn)云目標(biāo)檢測方法。

2、一種基于體素占用技術(shù)的點(diǎn)云目標(biāo)檢測方法，所述方法包括：

3、采集點(diǎn)云數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，確定訓(xùn)練數(shù)據(jù)集；

4、構(gòu)建目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，使用所述訓(xùn)練數(shù)據(jù)集對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取所述訓(xùn)練數(shù)據(jù)集的特征并確定體素占用的預(yù)測結(jié)果；

5、對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行重體素化獲取體素占用的真值標(biāo)簽；

6、根據(jù)所述體素占用的預(yù)測結(jié)果和所述體素占用的真值標(biāo)簽確定體素占用預(yù)測損失，根據(jù)所述占用預(yù)測損失對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化；

7、根據(jù)優(yōu)化后的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)測數(shù)據(jù)集進(jìn)行點(diǎn)云目標(biāo)檢測。

8、上述方案中，所述采集點(diǎn)云數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，確定訓(xùn)練數(shù)據(jù)集，具體包括：

9、刪除所述點(diǎn)云數(shù)據(jù)中的濾除孤立點(diǎn)和界外點(diǎn)，獲取第一點(diǎn)云數(shù)據(jù)；

10、對(duì)所述第一點(diǎn)云數(shù)據(jù)進(jìn)行體素化，獲得訓(xùn)練數(shù)據(jù)集。

11、上述方案中，所述構(gòu)建目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，使用所述訓(xùn)練數(shù)據(jù)集對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取所述訓(xùn)練數(shù)據(jù)集的特征并確定體素占用的預(yù)測結(jié)果，具體包括：

12、將訓(xùn)練數(shù)據(jù)集劃分為若干個(gè)柱狀體素，將每一個(gè)所述柱狀體素內(nèi)的點(diǎn)云編碼作為一個(gè)特征向量，確定每一個(gè)所述柱狀體素的特征；

13、根據(jù)多個(gè)層級(jí)尺度的體素特征中最大空間層級(jí)尺度的體素特征，將3d體素特征空間轉(zhuǎn)化為2d鳥瞰圖；

14、構(gòu)建2d卷積模塊，通過卷積與反卷積在不同維度上進(jìn)行下采樣與上采樣，

15、將2d鳥瞰圖轉(zhuǎn)化為2d特征圖；

16、根據(jù)所述2d特征圖像，基于稠密候選框和非極大值抑制，獲得預(yù)測結(jié)果。

17、上述方案中，所述對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行重體素化獲取體素占用的真值標(biāo)簽，具體包括：

18、根據(jù)點(diǎn)云空間在x，y，z三個(gè)方向上的對(duì)應(yīng)的取值范圍以及頸部網(wǎng)絡(luò)輸出的特征尺寸確定重體素化的體素尺寸：

19、預(yù)設(shè)點(diǎn)云空間在x，y，z三個(gè)方向上的對(duì)應(yīng)的取值范圍分別為[xmin，xmax]，[ymin，ymax]和[zmin，zmax]；

20、根據(jù)頸部網(wǎng)絡(luò)輸出的特征，將每個(gè)柱狀體素按高度均勻劃分為d個(gè)體素，則對(duì)應(yīng)的體素化尺寸v′x，v′y和v′z分別如下所示：

21、v′x＝(xmax-xmin)/h

22、v′y＝(ymax-ymin)/w

23、v′z＝(zmax-zmin)/d

24、其中，v′x，v′y和v′z分別表示體素在x，y和z三個(gè)方向上的尺寸；

25、根據(jù)所述體素內(nèi)是否存在點(diǎn)云以及訓(xùn)練集的真值，將全體體素劃分為三種類別，并生成的每個(gè)體素占用的真值標(biāo)簽。

26、上述方案中，所述根據(jù)所述體素占用的預(yù)測結(jié)果和所述體素占用的真值標(biāo)簽確定體素占用預(yù)測損失，具體包括：

27、將頸部網(wǎng)絡(luò)輸出的特征輸入至預(yù)測編碼器，并得到特征f′h＝decoder(fh)，其中，decoder為預(yù)測解碼器；

28、將所述特征f′h輸入至分類器，得到每個(gè)體素對(duì)應(yīng)的體素占用預(yù)測結(jié)果：

29、fpred＝softmax(f′h)

30、其中，輸出的為最終的體素占用預(yù)測的結(jié)果；

31、根據(jù)所述體素占用預(yù)測結(jié)果fpred和所述每個(gè)體素占用的真值標(biāo)簽確定體素占用預(yù)測損失。

32、上述方案中，所述根據(jù)所述體素占用預(yù)測結(jié)果fpred和所述每個(gè)體素占用的真值標(biāo)簽確定體素占用預(yù)測損失還包括：

33、

34、其中，i為空間內(nèi)體素總數(shù)、j為三個(gè)待分類的占用標(biāo)簽種類、為體素vi的體素占用標(biāo)簽類型；

35、調(diào)整權(quán)重參數(shù)

36、其中，為在第i個(gè)體素的j類別處的取值；

37、確定體素占用預(yù)測損失函數(shù)：

38、

39、其中，lossvop為體素占用預(yù)測損失函數(shù)、n為體素空間內(nèi)包含的體素?cái)?shù)量。

40、上述方案中，所述根據(jù)所述占用預(yù)測損失對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化還包括：

41、獲取檢測類別概率損失、檢測框回歸損失、預(yù)測框朝向損失lossdir結(jié)果以及體素占用預(yù)測損失函數(shù)lossvop；

42、根據(jù)所述檢測類別概率損失、檢測框回歸損失、預(yù)測框朝向損失lossdir結(jié)果以及體素占用預(yù)測損失函數(shù)lossvop確定整體損失函數(shù)loss；

43、根據(jù)所述整體損失函數(shù)loss對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化。

44、本技術(shù)還提出了一種基于體素占用技術(shù)的點(diǎn)云目標(biāo)檢測系統(tǒng)，所述系統(tǒng)包括：訓(xùn)練數(shù)據(jù)集獲取單元、預(yù)測結(jié)果獲取單元、真值標(biāo)簽獲取單元、優(yōu)化單元和檢測單元；

45、所述訓(xùn)練數(shù)據(jù)集獲取單元，用于采集點(diǎn)云數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，確定訓(xùn)練數(shù)據(jù)集；

46、所述預(yù)測結(jié)果獲取單元，用于構(gòu)建目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，使用所述訓(xùn)練數(shù)據(jù)集對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取所述訓(xùn)練數(shù)據(jù)集的特征并確定體素占用的預(yù)測結(jié)果；

47、所述真值標(biāo)簽獲取單元，用于對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行重體素化獲取體素占用的真值標(biāo)簽；

48、所述優(yōu)化單元，用于根據(jù)所述體素占用的預(yù)測結(jié)果和所述體素占用的真值標(biāo)簽確定體素占用預(yù)測損失，根據(jù)所述占用預(yù)測損失對(duì)所述目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化；

49、所述檢測單元，用于根據(jù)優(yōu)化后的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)測數(shù)據(jù)集進(jìn)行點(diǎn)云目標(biāo)檢測。

50、采用本發(fā)明實(shí)施例，具有如下有益效果：先采集點(diǎn)云數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，確定訓(xùn)練數(shù)據(jù)集；再構(gòu)建目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，使用訓(xùn)練數(shù)據(jù)集對(duì)目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲取訓(xùn)練數(shù)據(jù)集的特征并確定體素占用的預(yù)測結(jié)果；對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行重體素化獲取體素占用的真值標(biāo)簽；根據(jù)體素占用的預(yù)測結(jié)果和體素占用的真值標(biāo)簽確定體素占用預(yù)測損失，根據(jù)占用預(yù)測損失對(duì)目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化；根據(jù)優(yōu)化后的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)測數(shù)據(jù)集進(jìn)行點(diǎn)云目標(biāo)檢測；本發(fā)明通過通過體素化技術(shù)，將點(diǎn)云數(shù)據(jù)被轉(zhuǎn)換為體素表示，減少了數(shù)據(jù)的冗余和計(jì)算量，使用深度學(xué)習(xí)中的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)點(diǎn)云數(shù)據(jù)的特征，并根據(jù)這些特征進(jìn)行目標(biāo)檢測，最后通過比較體素占用的預(yù)測結(jié)果和真值標(biāo)簽，可以準(zhǔn)確地計(jì)算出預(yù)測損失，并據(jù)此優(yōu)化網(wǎng)絡(luò)參數(shù)，從而提高檢測準(zhǔn)確性。