本發(fā)明屬于自動(dòng)駕駛感知,具體地,涉及4d毫米波雷達(dá)三維目標(biāo)檢測(cè)方法及系統(tǒng)。更具體是,基于雙注意力機(jī)制的4d毫米波雷達(dá)三維目標(biāo)檢測(cè)方法及系統(tǒng)。
背景技術(shù):
1、三維目標(biāo)檢測(cè)是自動(dòng)駕駛場(chǎng)景理解的關(guān)鍵和基礎(chǔ)問(wèn)題,其目的是獲取物體的類別信息,預(yù)測(cè)物體的三維邊界框。對(duì)于自動(dòng)駕駛汽車(chē)來(lái)說(shuō),跟蹤、預(yù)測(cè)、決策和規(guī)劃等許多基本任務(wù)都依賴于三維目標(biāo)檢測(cè)的結(jié)果。現(xiàn)有的三維目標(biāo)檢測(cè)方法及系統(tǒng)主要基于激光雷達(dá)、相機(jī)或它們的融合。
2、相機(jī)作為一種常見(jiàn)的低成本感知傳感器,能夠提供豐富的語(yǔ)義信息,在三維目標(biāo)檢測(cè)中受到了廣泛關(guān)注。這些方法通常是根據(jù)預(yù)先獲得的二維邊界框預(yù)測(cè)三維邊界框,或者直接根據(jù)每個(gè)對(duì)象的圖像特征預(yù)測(cè)三維邊界框。與相機(jī)相比,激光雷達(dá)可以捕獲物體更精確的幾何信息,如位置和形狀,在三維目標(biāo)檢測(cè)中獲得了顯著的性能。然而,相機(jī)容易受到光線條件的影響,而激光雷達(dá)對(duì)天氣很敏感。因此,當(dāng)光照條件或天氣較差時(shí),例如明亮或弱光環(huán)境、多雨或多霧天氣,相機(jī)和激光雷達(dá)的感知性能會(huì)出現(xiàn)顯著下降。
3、與激光雷達(dá)和相機(jī)相比,毫米波雷達(dá)在惡劣環(huán)境下具有更強(qiáng)的魯棒性。并且,它也比激光雷達(dá)具有成本優(yōu)勢(shì),因此更具商業(yè)可行性。傳統(tǒng)低成本的3d毫米波雷達(dá)可以有效地測(cè)量物體的徑向距離、徑向速度與水平角度信息,但是缺乏測(cè)量物體高度信息的能力,且點(diǎn)云十分稀疏。隨著雷達(dá)技術(shù)的發(fā)展,更高分辨率的4d毫米波雷達(dá)應(yīng)運(yùn)而生,彌補(bǔ)了這些不足。它能夠提供額外的高度信息從而有效地捕捉物體的三維幾何信息,且量產(chǎn)成本和創(chuàng)痛3d毫米波雷達(dá)接近,并且抗環(huán)境干擾能力強(qiáng)。然而,與激光雷達(dá)相比,4d毫米波雷達(dá)點(diǎn)云仍然比較稀疏且包含更多的噪聲,位置感知精度也較低,導(dǎo)致現(xiàn)有的基于點(diǎn)云的三維目標(biāo)檢測(cè)方法無(wú)法有效地應(yīng)用于4d毫米波雷達(dá)。
4、專利文獻(xiàn)cn113610044a公開(kāi)了一種基于自注意力網(wǎng)絡(luò)的4d毫米波雷達(dá)三維目標(biāo)檢測(cè)方法,涉及自動(dòng)駕駛技術(shù)領(lǐng)域,該方法以4d毫米波雷達(dá)點(diǎn)云為輸入,通過(guò)鳥(niǎo)瞰視圖體素化模塊,得到高維的4d毫米波雷達(dá)點(diǎn)云特征,并使用自注意力特征提取模塊生成bev特征,然后通過(guò)主干網(wǎng)絡(luò)和檢測(cè)頭輸出三維目標(biāo)檢測(cè)結(jié)果。
5、該方案能通過(guò)點(diǎn)云特征的自適應(yīng)關(guān)聯(lián)促進(jìn)來(lái)提高目標(biāo)的朝向估計(jì),但無(wú)法自適應(yīng)抑制4d毫米波雷達(dá)點(diǎn)云的噪聲,造成了較多的誤檢。
6、專利文獻(xiàn)cn116486396a公開(kāi)了一種基于4d毫米波雷達(dá)點(diǎn)云的3d目標(biāo)檢測(cè)方法,涉及自動(dòng)駕駛技術(shù)領(lǐng)域,該方案以4d毫米波雷達(dá)點(diǎn)云為輸入,通過(guò)稀疏點(diǎn)云增密模塊和點(diǎn)云體素化模塊得到較為稠密的體素特征。然后,所得到的體素特征被送入3d主干網(wǎng)絡(luò)得到不同高度下的多尺度3d特征,最后得到bev特征后通過(guò)目標(biāo)檢測(cè)頭實(shí)現(xiàn)3d框預(yù)測(cè)。
7、該方案通過(guò)點(diǎn)云增密和多尺度特征能增強(qiáng)稀疏點(diǎn)云的特征提取能力,但點(diǎn)云增密會(huì)引入更多的噪聲,并帶來(lái)計(jì)算成本的提高。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明的目的是提供一種4d毫米波雷達(dá)三維目標(biāo)檢測(cè)方法及系統(tǒng)。
2、根據(jù)本發(fā)明提供的一種4d毫米波雷達(dá)三維目標(biāo)檢測(cè)方法,包括:
3、步驟s1:實(shí)時(shí)采集4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù),并且編碼為立柱特征;
4、步驟s2:基于立柱特征,通過(guò)立柱特征編碼模塊,進(jìn)行特征融合,得到增強(qiáng)的立柱特征;通過(guò)增強(qiáng)的立柱特征,生成鳥(niǎo)瞰視角偽圖像;
5、步驟s3:構(gòu)建2d卷積網(wǎng)絡(luò),利用2d卷積網(wǎng)絡(luò)對(duì)作為鳥(niǎo)瞰視角偽圖像的bev偽圖像進(jìn)行特征提取,生成bev特征圖;
6、步驟s4:基于bev特征圖,重新劃分4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的數(shù)據(jù)點(diǎn),生成4d毫米波雷達(dá)點(diǎn)云的三維坐標(biāo)空間;
7、步驟s5:對(duì)三維坐標(biāo)空間進(jìn)行編碼,獲得3d位置嵌入;
8、步驟s6:將bev特征圖與3d位置嵌入逐元素相加,生成增強(qiáng)的bev特征圖并輸入?yún)^(qū)域提取網(wǎng)絡(luò)檢測(cè)頭,輸出三維目標(biāo)檢測(cè)結(jié)果。
9、優(yōu)選地,在所述步驟s1中:
10、步驟s1.1:采集4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù),并且將它映射到水平坐標(biāo)平面;按照等尺寸在水平坐標(biāo)平面上劃分出網(wǎng)格,并且在每個(gè)網(wǎng)格上建立等高的立柱;
11、步驟s1.2:對(duì)每個(gè)立柱內(nèi)的點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo),執(zhí)行偏移計(jì)算,得到點(diǎn)云數(shù)據(jù)點(diǎn)的增廣特征
12、步驟s1.3:將所述增廣特征輸入多層感知機(jī),生成點(diǎn)云數(shù)據(jù)點(diǎn)的高維特征fp;
13、步驟s1.4:采用最大池化操作,將每個(gè)立柱內(nèi)的所有點(diǎn)云數(shù)據(jù)點(diǎn)的高維特征fp聚合為單個(gè)特征向量fm,即立柱特征;
14、在所述步驟s2中:
15、所述立柱特征編碼模塊,包括:全局立柱注意力網(wǎng)絡(luò)、立柱特征注意力網(wǎng)絡(luò)與多層感知機(jī)網(wǎng)絡(luò);
16、步驟s2.1:將立柱特征輸入全局立柱注意力網(wǎng)絡(luò),生成立柱全局關(guān)聯(lián)特征,并與立柱特征相加,生成全局立柱特征fg;
17、步驟s2.2:將立柱特征輸入立柱特征注意力網(wǎng)絡(luò),將輸出結(jié)果與立柱特征相加,生成立柱重要性特征fi;
18、步驟s2.3:將全局立柱特征fg、立柱重要性特征fi與立柱特征分別經(jīng)過(guò)三個(gè)不同的多層感知機(jī)后相加,再輸入前饋網(wǎng)絡(luò),實(shí)現(xiàn)特征融合;輸出增強(qiáng)的立柱特征并且轉(zhuǎn)化為鳥(niǎo)瞰視角偽圖像。
19、優(yōu)選地,在所述步驟s1.1中,每個(gè)立柱內(nèi),都存在劃分的點(diǎn)云數(shù)據(jù)點(diǎn);所述點(diǎn)云數(shù)據(jù)點(diǎn)的特征為(x,y,z,v,r),共包含5個(gè)維度;其中,(x,y,z)代表當(dāng)前云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo),v代表當(dāng)前數(shù)據(jù)點(diǎn)的相對(duì)徑向速度,r代表目標(biāo)的回波強(qiáng)度;
20、在所述步驟s1.2中,所述增廣特征為(x,y,z,v,r,xc,yc,zc,xr,yr,zr),共11個(gè)維度;其中,(xc,yc,zc)代表當(dāng)前點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo)與其所在立柱中心點(diǎn)的三維坐標(biāo)之間的偏移,(xr,yr,zr)代表當(dāng)前點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo)與其所在立柱中所有點(diǎn)云數(shù)據(jù)點(diǎn)的最小三維坐標(biāo)之間的偏移;
21、在所述步驟s2.1中:
22、步驟s2.1.1:對(duì)立柱特征使用線性網(wǎng)絡(luò)生成立柱特征嵌入fse;
23、步驟s2.1.2:對(duì)立柱特征嵌入fse分別執(zhí)行兩次獨(dú)立的線性變換,生成query和key;
24、步驟s2.1.3:將key轉(zhuǎn)置后于query作矩陣乘法運(yùn)算并且除以尺度因子即尺度化點(diǎn)乘運(yùn)算,得到運(yùn)算結(jié)果;
25、步驟s2.1.4:對(duì)運(yùn)算結(jié)果進(jìn)行歸一化,得到注意力權(quán)重矩陣am;
26、步驟s2.1.5:由注意力權(quán)重矩陣am和立柱特征嵌入fse逐元素相乘,獲得立柱全局關(guān)聯(lián)特征,并且和立柱特征相加,生成全局立柱特征fg;
27、所述立柱特征嵌入fse,數(shù)學(xué)表達(dá)式為:
28、fse=φ(fm,wse)
29、其中,φ表示線性變換;fm表示立柱特征;wse表示一種線性變換的權(quán)重;
30、所述query,數(shù)學(xué)表達(dá)式為:
31、qm=φ(fse,wq)
32、其中,wq表示還一種線性變換的權(quán)重;qm表示全局立柱注意力機(jī)制的query;
33、所述key,數(shù)學(xué)表達(dá)式為:
34、km=φ(fse,wk)
35、其中,wk表示又一種線性變換的權(quán)重;km表示全局立柱注意力機(jī)制的key;
36、所述注意力權(quán)重矩陣am,數(shù)學(xué)表達(dá)式為:
37、
38、其中,softmax表示歸一化函數(shù);表示km的轉(zhuǎn)置矩陣;
39、所述全局立柱特征fg,數(shù)學(xué)表達(dá)式為:
40、fg=fm+amfse
41、在所述步驟s2.2中:
42、步驟s2.2.1:基于立柱特征,通過(guò)線性網(wǎng)絡(luò)生成立柱特征嵌入fce;
43、步驟s2.2.2:將立柱特征嵌入fce分別經(jīng)過(guò)全局最大池化處理,即gmp和一維卷積網(wǎng)絡(luò)convm卷積以及全局平均池化處理,即gap和一維卷積網(wǎng)絡(luò)conva卷積,得到卷積結(jié)果;
44、步驟s2.2.3:將兩個(gè)一維卷積網(wǎng)絡(luò)的輸出相加,即將卷積結(jié)果相加,經(jīng)過(guò)sigmoid函數(shù)后,得到立柱特征重要性分?jǐn)?shù)sm;
45、步驟s2.2.4:將所述的立柱特征重要性分?jǐn)?shù)sm與立柱特征嵌入fce作逐元素相乘,再與立柱特征相加后得到作為立柱特征的局部重要特征信息的立柱重要性特征fi:
46、所述立柱特征嵌入fce,數(shù)學(xué)表達(dá)式為:
47、fce=φ(fm,wce)
48、其中,φ表示線性變換,wce表示繼一種線性變換的權(quán)重;
49、所述立柱特征重要性分?jǐn)?shù)sm,數(shù)學(xué)表達(dá)式為:
50、sm=sigmoid(convm(gmp(fce))+conva(gap(fce)))
51、所述立柱重要性特征fi,數(shù)學(xué)表達(dá)式為:
52、fi=fm+sm⊙fce
53、其中,⊙表示逐元素相乘。
54、優(yōu)選地,在所述步驟s4中:通過(guò)對(duì)網(wǎng)格劃分,實(shí)現(xiàn)bev特征圖坐標(biāo)(u,v)與真實(shí)坐標(biāo)(x,y)的轉(zhuǎn)換,數(shù)學(xué)表達(dá)式為:
55、x=(u-w/x)×s
56、y=v×s
57、其中,w表示bev特征圖的寬度,s表示網(wǎng)格長(zhǎng)度。
58、優(yōu)選地,在所述步驟s5中:通過(guò)從三維坐標(biāo)空間的每個(gè)網(wǎng)格沿高度軸采樣一個(gè)點(diǎn),使用其高度值作為z值,生成三維坐標(biāo)。
59、根據(jù)本發(fā)明提供的一種4d毫米波雷達(dá)三維目標(biāo)檢測(cè)系統(tǒng),包括:
60、模塊m1:實(shí)時(shí)采集4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù),并且編碼為立柱特征;
61、模塊m2:基于立柱特征,通過(guò)立柱特征編碼模塊,進(jìn)行特征融合,得到增強(qiáng)的立柱特征;通過(guò)增強(qiáng)的立柱特征,生成鳥(niǎo)瞰視角偽圖像;
62、模塊m3:構(gòu)建2d卷積網(wǎng)絡(luò),利用2d卷積網(wǎng)絡(luò)對(duì)作為鳥(niǎo)瞰視角偽圖像的bev偽圖像進(jìn)行特征提取,生成bev特征圖;
63、模塊m4:基于bev特征圖,重新劃分4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的數(shù)據(jù)點(diǎn),生成4d毫米波雷達(dá)點(diǎn)云的三維坐標(biāo)空間;
64、模塊m5:對(duì)三維坐標(biāo)空間進(jìn)行編碼,獲得3d位置嵌入;
65、模塊m6:將bev特征圖與3d位置嵌入逐元素相加,生成增強(qiáng)的bev特征圖并輸入?yún)^(qū)域提取網(wǎng)絡(luò)檢測(cè)頭,輸出三維目標(biāo)檢測(cè)結(jié)果。
66、優(yōu)選地,在所述模塊m1中:
67、模塊m1.1:采集4d毫米波雷達(dá)點(diǎn)云數(shù)據(jù),并且將它映射到水平坐標(biāo)平面;按照等尺寸在水平坐標(biāo)平面上劃分出網(wǎng)格,并且在每個(gè)網(wǎng)格上建立等高的立柱;
68、模塊m1.2:對(duì)每個(gè)立柱內(nèi)的點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo),執(zhí)行偏移計(jì)算,得到點(diǎn)云數(shù)據(jù)點(diǎn)的增廣特征
69、模塊m1.3:將所述增廣特征輸入多層感知機(jī),生成點(diǎn)云數(shù)據(jù)點(diǎn)的高維特征fp;
70、模塊m1.4:采用最大池化操作,將每個(gè)立柱內(nèi)的所有點(diǎn)云數(shù)據(jù)點(diǎn)的高維特征fp聚合為單個(gè)特征向量fm,即立柱特征;
71、在所述模塊m2中:
72、所述立柱特征編碼模塊,包括:全局立柱注意力網(wǎng)絡(luò)、立柱特征注意力網(wǎng)絡(luò)與多層感知機(jī)網(wǎng)絡(luò);
73、模塊m2.1:將立柱特征輸入全局立柱注意力網(wǎng)絡(luò),生成立柱全局關(guān)聯(lián)特征,并與立柱特征相加,生成全局立柱特征fg;
74、模塊m2.2:將立柱特征輸入立柱特征注意力網(wǎng)絡(luò),將輸出結(jié)果與立柱特征相加,生成立柱重要性特征wi;
75、模塊m2.3:將全局立柱特征fg、立柱重要性特征fi與立柱特征分別經(jīng)過(guò)三個(gè)不同的多層感知機(jī)后相加,再輸入前饋網(wǎng)絡(luò),實(shí)現(xiàn)特征融合;輸出增強(qiáng)的立柱特征并且轉(zhuǎn)化為鳥(niǎo)瞰視角偽圖像。
76、優(yōu)選地,在所述模塊m1.1中,每個(gè)立柱內(nèi),都存在劃分的點(diǎn)云數(shù)據(jù)點(diǎn);所述點(diǎn)云數(shù)據(jù)點(diǎn)的特征為(x,y,z,v,r),共包含5個(gè)維度;其中,(x,y,z)代表當(dāng)前云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo),v代表當(dāng)前數(shù)據(jù)點(diǎn)的相對(duì)徑向速度,r代表目標(biāo)的回波強(qiáng)度;
77、在所述模塊m1.2中,所述增廣特征為(x,y,z,v,r,xc,yc,zc,xr,yr,zr),共11個(gè)維度;其中,(xc,yc,zc)代表當(dāng)前點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo)與其所在立柱中心點(diǎn)的三維坐標(biāo)之間的偏移,(xr,yr,zr)代表當(dāng)前點(diǎn)云數(shù)據(jù)點(diǎn)的原始三維坐標(biāo)與其所在立柱中所有點(diǎn)云數(shù)據(jù)點(diǎn)的最小三維坐標(biāo)之間的偏移;
78、在所述模塊m2.1中:
79、模塊m2.1.1:對(duì)立柱特征使用線性網(wǎng)絡(luò)生成立柱特征嵌入fse;
80、模塊m2.1.2:對(duì)立柱特征嵌入fse分別執(zhí)行兩次獨(dú)立的線性變換,生成query和key;
81、模塊m2.1.3:將key轉(zhuǎn)置后于query作矩陣乘法運(yùn)算并且除以尺度因子即尺度化點(diǎn)乘運(yùn)算,得到運(yùn)算結(jié)果;
82、模塊m2.1.4:對(duì)運(yùn)算結(jié)果進(jìn)行歸一化,得到注意力權(quán)重矩陣am;
83、模塊m2.1.5:由注意力權(quán)重矩陣am和立柱特征嵌入fse逐元素相乘,獲得立柱全局關(guān)聯(lián)特征,并且和立柱特征相加,生成全局立柱特征fg;
84、所述立柱特征嵌入fse,數(shù)學(xué)表達(dá)式為:
85、fse=φ(fm,wse)
86、其中,φ表示線性變換;fm表示立柱特征;wse表示一種線性變換的權(quán)重;
87、所述query,數(shù)學(xué)表達(dá)式為:
88、qs=φ(fse,wq)
89、其中,wq表示還一種線性變換的權(quán)重;qm表示全局立柱注意力機(jī)制的query;
90、所述key,數(shù)學(xué)表達(dá)式為:
91、km=φ(fse,wk)
92、其中,wk表示又一種線性變換的權(quán)重;km表示全局立柱注意力機(jī)制的key;
93、所述注意力權(quán)重矩陣am,數(shù)學(xué)表達(dá)式為:
94、
95、其中,softmax表示歸一化函數(shù);表示km的轉(zhuǎn)置矩陣;
96、所述全局立柱特征fg,數(shù)學(xué)表達(dá)式為:
97、fg=fm+amfse
98、在所述模塊m2.2中:
99、模塊m2.2.1:基于立柱特征,通過(guò)線性網(wǎng)絡(luò)生成立柱特征嵌入fce;
100、模塊m2.2.2:將立柱特征嵌入fce分別經(jīng)過(guò)全局最大池化處理,即gmp和一維卷積網(wǎng)絡(luò)convm卷積以及全局平均池化處理,即gap和一維卷積網(wǎng)絡(luò)conva卷積,得到卷積結(jié)果;
101、步驟s2.2.3:將兩個(gè)一維卷積網(wǎng)絡(luò)的輸出相加,即將卷積結(jié)果相加,經(jīng)過(guò)sigmoid函數(shù)后,得到立柱特征重要性分?jǐn)?shù)sm;
102、模塊m2.2.4:將所述的立柱特征重要性分?jǐn)?shù)sm與立柱特征嵌入fce作逐元素相乘,再與立柱特征相加后得到作為立柱特征的局部重要特征信息的立柱重要性特征fi:
103、所述立柱特征嵌入fce,數(shù)學(xué)表達(dá)式為:
104、fce=φ(fm,wce)
105、其中,φ表示線性變換,wce表示繼一種線性變換的權(quán)重;
106、所述立柱特征重要性分?jǐn)?shù)sm,數(shù)學(xué)表達(dá)式為:
107、sm=sigmoid(convm(gmp(fce))+conva(gap(fce)))
108、所述立柱重要性特征fi,數(shù)學(xué)表達(dá)式為:
109、fi=fm+sm⊙fce
110、其中,⊙表示逐元素相乘。
111、優(yōu)選地,在所述模塊m4中:通過(guò)對(duì)網(wǎng)格劃分,實(shí)現(xiàn)bev特征圖坐標(biāo)(u,v)與真實(shí)坐標(biāo)(x,y)的轉(zhuǎn)換,數(shù)學(xué)表達(dá)式為:
112、x=(u-w/x)×s
113、y=v×s
114、其中,w表示bev特征圖的寬度,s表示網(wǎng)格長(zhǎng)度。
115、優(yōu)選地,在所述模塊m5中:通過(guò)從三維坐標(biāo)空間的每個(gè)網(wǎng)格沿高度軸采樣一個(gè)點(diǎn),使用其高度值作為z值,生成三維坐標(biāo)。
116、優(yōu)選地,所述點(diǎn)云數(shù)據(jù),根據(jù)以太網(wǎng)通訊實(shí)時(shí)傳輸。
117、與現(xiàn)有技術(shù)相比,本發(fā)明具有如下的有益效果:
118、1、本發(fā)明過(guò)立柱空間雙注意力特征提取模塊,利用立柱全局注意力,自適應(yīng)關(guān)聯(lián)立柱特征的空間全局上下文信息,并且利用立柱特征注意力,自適應(yīng)捕捉立柱特征的局部重要特征信息,輸出增強(qiáng)的立柱特征并轉(zhuǎn)化為鳥(niǎo)瞰視角偽圖像,以改善4d毫米波雷達(dá)的三維目標(biāo)檢測(cè),通過(guò)自適應(yīng)關(guān)聯(lián)全局信息,有效增強(qiáng)稀疏4d毫米波雷達(dá)點(diǎn)云的特征提取能力。
119、2、本發(fā)明利用三維坐標(biāo)編碼增強(qiáng)點(diǎn)云特征的位置感知能力,進(jìn)而實(shí)現(xiàn)更加精準(zhǔn)的三維目標(biāo)檢測(cè),能夠自適應(yīng)捕獲局部重要特征信息,有效抑制了4d毫米波雷達(dá)點(diǎn)云的噪聲。
120、3、本發(fā)明將三維坐標(biāo)編碼到最終的bev特征圖中,以增強(qiáng)點(diǎn)云特征的位置感知能力,進(jìn)而更準(zhǔn)確地定位預(yù)測(cè)的邊界框,實(shí)現(xiàn)更加精準(zhǔn)的三維目標(biāo)檢測(cè)。