本發(fā)明涉及相機(jī)雷達(dá)標(biāo)定，具體涉及一種輸電線路現(xiàn)場相機(jī)雷達(dá)實(shí)時(shí)標(biāo)定系統(tǒng)、方法與計(jì)算機(jī)程序。

背景技術(shù)：

1、現(xiàn)有的相機(jī)雷達(dá)設(shè)備的標(biāo)定主要在設(shè)備出廠前由廠家在實(shí)驗(yàn)室環(huán)境下以棋盤格等特征明顯的標(biāo)定物進(jìn)行標(biāo)定的，然后設(shè)定為固定的參數(shù)。

2、但由于相機(jī)雷達(dá)傳感器隨著檢測距離、現(xiàn)場光照影響等導(dǎo)致采集的數(shù)據(jù)具有不同程度的誤差，使得不同場景環(huán)境下圖像和點(diǎn)云的匹配結(jié)果不穩(wěn)定。此外，對(duì)于輸電線路運(yùn)維檢測等涉及作業(yè)安全方面，這些不穩(wěn)定的結(jié)果可能造成嚴(yán)重后果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是針對(duì)現(xiàn)有技術(shù)的缺陷，提供一種輸電線路現(xiàn)場相機(jī)雷達(dá)實(shí)時(shí)標(biāo)定系統(tǒng)、方法與計(jì)算機(jī)程序，相比于在實(shí)驗(yàn)室中標(biāo)定，本發(fā)明的技術(shù)方案是應(yīng)用于在輸電線路現(xiàn)場標(biāo)定，標(biāo)定結(jié)果更精確。

2、本發(fā)明提供一種輸電線路現(xiàn)場相機(jī)雷達(dá)實(shí)時(shí)標(biāo)定系統(tǒng)，包括：

3、坐標(biāo)系建立模塊，用于以相機(jī)雷達(dá)的雷達(dá)發(fā)射中心為原點(diǎn)，建立坐標(biāo)系；

4、輸電線路現(xiàn)場數(shù)據(jù)獲取模塊，用于根據(jù)坐標(biāo)系得到相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，根據(jù)該誤差建立相機(jī)雷達(dá)中相機(jī)雷達(dá)點(diǎn)云投影到相機(jī)雷達(dá)圖像上的變換關(guān)系，再通過建立所述變換關(guān)系之后的相機(jī)雷達(dá)采集輸電線路現(xiàn)場包含鐵塔和輸電線的圖像和點(diǎn)云數(shù)據(jù)；

5、標(biāo)定模型建立模塊，用于根據(jù)輸電線路現(xiàn)場包含鐵塔和輸電線的圖像和點(diǎn)云數(shù)據(jù)，以及相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，建立相機(jī)雷達(dá)外參矩陣的標(biāo)定模型；

6、實(shí)時(shí)標(biāo)定模塊，用于根據(jù)相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差建立迭代結(jié)束條件，根據(jù)迭代結(jié)束條件對(duì)所述相機(jī)雷達(dá)外參矩陣的標(biāo)定模型進(jìn)行迭代，得到相機(jī)雷達(dá)外參矩陣的標(biāo)定結(jié)果。

7、進(jìn)一步的，坐標(biāo)系建立模塊中，所述建立坐標(biāo)系的具體方法為：

8、建立以雷達(dá)探測視野中心發(fā)射方向?yàn)閦軸正方向，以重力加速度方向?yàn)閥軸正方向的右手坐標(biāo)系。

9、進(jìn)一步的，輸電線路現(xiàn)場數(shù)據(jù)獲取模塊中，所述根據(jù)坐標(biāo)系得到相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，根據(jù)該誤差建立相機(jī)雷達(dá)中相機(jī)雷達(dá)點(diǎn)云投影到相機(jī)雷達(dá)圖像上的變換關(guān)系的具體方法如下：

10、相機(jī)雷達(dá)點(diǎn)云投影到相機(jī)雷達(dá)圖像上的變換關(guān)系的公式如下：

11、p2＝map3-ε

12、其中，a表示相機(jī)雷達(dá)外參矩陣，m表示相機(jī)坐標(biāo)系轉(zhuǎn)換為像素坐標(biāo)系的轉(zhuǎn)換矩陣，p3表示相機(jī)雷達(dá)點(diǎn)云數(shù)據(jù)，p2表示圖像中的像素坐標(biāo)，ε表示誤差，誤差ε包括εx和εy兩個(gè)高斯分布，εx和εy分別表示相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上橫向和縱向的誤差。

13、進(jìn)一步的，標(biāo)定模型建立模塊中，所述根據(jù)輸電線路現(xiàn)場包含鐵塔和輸電線的圖像和點(diǎn)云數(shù)據(jù)，以及相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，建立相機(jī)雷達(dá)外參矩陣的標(biāo)定模型的具體方法如下：

14、標(biāo)定模型的公式如下：

15、

16、其中，εi為第i次迭代的誤差，為相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上橫向的誤差，為相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上縱向的誤差，ai為外參矩陣，將外參矩陣ai確定為標(biāo)定結(jié)果，i為迭代次數(shù)，m為相機(jī)坐標(biāo)系轉(zhuǎn)換為像素坐標(biāo)系的轉(zhuǎn)換矩陣，為點(diǎn)云集的3d特征點(diǎn)集，為圖像集的2d特征點(diǎn)集，k為相機(jī)雷達(dá)采集的圖像和點(diǎn)云數(shù)據(jù)的序號(hào)。

17、對(duì)于和構(gòu)建方法如下：

18、使用圖像目標(biāo)檢測網(wǎng)絡(luò)對(duì)圖像中的鐵塔塔尖和輸電線進(jìn)行目標(biāo)檢測，得到鐵塔塔尖和輸電線的2d特征點(diǎn)集kp2；

19、使用點(diǎn)云目標(biāo)檢測網(wǎng)絡(luò)，對(duì)點(diǎn)云中的鐵塔塔尖和輸電線進(jìn)行目標(biāo)檢測，得到鐵塔塔尖和輸電線的3d特征點(diǎn)集kp3；

20、取3d特征點(diǎn)集kp3中點(diǎn)的x，y坐標(biāo)分別除以其z坐標(biāo)，得到轉(zhuǎn)換成2d形式的3d特征點(diǎn)集kp3-2，計(jì)算公式如下：

21、

22、其中，分別表示kp3中點(diǎn)的x,y,z坐標(biāo)；

23、使用匈牙利匹配算法將2d形式的3d特征點(diǎn)集kp3-2與2d特征點(diǎn)集kp2中的特征點(diǎn)使用匈牙利匹配算法進(jìn)行匹配，分別得到2d形式的3d特征點(diǎn)集kp3-2與2d特征點(diǎn)集ip2中的一對(duì)匹配的兩個(gè)特征點(diǎn)的3d特征點(diǎn)索引序號(hào)index3和2d特征點(diǎn)索引序號(hào)index2，然后將2d特征點(diǎn)集kp2中匹配上的2d特征點(diǎn)按匹配順序構(gòu)成2d特征點(diǎn)列表kp2′＝kp2[index2]，將3d特征點(diǎn)集kp3中匹配上的3d特征點(diǎn)按匹配順序構(gòu)成3d特征點(diǎn)列表kp3′＝kp3[index3]；

24、將2d特征點(diǎn)列表kp2′中的2d特征點(diǎn)保存至圖像集的2d特征點(diǎn)集

25、將3d特征點(diǎn)列表kp3′中的3d特征點(diǎn)保存至點(diǎn)云集的3d特征點(diǎn)集

26、所述使用圖像目標(biāo)檢測網(wǎng)絡(luò)對(duì)圖像中的鐵塔塔尖和輸電線進(jìn)行目標(biāo)檢測，得到鐵塔塔尖和輸電線的2d特征點(diǎn)集kp2的具體方法為：

27、采用圖像目標(biāo)檢測網(wǎng)絡(luò)對(duì)采集的圖像數(shù)據(jù)進(jìn)行鐵塔塔尖、輸電線進(jìn)行目標(biāo)檢測，對(duì)于每一個(gè)目標(biāo)得到特征目標(biāo)類別和坐標(biāo)信息：(c,x2d,y2d,w,h)，其中c表示目標(biāo)的類別，該目標(biāo)在圖像中的二維坐標(biāo)為(x2d,y2d)，w,h分別表示該目標(biāo)在圖像中像素的寬和高；

28、對(duì)于每個(gè)鐵塔塔尖目標(biāo)取中心點(diǎn)作為2d特征點(diǎn)集kp2中的2d特征點(diǎn)；

29、對(duì)于每個(gè)輸電線目標(biāo)取3個(gè)點(diǎn)作為2d特征點(diǎn)集kp2中的2d特征點(diǎn)：

30、如果w>h，則三個(gè)2d特征點(diǎn)分別為

31、如果w<h，則三個(gè)2d特征點(diǎn)分別為

32、所述使用點(diǎn)云目標(biāo)檢測網(wǎng)絡(luò)，對(duì)點(diǎn)云中的鐵塔塔尖和輸電線進(jìn)行目標(biāo)檢測，得到鐵塔塔尖和輸電線的3d特征點(diǎn)集kp3的具體方法為：

33、采用點(diǎn)云目標(biāo)檢測網(wǎng)絡(luò)對(duì)采集的點(diǎn)云數(shù)據(jù)進(jìn)行鐵塔塔尖、輸電線進(jìn)行目標(biāo)檢測，每一個(gè)目標(biāo)可以得到特征目標(biāo)類別和對(duì)應(yīng)點(diǎn)云：(c,ps)，其中c表示目標(biāo)的類別，ps表示該目標(biāo)對(duì)應(yīng)的點(diǎn)云，點(diǎn)云ps中每一個(gè)點(diǎn)在雷達(dá)坐標(biāo)系下的空間三維坐標(biāo)為(x3d,y3d,z3d)；

34、對(duì)于每個(gè)鐵塔塔尖目標(biāo)取y3d坐標(biāo)最大的點(diǎn)作為3d特征點(diǎn)集kp3中的3d特征點(diǎn)；

35、對(duì)于每個(gè)導(dǎo)線目標(biāo)取3個(gè)特征點(diǎn)作為3d特征點(diǎn)集kp3中的3d特征點(diǎn)，分別是目標(biāo)點(diǎn)云質(zhì)心以及目標(biāo)點(diǎn)云中間距最大的兩個(gè)點(diǎn)。

36、進(jìn)一步的，實(shí)時(shí)標(biāo)定模塊中，所述根據(jù)相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差建立迭代結(jié)束條件，根據(jù)迭代結(jié)束條件對(duì)所述標(biāo)定模型進(jìn)行迭代，得到相機(jī)雷達(dá)外參矩陣的標(biāo)定結(jié)果的具體方法如下：

37、迭代結(jié)束條件如下：

38、

39、其中，ei為誤差均值，em和en分別為第m輪迭代和第n輪迭代中的誤差均值，θ為預(yù)設(shè)的第m輪迭代和第n輪迭代中的誤差均值的差值的閾值；

40、當(dāng)?shù)趍次迭代滿足迭代結(jié)束條件時(shí)，迭代結(jié)束，輸出外參矩陣am，所述外參矩陣am作為實(shí)時(shí)標(biāo)定結(jié)果。

41、一種輸電線路現(xiàn)場相機(jī)雷達(dá)實(shí)時(shí)標(biāo)定方法，包括：

42、以相機(jī)雷達(dá)的雷達(dá)發(fā)射中心為原點(diǎn)，建立坐標(biāo)系；

43、根據(jù)坐標(biāo)系得到相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，根據(jù)該誤差建立相機(jī)雷達(dá)中相機(jī)雷達(dá)點(diǎn)云投影到相機(jī)雷達(dá)圖像上的變換關(guān)系，再通過建立所述變換關(guān)系之后的相機(jī)雷達(dá)采集輸電線路現(xiàn)場包含鐵塔和輸電線的圖像和點(diǎn)云數(shù)據(jù)；

44、根據(jù)輸電線路現(xiàn)場包含鐵塔和輸電線的圖像和點(diǎn)云數(shù)據(jù)，以及相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，建立相機(jī)雷達(dá)外參矩陣的標(biāo)定模型；

45、根據(jù)相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差建立迭代結(jié)束條件，根據(jù)迭代結(jié)束條件對(duì)所述相機(jī)雷達(dá)外參矩陣的標(biāo)定模型進(jìn)行迭代，得到相機(jī)雷達(dá)外參矩陣的標(biāo)定結(jié)果。

46、一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，所述計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的輸電線路現(xiàn)場相機(jī)雷達(dá)實(shí)時(shí)標(biāo)定方法。

47、本發(fā)明的有益效果為：

48、1、本發(fā)明基于輸電線路現(xiàn)場實(shí)時(shí)采集數(shù)據(jù)，對(duì)外參矩陣擬合求解過程反復(fù)迭代，實(shí)現(xiàn)輸電線路現(xiàn)場環(huán)境下相機(jī)和雷達(dá)的穩(wěn)定標(biāo)定，相比于在實(shí)驗(yàn)室標(biāo)定，由于是基于輸電線路現(xiàn)場環(huán)境實(shí)時(shí)標(biāo)定，當(dāng)現(xiàn)場地點(diǎn)、場景變化時(shí)，結(jié)果更符合應(yīng)用環(huán)境下的精度要求。

49、2、引入相機(jī)雷達(dá)點(diǎn)云投影在相機(jī)雷達(dá)圖像平面上的誤差，用于擬合現(xiàn)場場景下雷達(dá)、相機(jī)采集數(shù)據(jù)的誤差導(dǎo)致的投影誤差，并通過匈牙利算法將相機(jī)雷達(dá)點(diǎn)云與圖像像素點(diǎn)相匹配以構(gòu)建誤差，再通過迭代計(jì)算不斷減小誤差，以減少相機(jī)雷達(dá)數(shù)據(jù)采集精度對(duì)相機(jī)雷達(dá)外參標(biāo)定結(jié)果的影響。