本發(fā)明提供了一種基于雷達視頻紅外決策級融合的行人目標檢測方法，涉及自動駕駛感知。

背景技術：

1、近年來隨著深度學習和目標檢測技術的不斷發(fā)展，基于視頻的行人檢測方法的準確率已經(jīng)可以較好的滿足良好光照條件下的智能駕駛需求，但由于實際駕駛環(huán)境中光照條件并非始終保持理想狀態(tài)，在夜間、逆光、眩光等不良光照條件的情況下依靠單一模態(tài)的可見光攝像機無法滿足全天候智能駕駛?cè)蝿罩械男腥藱z測需求，且使用激光雷達進行檢測時若追求檢測的快速性往往會出現(xiàn)較多的虛警情況。

2、激光雷達的探測范圍廣、光照魯棒性強、可以提供豐富的空間信息，而紅外攝像機探測的是物體發(fā)出的熱量、不受光照變化影響，若能夠使用多源異構信息融合(multi-source?andheterogeneous?information?fusion，mshif)技術將激光雷達及紅外攝像機獲得的不同模態(tài)數(shù)據(jù)中檢測到的行人目標與可見光攝像機行人檢測的結(jié)果相互補充，就可以有效避免單個傳感器在感知過程中存在的局限性，從而完成對行人目標的更全面的感知和識別，提升智能駕駛車輛的外部感知能力。

技術實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有行人檢測方法使用單一模態(tài)的視頻傳感器在不良光照條件下進行行人目標檢測任務時，智能駕駛車輛對行人的檢測存在較多的錯檢和漏檢狀況，使得依賴于adas的智能駕駛車輛無法及時規(guī)避行人進而做出錯誤的行進策略甚至發(fā)生碰撞的問題，而提出一種基于雷達視頻紅外決策級融合的行人目標檢測方法。

2、一種基于雷達視頻紅外決策級融合的行人目標檢測方法具體過程為：

3、步驟一、搭建行人檢測平臺，行人檢測平臺包括激光雷達、可見光攝像機以及紅外攝像機；

4、步驟二、對激光雷達、可見光攝像機以及紅外攝像機進行時空對齊；

5、步驟三、基于時空對齊后的激光雷達、可見光攝像機以及紅外攝像機，對激光雷達點云中的行人目標進行目標檢測、對可見光圖像中的行人目標進行目標檢測，對紅外圖像中的行人目標進行目標檢測；

6、步驟四、基于決策級融合算法融合激光雷達、可見光攝像機以及紅外攝像機檢測到的行人目標，獲得最終行人目標檢測結(jié)果。

7、本發(fā)明的有益效果為：

8、針對現(xiàn)有行人檢測中的多源異構傳感器融合檢測方法的局限性與不足，本發(fā)明提出了一種基于雷達視頻紅外決策級融合的行人目標檢測方法；多源異構傳感器為激光雷達、可見光攝像機以及紅外攝像機；

9、首先根據(jù)實際要求設計了用于檢測的軟硬件平臺；通過數(shù)學原理和軟件設計構建不同傳感器之間的時空一致性；選用complex-yolov4作為激光雷達的目標檢測方法、選用yolov7作為可見光攝像機和紅外攝像機的目標檢測方法，并在此基礎上選取訓練數(shù)據(jù)集、調(diào)整訓練策略；最后利用多源異構信息融合方法處理不同傳感器檢測到的行人目標，基于決策級融合算法clocs，實現(xiàn)決策級融合的行人檢測。本發(fā)明所提方法能夠提升行人融合檢測的準確性，對adas領域的智能駕駛感知技術發(fā)展具有一定意義。

技術特征：

1.一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述方法具體過程為：

2.根據(jù)權利要求1所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟一中搭建行人檢測平臺，行人檢測平臺包括激光雷達、可見光攝像機以及紅外攝像機；具體過程為：

3.根據(jù)權利要求2所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟二中對激光雷達、可見光攝像機以及紅外攝像機進行時空對齊；具體過程為：

4.根據(jù)權利要求3所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟二一中對激光雷達、可見光攝像機以及紅外攝像機獲得的數(shù)據(jù)進行時間對齊；具體過程為：

5.根據(jù)權利要求4所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟二二中對激光雷達、可見光攝像機以及紅外攝像機獲得的數(shù)據(jù)進行空間對齊；具體過程為：

6.根據(jù)權利要求4所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟二二一中激光雷達與可見光攝像機的聯(lián)合標定：聯(lián)合標定包括可見光攝像機、激光雷達之間的外參標定及可見光攝像機內(nèi)參的標定；具體過程為：

7.根據(jù)權利要求6所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟二二二中紅外攝像機與可見光攝像機間的聯(lián)合標定；具體過程為：

8.根據(jù)權利要求7所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟三中基于時空對齊后的激光雷達、可見光攝像機以及紅外攝像機，對激光雷達點云中的行人目標進行目標檢測、對可見光圖像中的行人目標進行目標檢測，對紅外圖像中的行人目標進行目標檢測；具體過程為：

9.根據(jù)權利要求8所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟四中基于決策級融合算法融合激光雷達、可見光攝像機以及紅外攝像機檢測到的行人目標，獲得最終行人目標檢測結(jié)果；具體過程為：

10.根據(jù)權利要求9所述的一種基于雷達視頻紅外決策級融合的行人目標檢測方法，其特征在于：所述步驟四三中利用p2d和p3d構建一組維度為k×n×4的一致性聯(lián)合檢測候選張量t；具體過程為：

技術總結(jié)
一種基于雷達視頻紅外決策級融合的行人目標檢測方法，本發(fā)明提供了基于雷達視頻紅外決策級融合的行人目標檢測方法，涉及自動駕駛感知技術領域。本發(fā)明的目的是為了解決現(xiàn)有行人檢測方法使用單一模態(tài)的視頻傳感器在不良光照條件下進行行人目標檢測任務時，智能駕駛車輛對行人的檢測存在較多的錯檢和漏檢狀況，使得依賴于ADAS的智能駕駛車輛無法及時規(guī)避行人進而做出錯誤的行進策略甚至發(fā)生碰撞的問題。過程為：搭建行人檢測平臺；對激光雷達、可見光攝像機以及紅外攝像機進行時空對齊；對激光雷達點云中的行人目標、可見光圖像中的行人目標、紅外圖像中的行人目標進行目標檢測；基于決策級融合算法融合目標檢測結(jié)果，獲得最終行人目標檢測結(jié)果。

技術研發(fā)人員：陳永恒,汪明昕,周世睿,李海濤,曹倩,謝渝,杜一男,李志慧,馬永建
受保護的技術使用者：吉林大學
技術研發(fā)日：
技術公布日：2024/10/21