本發(fā)明涉及行人檢測(cè)識(shí)別，尤其是涉及一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法。

背景技術(shù)：

1、據(jù)研究顯示，無人駕駛技術(shù)有助于增強(qiáng)道路交通的安全性，減輕城市的交通壓力，提升出行的效率，并降低駕駛員的入門標(biāo)準(zhǔn)。無人駕駛技術(shù)的核心研究?jī)?nèi)容可以概述為三個(gè)部分：環(huán)境感知、行為決策和車輛控制。在智能交通的發(fā)展中，道路行人檢測(cè)是比較重要的環(huán)節(jié)。行人檢測(cè)是后續(xù)任務(wù)的基礎(chǔ)，因此提高行人檢測(cè)算法的檢測(cè)精度有很高的研究?jī)r(jià)值。

2、在行人檢測(cè)的過程中，由于檢測(cè)圖像中存在相互遮擋、背景環(huán)境復(fù)雜、行人目標(biāo)較小等問題，導(dǎo)致檢測(cè)過程中常常出現(xiàn)漏檢、誤檢的現(xiàn)象。目前，行人檢測(cè)算法有兩個(gè)分支，一種是基于手工提取特征的傳統(tǒng)目標(biāo)檢測(cè)算法；另一種是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。其中，傳統(tǒng)目標(biāo)檢測(cè)算法采用人工特征提取的方法，其技術(shù)要點(diǎn)在于通過特殊算法對(duì)圖像中的某些鮮明特征進(jìn)行特征提取，并進(jìn)行檢測(cè)，這種方法只能識(shí)別特定的特征，若要改變識(shí)別對(duì)象，則需要重新設(shè)計(jì)特征提取算子，存在泛化能力差、魯棒性差等問題?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法中，考慮到檢測(cè)精度和檢測(cè)速度，yolo算法在檢測(cè)精度相差不大的基礎(chǔ)上，速度得到很大提升，比如yolov5是工業(yè)界常用的一種目標(biāo)檢測(cè)模型，具有速度快、精度高的特征，yolov5的設(shè)計(jì)是針對(duì)各種尺度的通用目標(biāo)的監(jiān)測(cè)。但yolov5由于是為通用目標(biāo)檢測(cè)設(shè)計(jì)的，當(dāng)直接用于小目標(biāo)(小目標(biāo)通常指占圖像寬或圖像高的比例小于某個(gè)閾值的目標(biāo)，比如該閾值可以是10％或20％等等)的檢測(cè)時(shí)，其速度和精度都大打折扣，無法準(zhǔn)確、高效地進(jìn)行小目標(biāo)行人檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，能夠解決背景環(huán)境復(fù)雜、行人目標(biāo)較小導(dǎo)致檢測(cè)過程中出現(xiàn)漏檢、誤檢的問題，提高小目標(biāo)行人檢測(cè)的準(zhǔn)確性和速度。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，包括以下步驟：

3、s1、針對(duì)yolov5模型進(jìn)行改進(jìn)，引入repgfpn(region?proposal-based?globalfeature?pyramid?network，基于區(qū)域選擇的全局特征金字塔網(wǎng)絡(luò))改進(jìn)yolov5的頸部結(jié)構(gòu)，在特征融合階段，添加自適應(yīng)融合機(jī)制，引入simam(simple?parameter-freeattention?module，簡(jiǎn)單無參數(shù)注意力機(jī)制)注意力模塊，并優(yōu)化損失函數(shù)；

4、s2、利用圖像數(shù)據(jù)集對(duì)改進(jìn)后的yolov5模型進(jìn)行訓(xùn)練測(cè)試，得到小目標(biāo)行人檢測(cè)模型；

5、s3、將待檢測(cè)圖像輸入小目標(biāo)行人檢測(cè)模型，輸出得到小目標(biāo)行人檢測(cè)結(jié)果。

6、進(jìn)一步地，所述步驟s1具體包括以下步驟：

7、s11、在yolov5模型的頸部引入repgfpn，以充分交換高級(jí)語義信息和低級(jí)空間信息，更好地融合不同尺度的特征圖；

8、s12、通過自適應(yīng)融合模塊，引入simam，利用上下文信息，增強(qiáng)小尺度行人的特征；

9、s13、使用ota(optimal?transport?assignment，最佳傳輸分配)優(yōu)化損失函數(shù)，提高道路行人的檢測(cè)精度。

10、進(jìn)一步地，所述步驟s11具體包括以下步驟：

11、s111、在特征融合階段，采用不同通道尺寸的不同比例特征映射的設(shè)置，通過控制不同尺度的通道數(shù)量，以提高特征融合精度；

12、s112、特征融合塊中，用cspnet(channel-wise?spatial?pyramid?network，通道式空間金字塔網(wǎng)絡(luò))代替原來基于3×3的卷積的特征融合，通過引入重參數(shù)化機(jī)制和高效層聚合網(wǎng)絡(luò)的連接，對(duì)cspnet進(jìn)行升級(jí)，在不增加額外的計(jì)算負(fù)擔(dān)的情況下，實(shí)現(xiàn)更高的精度。

13、進(jìn)一步地，所述步驟s12中simam通過推斷特征圖中的三維注意力權(quán)重來工作，不需要向原始網(wǎng)絡(luò)添加參數(shù)，能同時(shí)關(guān)注對(duì)待每個(gè)通道及空間位置特征的重要性。

14、進(jìn)一步地，所述步驟s13中使用ota優(yōu)化損失函數(shù)，具體是從全局的層面上實(shí)現(xiàn)卷積網(wǎng)絡(luò)中一對(duì)多的分配問題，將標(biāo)簽分配問題變成一個(gè)最優(yōu)運(yùn)輸問題。

15、進(jìn)一步地，所述ota優(yōu)化損失函數(shù)的具體工作過程為：

16、假設(shè)有m個(gè)真值目標(biāo)gt，n個(gè)錨框anchor、即所有fpn層的anchor之和，將gt看作正標(biāo)簽的供貨商，用于供應(yīng)標(biāo)簽，能夠?qū)個(gè)anchor供應(yīng)正標(biāo)簽，也就是每個(gè)gt對(duì)k個(gè)anchor負(fù)責(zé)(si＝k,i＝1,2,...,m)，將anchor看作需求方，其需要一個(gè)標(biāo)簽(dj＝1,j＝1,2,...,n)，將一個(gè)正標(biāo)簽從gti傳遞到anchoraj的花費(fèi)為cfg，該花費(fèi)就是分類損失和回歸損失的加權(quán)和，是所有g(shù)t和所有anchor分別點(diǎn)對(duì)點(diǎn)求的loss之和，計(jì)算公式為：

17、

18、除正標(biāo)簽外，針對(duì)anchor是負(fù)標(biāo)簽的情況，引入一個(gè)供應(yīng)商——背景，用于提供負(fù)標(biāo)簽，標(biāo)準(zhǔn)的ot問題中，供貨商和需求方的數(shù)量是一樣的，所以，背景提供的負(fù)標(biāo)簽的數(shù)量為n-m×k，將一個(gè)負(fù)標(biāo)簽從背景傳遞到anchoraj的花費(fèi)為cbg，只有分類損失，計(jì)算公式為：

19、

20、每個(gè)供應(yīng)商負(fù)責(zé)的anchor個(gè)數(shù)為si，以m為區(qū)分，m+1表示的就是背景，計(jì)算公式為：

21、

22、有成本、供應(yīng)商、需求方后，使用sinkho-rn-knopp迭代得到最優(yōu)傳輸計(jì)劃π*，得到π*之后，將每個(gè)anchor分配到能給他供貨最多、即提供標(biāo)簽數(shù)量最多的gt，由此實(shí)現(xiàn)最優(yōu)標(biāo)簽分配。

23、進(jìn)一步地，所述步驟s2具體是利用city?persons數(shù)據(jù)集對(duì)改進(jìn)后的yolov5模型進(jìn)行訓(xùn)練測(cè)試。

24、進(jìn)一步地，所述步驟s2具體是在深度學(xué)習(xí)框架pytorch下進(jìn)行模型的構(gòu)建、訓(xùn)練和部署。

25、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法的步驟。

26、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法的步驟。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

28、本發(fā)明通過改進(jìn)yolov5算法，引入repgfpn改進(jìn)yolov5的頸部結(jié)構(gòu)，能夠充分交換高級(jí)語義信息和低級(jí)空間信息，更好地融合不同尺度的特征圖；在特征融合階段，添加自適應(yīng)融合機(jī)制，引入simam注意力模塊，利用上下文信息，增強(qiáng)小尺度行人的特征，使網(wǎng)絡(luò)更關(guān)注行人目標(biāo)；同時(shí)使用ota優(yōu)化損失函數(shù)，使得模型的行人檢測(cè)更加準(zhǔn)確。由此在針對(duì)業(yè)務(wù)場(chǎng)景的待檢測(cè)目標(biāo)為小目標(biāo)時(shí)，能夠?qū)崿F(xiàn)更高的精度和魯棒性，在小目標(biāo)行人檢測(cè)過程中取得更好的精度和速度。

技術(shù)特征：

1.一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s1具體包括以下步驟：

3.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s11具體包括以下步驟：

4.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s12中simam通過推斷特征圖中的三維注意力權(quán)重來工作，不需要向原始網(wǎng)絡(luò)添加參數(shù)，能同時(shí)關(guān)注對(duì)待每個(gè)通道及空間位置特征的重要性。

5.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s13中使用ota優(yōu)化損失函數(shù)，具體是從全局的層面上實(shí)現(xiàn)卷積網(wǎng)絡(luò)中一對(duì)多的分配問題，將標(biāo)簽分配問題變成一個(gè)最優(yōu)運(yùn)輸問題。

6.根據(jù)權(quán)利要求5所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述ota優(yōu)化損失函數(shù)的具體工作過程為：

7.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s2具體是利用city?persons數(shù)據(jù)集對(duì)改進(jìn)后的yolov5模型進(jìn)行訓(xùn)練測(cè)試。

8.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法，其特征在于，所述步驟s2具體是在深度學(xué)習(xí)框架pytorch下進(jìn)行模型的構(gòu)建、訓(xùn)練和部署。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～8任一所述基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～8任一所述基于改進(jìn)yolov5模型的無人駕駛道路行人識(shí)別方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及一種基于改進(jìn)YOLOv5模型的無人駕駛道路行人識(shí)別方法，包括：針對(duì)YOLOv5模型進(jìn)行改進(jìn)，具體是引入RepGFPN改進(jìn)YOLOv5的頸部結(jié)構(gòu)，充分交換高級(jí)語義信息和低級(jí)空間信息，更好地融合不同尺度的特征圖；在特征融合階段，添加自適應(yīng)融合機(jī)制，引入SimAM注意力模塊，利用上下文信息，增強(qiáng)小尺度行人的特征；并使用OTA優(yōu)化損失函數(shù)，提高道路行人的檢測(cè)精度；之后利用圖像數(shù)據(jù)集對(duì)改進(jìn)后的YOLOv5模型進(jìn)行訓(xùn)練測(cè)試，得到小目標(biāo)行人檢測(cè)模型；將待檢測(cè)圖像輸入小目標(biāo)行人檢測(cè)模型，輸出得到小目標(biāo)行人檢測(cè)結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明能夠解決背景環(huán)境復(fù)雜、行人目標(biāo)較小導(dǎo)致檢測(cè)過程中出現(xiàn)漏檢、誤檢的問題，提高小目標(biāo)行人檢測(cè)的準(zhǔn)確性和速度。

技術(shù)研發(fā)人員：韓文花,王亞鵬
受保護(hù)的技術(shù)使用者：上海電力大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9