本發(fā)明涉及目標(biāo)檢測(cè)，尤其涉及一種目標(biāo)檢測(cè)處理方法、裝置及電子設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、景區(qū)內(nèi)或道路兩旁的非機(jī)動(dòng)車或機(jī)動(dòng)車等成排堆放，特別是自行車、電動(dòng)車等，如附圖1所示，可見(jiàn)堆放毫無(wú)規(guī)律且相當(dāng)密集，現(xiàn)有的目標(biāo)檢測(cè)方法對(duì)于這樣的自行車堆放很難挨個(gè)檢測(cè)出來(lái)，原因之一是因?yàn)楝F(xiàn)有的目標(biāo)檢測(cè)算法通常會(huì)使用非極大值抑制-nms去過(guò)濾交并比極大的預(yù)測(cè)框，并保留分?jǐn)?shù)最高的，這就導(dǎo)致成排堆放的自行車檢測(cè)框無(wú)法使得每一輛都被檢測(cè)出來(lái)；另一個(gè)原因是由于自行車堆放時(shí)每輛自行車輪廓的邊界在圖像上是難以區(qū)分的，因此會(huì)有一個(gè)檢測(cè)框難以精準(zhǔn)包含某輛自行車的邊界。

2、而由于無(wú)法檢測(cè)出每個(gè)自行車，導(dǎo)致在云端(用于可視化動(dòng)態(tài)三維模型，如數(shù)字孿生)或車端使用路側(cè)檢測(cè)結(jié)果時(shí)會(huì)帶來(lái)嚴(yán)重偏差。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)缺陷，本申請(qǐng)實(shí)施例提供了一種自行車檢測(cè)處理方法、裝置及電子設(shè)備、存儲(chǔ)介質(zhì)。

2、本申請(qǐng)第一方面實(shí)施例提供一種目標(biāo)檢測(cè)處理方法，包括：

3、獲取多幀包含目標(biāo)的圖像；

4、對(duì)每一幀圖像，按照下述過(guò)程處理以獲取一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合：

5、利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法檢測(cè)圖像中的目標(biāo)，獲取多個(gè)檢測(cè)框；

6、遍歷計(jì)算每個(gè)檢測(cè)框與其他檢測(cè)框之間的交并比，當(dāng)某個(gè)交并比大于預(yù)設(shè)的第一閾值時(shí)，將該交并比所對(duì)應(yīng)的兩個(gè)檢測(cè)框放入集合si中；

7、遍歷計(jì)算集合si中每個(gè)檢測(cè)框與未放入集合si的其他檢測(cè)框的交并比，當(dāng)某個(gè)交并比大于預(yù)設(shè)的第一閾值時(shí)，將該交并比所對(duì)應(yīng)的未放入集合si的檢測(cè)框也放入集合si中；獲取一個(gè)或多個(gè)集合si，其中每個(gè)集合si中的檢測(cè)框數(shù)量大于等于2；

8、判斷獲取的一個(gè)或多個(gè)集合si中的檢測(cè)框數(shù)量是否大于預(yù)設(shè)的第二閾值，若大于則將該集合中所有檢測(cè)框取并集，并將并集占據(jù)的像素位置保存，作為該集合對(duì)應(yīng)的有效檢測(cè)框的像素位置集合；若不大于則刪除該集合；

9、判斷相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比是否大于預(yù)設(shè)的第三閾值，若大于則認(rèn)定相鄰幀的兩個(gè)像素位置集合中共同的像素位置所對(duì)應(yīng)的區(qū)域存在堆放目標(biāo)。

10、在其中一種可能的實(shí)現(xiàn)方式中，所述相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比的計(jì)算方法為：兩個(gè)像素位置集合共同的像素位置計(jì)數(shù)除以兩個(gè)像素位置集合像素位置的并集的計(jì)數(shù)。

11、在其中一種可能的實(shí)現(xiàn)方式中，在獲取多個(gè)檢測(cè)框后，為每個(gè)檢測(cè)框分配不同的id，以在后續(xù)遍歷計(jì)算時(shí)將檢測(cè)框id存入集合si中。

12、在其中一種可能的實(shí)現(xiàn)方式中，所述方法還包括：利用非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框。

13、在其中一種可能的實(shí)現(xiàn)方式中，所述方法還包括：利用改進(jìn)的非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框，具體步驟包括：

14、候選框集合b根據(jù)對(duì)應(yīng)的類別置信度得分按從低到高的順序排列，取類別置信度得分最高的候選框bi為最優(yōu)邊界框，并將bi從候選框集合b中移除；

15、利用當(dāng)前最優(yōu)邊界框bi計(jì)算與其它候選框的接近度p，找到小于閾值nt的所有候選框；

16、計(jì)算當(dāng)前最優(yōu)邊界框bi與小于閾值nt的所有候選框之間的平均偏移量，利用偏移量對(duì)最優(yōu)邊界框重定位，得到新的最優(yōu)邊界框b′i，并將b′i加入到最優(yōu)邊界框集合d中；

17、利用新的最優(yōu)邊界框b′i抑制候選框集合中的其它候選框并從候選框集合b中移除；

18、遞歸執(zhí)行上述步驟直到候選框集合b為空，獲取最優(yōu)邊界框集合d，即為單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框。

19、本申請(qǐng)第二方面實(shí)施例還提供了一種目標(biāo)檢測(cè)處理方法裝置，包括：

20、圖像獲取模塊，其配置成獲取多幀包含目標(biāo)的圖像；

21、圖像處理模塊，包括單幀處理子模塊和多幀處理子模塊，其中，

22、所述單幀處理子模塊配置成對(duì)每一幀圖像，按照下述過(guò)程處理以獲取一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合：利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法檢測(cè)圖像中的目標(biāo)，獲取多個(gè)檢測(cè)框；遍歷計(jì)算每個(gè)檢測(cè)框與其他檢測(cè)框之間的交并比，當(dāng)某個(gè)交并比大于預(yù)設(shè)的第一閾值時(shí)，將該交并比所對(duì)應(yīng)的兩個(gè)檢測(cè)框放入集合si中；遍歷計(jì)算集合si中每個(gè)檢測(cè)框與未放入集合si的其他檢測(cè)框的交并比，當(dāng)某個(gè)交并比大于預(yù)設(shè)的第一閾值時(shí)，將該交并比所對(duì)應(yīng)的未放入集合si的檢測(cè)框也放入集合si中；獲取一個(gè)或多個(gè)集合si，其中每個(gè)集合si中的檢測(cè)框數(shù)量大于等于2；判斷獲取的一個(gè)或多個(gè)集合si中的檢測(cè)框數(shù)量是否大于預(yù)設(shè)的第二閾值，若大于則將該集合中所有檢測(cè)框取并集，并將并集占據(jù)的像素位置保存，作為該集合對(duì)應(yīng)的有效檢測(cè)框的像素位置集合；若不大于則刪除該集合；

23、所述多幀處理子模塊配置成判斷相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比是否大于預(yù)設(shè)的第三閾值，若大于則認(rèn)定相鄰幀的兩個(gè)像素位置集合中共同的像素位置所對(duì)應(yīng)的區(qū)域存在堆放目標(biāo)。

24、在其中一種可能的實(shí)現(xiàn)方式中，所述多幀處理子模塊中所述相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比的計(jì)算方法為：兩個(gè)集合共同的像素位置計(jì)數(shù)除以兩個(gè)集合像素位置的并集。

25、在其中一種可能的實(shí)現(xiàn)方式中，所述圖像處理模塊還包括單獨(dú)目標(biāo)檢測(cè)框處理子模塊，其配置成利用非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框。

26、本申請(qǐng)第三方面實(shí)施例還提供了一種電子設(shè)備，包括：至少一個(gè)處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器；當(dāng)計(jì)算機(jī)程序被處理器讀取并執(zhí)行時(shí)，使得電子設(shè)備執(zhí)行如上的目標(biāo)檢測(cè)處理方法。

27、本申請(qǐng)第四方面實(shí)施例還提供了一種存儲(chǔ)有計(jì)算機(jī)程序的可讀存儲(chǔ)介質(zhì)，當(dāng)計(jì)算機(jī)程序被電子設(shè)備讀取并執(zhí)行時(shí)，使得電子設(shè)備執(zhí)行如上的目標(biāo)檢測(cè)處理方法。

28、本申請(qǐng)實(shí)施例中提供的目標(biāo)檢測(cè)處理方法及裝置，可以對(duì)景區(qū)內(nèi)或道路兩旁成堆堆放的目標(biāo)進(jìn)行有效且準(zhǔn)確的檢測(cè)，克服由于使用非極大值抑制算法而導(dǎo)致的檢測(cè)準(zhǔn)確率問(wèn)題。

29、此外，提出改進(jìn)的非極大值抑制算法對(duì)單獨(dú)放置的目標(biāo)進(jìn)行有效且準(zhǔn)確的檢測(cè)，綜合考慮最優(yōu)邊界框與其周圍候選框的位置信息，使得最優(yōu)邊界框可以借助位置信息重新調(diào)整位置，最終提高檢測(cè)定位的準(zhǔn)確性。

技術(shù)特征：

1.一種目標(biāo)檢測(cè)處理方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種目標(biāo)檢測(cè)處理方法，其特征在于，所述相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比的計(jì)算方法為：兩個(gè)像素位置集合共同的像素位置計(jì)數(shù)除以兩個(gè)像素位置集合像素位置的并集的計(jì)數(shù)。

3.根據(jù)權(quán)利要求1所述的一種目標(biāo)檢測(cè)處理方法，其特征在于，在所述獲取多個(gè)檢測(cè)框后，為每個(gè)檢測(cè)框分配不同的id，以在后續(xù)遍歷計(jì)算時(shí)將檢測(cè)框id存入集合si中。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的一種目標(biāo)檢測(cè)處理方法，其特征在于，所述方法還包括：利用非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框。

5.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的一種目標(biāo)檢測(cè)處理方法，其特征在于，所述方法還包括：利用改進(jìn)的非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框，具體步驟包括：

6.一種目標(biāo)檢測(cè)處理裝置，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的一種目標(biāo)檢測(cè)處理裝置，其特征在于，所述多幀處理子模塊中所述相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比的計(jì)算方法為：兩個(gè)集合共同的像素位置計(jì)數(shù)除以兩個(gè)集合像素位置的并集的計(jì)數(shù)。

8.根據(jù)權(quán)利要求6或7所述的一種目標(biāo)檢測(cè)處理裝置，其特征在于，所述圖像處理模塊還包括單獨(dú)目標(biāo)檢測(cè)框處理子模塊，其配置成利用非極大值抑制算法對(duì)每一幀圖像中未被認(rèn)定存在堆放目標(biāo)區(qū)域的檢測(cè)框進(jìn)行處理，獲取單獨(dú)放置的目標(biāo)對(duì)應(yīng)的有效檢測(cè)框。

9.一種電子設(shè)備，其特征在于，包括：

10.計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序；所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N目標(biāo)檢測(cè)處理方法、裝置及電子設(shè)備、存儲(chǔ)介質(zhì)。本申請(qǐng)的技術(shù)要點(diǎn)包括：對(duì)于單幀圖像，利用遍歷計(jì)算各個(gè)檢測(cè)框之間的交并比來(lái)獲取有效檢測(cè)框的像素位置集合；對(duì)于多幀圖像獲取的有效檢測(cè)框的像素位置集合，判斷相鄰幀的一個(gè)或多個(gè)有效檢測(cè)框的像素位置集合的交并比是否大于預(yù)設(shè)的第三閾值，若大于則認(rèn)定相鄰幀的兩個(gè)像素位置集合中共同的像素位置所對(duì)應(yīng)的區(qū)域存在堆放目標(biāo)。本申請(qǐng)可以對(duì)景區(qū)內(nèi)或道路兩旁成堆堆放的自行車或電動(dòng)車進(jìn)行有效且準(zhǔn)確的檢測(cè)，克服由于使用非極大值抑制算法而導(dǎo)致的檢測(cè)準(zhǔn)確率問(wèn)題，適用于自動(dòng)駕駛、數(shù)字孿生、以及車路協(xié)同等領(lǐng)域。

技術(shù)研發(fā)人員：張上鑫
受保護(hù)的技術(shù)使用者：智道網(wǎng)聯(lián)科技（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21