本發(fā)明涉及圖像處理，尤其涉及一種目標(biāo)檢測(cè)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、在工業(yè)和電力系統(tǒng)中許多產(chǎn)品因?yàn)殚L期使用產(chǎn)生了磨損，可能會(huì)導(dǎo)致這些產(chǎn)品外觀或者形態(tài)上的變化。其中，螺栓和螺母作為一種連接件在機(jī)械、建筑、汽車和電力等領(lǐng)域中有著廣泛的應(yīng)用，螺栓和螺母的擰緊狀態(tài)會(huì)直接影響設(shè)備的工作性能。螺栓和螺母發(fā)生松動(dòng)可能會(huì)造成設(shè)備運(yùn)行故障，嚴(yán)重情況下可能發(fā)生安全生產(chǎn)事故。

2、目前常用的檢測(cè)螺栓和螺母是否松動(dòng)的方法是在第一次擰緊之后，對(duì)螺栓和螺母進(jìn)行標(biāo)記，后續(xù)通過拍攝的圖像判斷螺栓和螺母的標(biāo)定線(標(biāo)定線)是否對(duì)齊，就能判斷螺母是否松動(dòng)。然而，在實(shí)際生產(chǎn)情況下，設(shè)備維護(hù)人員和檢修人員有時(shí)候不會(huì)嚴(yán)格按照要求來畫標(biāo)定線、以及拍攝時(shí)由于角度、光線等不同，導(dǎo)致拍攝圖像很難達(dá)到實(shí)驗(yàn)環(huán)境下的標(biāo)準(zhǔn)圖像，從而導(dǎo)致現(xiàn)有方法在實(shí)際生產(chǎn)環(huán)境中精度不高。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的問題，本發(fā)明實(shí)施例提供一種目標(biāo)檢測(cè)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，其能有效提高任意視角下目標(biāo)位移檢測(cè)的精度。

2、第一方面，本發(fā)明實(shí)施例提供了一種目標(biāo)檢測(cè)方法，包括：

3、對(duì)待檢測(cè)圖像進(jìn)行目標(biāo)定位，并根據(jù)定位出的第一位置信息從所述待檢測(cè)圖像中提取目標(biāo)對(duì)象所在區(qū)域的局部圖像；

4、對(duì)所述局部圖像中的所述目標(biāo)對(duì)象和標(biāo)定線進(jìn)行定位，得到所述目標(biāo)對(duì)象的第一位置檢測(cè)結(jié)果和所述標(biāo)定線的第二位置檢測(cè)結(jié)果；

5、當(dāng)所述標(biāo)定線處于同一平面時(shí)，根據(jù)所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果；

6、當(dāng)所述標(biāo)定線不處于同一平面時(shí)，根據(jù)所述第一位置檢測(cè)結(jié)果對(duì)所述標(biāo)定線進(jìn)行角度補(bǔ)償，并根據(jù)補(bǔ)償角度和所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果。

7、作為上述方案的改進(jìn)，所述方法還包括：

8、對(duì)圖像采集裝置拍攝到的視頻中的相鄰兩幀圖像進(jìn)行差分計(jì)算，得到各幀所述圖像的幀間差分強(qiáng)度；

9、從所述視頻中選取幀間差分強(qiáng)度最小的圖像作為所述待檢測(cè)圖像。

10、作為上述方案的改進(jìn)，所述對(duì)圖像采集裝置拍攝到的視頻中的相鄰兩幀圖像進(jìn)行差分計(jì)算，得到各幀所述圖像的幀間差分強(qiáng)度，包括：

11、對(duì)于所述視頻中的每一幀圖像，計(jì)算所述圖像中各個(gè)像素與其上一幀圖像的灰度值的差值的絕對(duì)值；

12、當(dāng)所述絕對(duì)值大于預(yù)設(shè)的差分閾值時(shí)，確定相應(yīng)像素的差分強(qiáng)度為第一設(shè)定值；

13、當(dāng)所述絕對(duì)值不大于所述差分閾值時(shí)，確定相應(yīng)像素的差分強(qiáng)度為第二設(shè)定值；

14、對(duì)所述圖像中所有像素的差分強(qiáng)度進(jìn)行求和，得到所述圖像的幀間差分強(qiáng)度。

15、作為上述方案的改進(jìn)，所述對(duì)待檢測(cè)圖像進(jìn)行目標(biāo)定位，并根據(jù)定位出的第一位置信息從所述待檢測(cè)圖像中提取目標(biāo)對(duì)象所在區(qū)域的局部圖像，包括：

16、通過預(yù)先訓(xùn)練的第一目標(biāo)檢測(cè)模型對(duì)所述待檢測(cè)圖像進(jìn)行目標(biāo)檢測(cè)，得到所述待檢測(cè)圖像中所述目標(biāo)對(duì)象的第一位置信息；

17、根據(jù)所述第一位置信息，計(jì)算所述目標(biāo)對(duì)象所在區(qū)域的頂角坐標(biāo)；

18、根據(jù)所述頂角坐標(biāo)，從所述待檢測(cè)圖像中剪裁出所述目標(biāo)對(duì)象所在區(qū)域的局部圖像。

19、作為上述方案的改進(jìn)，所述方法還包括：

20、獲取含有所述目標(biāo)對(duì)象的若干張第一訓(xùn)練圖像；其中，所述第一訓(xùn)練圖像預(yù)先標(biāo)注有所述目標(biāo)對(duì)象的標(biāo)注框以及標(biāo)注框的五元組位置信息；所述五元組位置信息包括所述標(biāo)注框的中心坐標(biāo)、寬度、高度以及所述目標(biāo)對(duì)象的類別；

21、將所述第一訓(xùn)練圖像輸入到y(tǒng)olov5模型中進(jìn)行模型訓(xùn)練，得到訓(xùn)練后的第一目標(biāo)檢測(cè)模型；其中，在模型訓(xùn)練過程中，利用交叉熵?fù)p失函數(shù)bceloss對(duì)所述yolov5模型進(jìn)行優(yōu)化約束。

22、作為上述方案的改進(jìn)，所述對(duì)所述局部圖像中的所述目標(biāo)對(duì)象和標(biāo)定線進(jìn)行定位，得到所述目標(biāo)對(duì)象的第一位置檢測(cè)結(jié)果和所述標(biāo)定線的第二位置檢測(cè)結(jié)果，包括：

23、通過預(yù)先訓(xùn)練的第二目標(biāo)檢測(cè)模型對(duì)所述局部圖像進(jìn)行目標(biāo)檢測(cè)，得到所述目標(biāo)對(duì)象的第一位置檢測(cè)結(jié)果和所述標(biāo)定線的第二位置檢測(cè)結(jié)果；

24、其中，所述第一位置檢測(cè)結(jié)果包括所述目標(biāo)對(duì)象的第一輪廓及其第二位置信息、與所述目標(biāo)對(duì)象配合連接的配合對(duì)象的第二輪廓及其第三位置信息；所述第二位置檢測(cè)結(jié)果包括所述標(biāo)定線的多條線段的第三輪廓及其第四位置信息。

25、作為上述方案的改進(jìn)，所述方法還包括：

26、獲取含有所述目標(biāo)對(duì)象和標(biāo)定線的若干張第二訓(xùn)練圖像；其中，所述第二訓(xùn)練圖像預(yù)先標(biāo)注有所述目標(biāo)對(duì)象的輪廓標(biāo)注框及其四個(gè)頂點(diǎn)位置信息、與所述目標(biāo)對(duì)象配合連接的配合對(duì)象的輪廓標(biāo)注框及其頂點(diǎn)位置信息、所述標(biāo)定線的輪廓標(biāo)注框及其頂點(diǎn)位置信息；

27、將所述第二訓(xùn)練圖像輸入到y(tǒng)olov5-seg模型中進(jìn)行模型訓(xùn)練，得到訓(xùn)練后的第二目標(biāo)檢測(cè)模型；其中，在模型訓(xùn)練過程中，利用焦點(diǎn)損失函數(shù)focal?loss對(duì)所述yolov5-seg模型進(jìn)行優(yōu)化約束。

28、作為上述方案的改進(jìn)，所述當(dāng)所述標(biāo)定線處于同一平面時(shí)，根據(jù)所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果，包括：

29、根據(jù)每條所述線段的第三輪廓的第四位置信息，計(jì)算相應(yīng)線段的最小外接矩形的上邊界中心坐標(biāo)和下邊界中心坐標(biāo)；

30、計(jì)算每條所述線段的上邊界中心坐標(biāo)和下邊界中心坐標(biāo)的連線與設(shè)定坐標(biāo)軸的x軸間的第一夾角；

31、根據(jù)每條所述線段的第一夾角，對(duì)相鄰的所述線段進(jìn)行直線連續(xù)性判斷，得到所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果。

32、作為上述方案的改進(jìn)，所述根據(jù)每條所述線段的第一夾角，對(duì)相鄰的所述線段進(jìn)行直線連續(xù)性判斷，得到所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果，包括：

33、判斷相鄰兩條所述線段的第一夾角的差值是否均小于預(yù)設(shè)第一角度閾值；

34、若是，得到所述目標(biāo)對(duì)象沒有發(fā)生位移的位移檢測(cè)結(jié)果；

35、若否，得到所述目標(biāo)對(duì)象發(fā)生位移的位移檢測(cè)結(jié)果。

36、作為上述方案的改進(jìn)，所述當(dāng)所述標(biāo)定線不處于同一平面時(shí)，根據(jù)所述第一位置檢測(cè)結(jié)果對(duì)所述標(biāo)定線進(jìn)行角度補(bǔ)償，并根據(jù)補(bǔ)償角度和所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果，包括：

37、根據(jù)所述目標(biāo)對(duì)象的第一輪廓的第二位置信息，計(jì)算所述目標(biāo)對(duì)象的最小外接矩形的中心坐標(biāo)；

38、根據(jù)所述配合對(duì)象的第二輪廓的第三位置信息，計(jì)算所述配合對(duì)象的最小外接矩形的中心坐標(biāo)；

39、計(jì)算所述目標(biāo)對(duì)象的最小外接矩形的中心坐標(biāo)與所述配合對(duì)象的最小外接矩形的中心坐標(biāo)的連線與預(yù)設(shè)坐標(biāo)系的x軸間的第二夾角，得到所述補(bǔ)償角度；

40、根據(jù)每條所述線段的第三輪廓的第四位置信息，計(jì)算相應(yīng)線段的最小外接矩形的上邊界中心坐標(biāo)和下邊界中心坐標(biāo)；

41、計(jì)算每條所述線段的上邊界中心坐標(biāo)和下邊界中心坐標(biāo)的連線與設(shè)定坐標(biāo)軸的x軸間的第一夾角；

42、根據(jù)每條所述線段的第一夾角和所述補(bǔ)償角度，對(duì)相鄰的所述線段進(jìn)行直線連續(xù)性判斷，得到所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果。

43、作為上述方案的改進(jìn)，所述根據(jù)每條所述線段的第一夾角和所述補(bǔ)償角度，對(duì)相鄰的所述線段進(jìn)行直線連續(xù)性判斷，得到所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果，包括：

44、計(jì)算相鄰兩條所述線段的第一夾角的差值，并計(jì)算所述差值和所述補(bǔ)償角度的差值的絕對(duì)值，得到相鄰兩條所述線段的補(bǔ)償夾角差值；

45、判斷相鄰兩條所述線段的補(bǔ)償夾角差值是否均小于或等于預(yù)設(shè)第二角度閾值；

46、若是，得到所述目標(biāo)對(duì)象沒有發(fā)生位移的位移檢測(cè)結(jié)果；

47、若否，得到所述目標(biāo)對(duì)象發(fā)生位移的位移檢測(cè)結(jié)果。

48、作為上述方案的改進(jìn)，所述方法還包括：

49、當(dāng)所述標(biāo)定線不處于同一平面時(shí)，根據(jù)每條所述線段的第三輪廓的第四位置信息，計(jì)算相應(yīng)線段的最小外接矩形的上邊界中心坐標(biāo)和下邊界中心坐標(biāo)；

50、對(duì)于每一條所述線段，計(jì)算其下邊界中心坐標(biāo)與下一條所述線段的上邊界中心坐標(biāo)間的中心距離；

51、判斷相鄰兩條所述線段的中心距離是否均小于或等于預(yù)設(shè)距離閾值；

52、若是，得到所述目標(biāo)對(duì)象沒有發(fā)生位移的位移檢測(cè)結(jié)果；

53、若否，得到所述目標(biāo)對(duì)象發(fā)生位移的位移檢測(cè)結(jié)果。

54、第二方面，本發(fā)明實(shí)施例提供了一種目標(biāo)檢測(cè)裝置，包括：

55、第一目標(biāo)定位模塊，用于對(duì)待檢測(cè)圖像進(jìn)行目標(biāo)定位，并根據(jù)定位出的第一位置信息從所述待檢測(cè)圖像中提取目標(biāo)對(duì)象所在區(qū)域的局部圖像；

56、第二目標(biāo)定位模塊，用于對(duì)所述局部圖像中的所述目標(biāo)對(duì)象和標(biāo)定線進(jìn)行定位，得到所述目標(biāo)對(duì)象的第一位置檢測(cè)結(jié)果和所述標(biāo)定線的第二位置檢測(cè)結(jié)果；

57、第一位移確定模塊，用于當(dāng)所述標(biāo)定線處于同一平面時(shí)，根據(jù)所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果；

58、第二位移確定模塊，用于當(dāng)所述標(biāo)定線不處于同一平面時(shí)，根據(jù)所述第一位置檢測(cè)結(jié)果對(duì)所述標(biāo)定線進(jìn)行角度補(bǔ)償，并根據(jù)補(bǔ)償角度和所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果。

59、第三方面，本發(fā)明實(shí)施例提供了一種目標(biāo)檢測(cè)設(shè)備，包括：處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面中任意一項(xiàng)所述的目標(biāo)檢測(cè)方法。

60、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如第一方面中任意一項(xiàng)所述的目標(biāo)檢測(cè)方法。

61、第五方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任意一項(xiàng)所述的目標(biāo)檢測(cè)方法。

62、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例的一種目標(biāo)檢測(cè)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，通過對(duì)待檢測(cè)圖像進(jìn)行目標(biāo)定位，并根據(jù)定位出的第一位置信息從所述待檢測(cè)圖像中提取目標(biāo)對(duì)象所在區(qū)域的局部圖像；對(duì)所述局部圖像中的所述目標(biāo)對(duì)象和標(biāo)定線進(jìn)行定位，得到所述目標(biāo)對(duì)象的第一位置檢測(cè)結(jié)果和所述標(biāo)定線的第二位置檢測(cè)結(jié)果；然后對(duì)于所述標(biāo)定線處于同一平面的情況，根據(jù)所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果；對(duì)于所述標(biāo)定線不處于同一平面的情況，根據(jù)所述第一位置檢測(cè)結(jié)果對(duì)所述標(biāo)定線進(jìn)行角度補(bǔ)償，并根據(jù)補(bǔ)償角度和所述第二位置檢測(cè)結(jié)果，確定所述目標(biāo)對(duì)象的位移檢測(cè)結(jié)果，本發(fā)明實(shí)施例基于所述目標(biāo)對(duì)象的位置對(duì)由于拍攝角度所帶來標(biāo)定線的視覺偏差進(jìn)行角度補(bǔ)償，可以有效解決非同一平面標(biāo)定線在二維圖像中非直線的問題，從而有效提高了標(biāo)定線連續(xù)性判斷的準(zhǔn)確率，提高任意視角下目標(biāo)位移檢測(cè)的精度。