本申請(qǐng)涉及缺陷檢測(cè)領(lǐng)域，特別是涉及一種工件表面缺陷檢測(cè)模型獲取方法和系統(tǒng)。

背景技術(shù)：

1、工件表面缺陷檢測(cè)是保證工件生產(chǎn)質(zhì)量的重要途徑。隨著計(jì)算機(jī)技術(shù)和3d相機(jī)的發(fā)展，現(xiàn)有技術(shù)形成了基于2d圖像的機(jī)器視覺(jué)檢測(cè)方法和基于3d點(diǎn)云的表面缺陷檢測(cè)方法。

2、基于2d圖像的機(jī)器視覺(jué)表面缺陷檢測(cè)方法，通常采用傳統(tǒng)模板匹配或深度學(xué)習(xí)方法檢測(cè)缺陷，但是此方法受限于2d圖像本身的特性，只能檢測(cè)到平面成像上可見(jiàn)缺陷，對(duì)于立體缺陷檢測(cè)性能不佳?；?d點(diǎn)云的表面缺陷檢測(cè)方法，主要通過(guò)3d成像技術(shù)獲取產(chǎn)品的三維點(diǎn)云數(shù)據(jù)，根據(jù)點(diǎn)云深度信息捕獲工件表面的幾何信息，實(shí)現(xiàn)對(duì)物體表面的缺陷檢測(cè)。由于3d缺陷視覺(jué)檢測(cè)對(duì)數(shù)據(jù)質(zhì)量要求較高，因此需要對(duì)獲取到的3d數(shù)據(jù)進(jìn)行復(fù)雜繁瑣的預(yù)處理。對(duì)于不同環(huán)境下獲取的點(diǎn)云預(yù)處理方式差異較大，且無(wú)法檢測(cè)表面無(wú)深度差異的缺陷，如臟污等。

3、現(xiàn)有的工件表面缺陷檢測(cè)方法存在漏檢問(wèn)題，缺陷檢測(cè)效果有待提升。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了一種工件表面缺陷檢測(cè)模型獲取方法和系統(tǒng)，以至少解決相關(guān)技術(shù)中工件表面缺陷檢測(cè)方法存在漏檢的問(wèn)題。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種工件表面缺陷檢測(cè)模型獲取方法，包括：

3、獲取目標(biāo)工件的rgb圖像和點(diǎn)云圖像；

4、根據(jù)所述rgb圖像和點(diǎn)云圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練，響應(yīng)于滿足預(yù)設(shè)迭代條件時(shí)，停止迭代，得到缺陷檢測(cè)模型；

5、所述缺陷檢測(cè)模型包括rgb分支、點(diǎn)云分支、融合模塊和輸出模塊，

6、所述rgb分支用于通過(guò)多層網(wǎng)絡(luò)提取所述rgb圖像的rgb圖像特征，

7、所述點(diǎn)云分支用于通過(guò)多層網(wǎng)絡(luò)提取所述點(diǎn)云圖像的點(diǎn)云圖像特征，

8、所述融合模塊用于融合所述rgb圖像特征和點(diǎn)云圖像特征得到目標(biāo)圖像特征，且具體包括梯度注意力模塊，所述梯度注意力模塊用于交替接收所述rgb分支或所述點(diǎn)云分支發(fā)送的當(dāng)前層提取特征，對(duì)所述當(dāng)前層特征進(jìn)行處理得到梯度增強(qiáng)特征，并將所述梯度增強(qiáng)特征發(fā)送至另一分支進(jìn)行特征融合，以獲取所述目標(biāo)圖像特征，

9、所述輸出模塊用于根據(jù)所述目標(biāo)圖像特征檢測(cè)缺陷區(qū)域并輸出檢測(cè)結(jié)果。

10、在一實(shí)施例中，所述梯度注意力模塊包括通道注意力模塊和空間注意力模塊。

11、在一實(shí)施例中，所述缺陷檢測(cè)模型還包括拼接模塊，所述拼接模塊包括rgb拼接模塊和點(diǎn)云拼接模塊，

12、所述rgb拼接模塊與rgb分支中的每個(gè)中間層連接，用于獲取每個(gè)中間層的特征，對(duì)特征進(jìn)行拼接，并將拼接后的特征傳輸至rgb分支的cbr模塊；

13、所述點(diǎn)云拼接模塊與點(diǎn)云分支中的每個(gè)中間層連接，用于獲取每個(gè)中間層的特征，對(duì)特征進(jìn)行拼接，并將拼接后的特征傳輸至點(diǎn)云分支的cbr模塊。

14、在一實(shí)施例中，根據(jù)所述rgb圖像和點(diǎn)云圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練，包括：

15、采用交叉熵?fù)p失對(duì)所述缺陷檢測(cè)模型進(jìn)行訓(xùn)練，訓(xùn)練時(shí)的損失包括rgb分支損失、點(diǎn)云分支損失以及rgb分支和點(diǎn)云分支的混合損失，所述缺陷檢測(cè)模型的整體損失表示為：

16、

17、其中，l為整體損失，l3d表示所述點(diǎn)云分支損失，l2d表示所述rgb分支損失，lmain表示所述混合損失，λ1和λ2為損失權(quán)重。

18、在一實(shí)施例中，所述獲取目標(biāo)工件的rgb圖像和點(diǎn)云圖像，包括：

19、獲取目標(biāo)工件的圖像，根據(jù)所述圖像中工件的位置對(duì)所述圖像進(jìn)行裁剪得到目標(biāo)圖像，所述目標(biāo)圖像包括rgb圖像和點(diǎn)云圖像；

20、對(duì)所述rgb圖像進(jìn)行翻轉(zhuǎn)、模糊、修改亮度和對(duì)比度處理；

21、對(duì)所述點(diǎn)云圖像進(jìn)行翻轉(zhuǎn)、模糊處理。

22、第二方面，本申請(qǐng)實(shí)施例提供了一種工件表面缺陷檢測(cè)方法，包括：

23、獲取目標(biāo)工件圖像，所述目標(biāo)工件圖像包括rgb圖像和點(diǎn)云圖像，根據(jù)所述目標(biāo)工件圖像中工件的位置對(duì)所述目標(biāo)工件圖像進(jìn)行裁剪得到待檢測(cè)圖像；

24、通過(guò)第一方面所述的缺陷檢測(cè)模型對(duì)所述待檢測(cè)圖像進(jìn)行處理，得到缺陷區(qū)域。

25、在一實(shí)施例中，所述缺陷檢測(cè)模型在檢測(cè)時(shí)，采用交叉熵?fù)p失對(duì)所述缺陷檢測(cè)模型進(jìn)行訓(xùn)練，檢測(cè)時(shí)的損失包括rgb分支和點(diǎn)云分支的混合損失。

26、第三方面，本申請(qǐng)實(shí)施例提供了一種工件表面缺陷檢測(cè)模型獲取系統(tǒng)，包括：

27、獲取模塊：用于獲取目標(biāo)工件的rgb圖像和點(diǎn)云圖像；

28、訓(xùn)練模塊：用于根據(jù)所述rgb圖像和點(diǎn)云圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練，響應(yīng)于滿足預(yù)設(shè)迭代條件時(shí)，停止迭代，得到缺陷檢測(cè)模型；

29、所述缺陷檢測(cè)模型包括rgb分支、點(diǎn)云分支、融合模塊和輸出模塊，

30、所述rgb分支用于通過(guò)多層網(wǎng)絡(luò)提取所述rgb圖像的rgb圖像特征，

31、所述點(diǎn)云分支用于通過(guò)多層網(wǎng)絡(luò)提取所述點(diǎn)云圖像的點(diǎn)云圖像特征，

32、所述融合模塊用于融合所述rgb圖像特征和點(diǎn)云圖像特征得到目標(biāo)圖像特征，且具體包括梯度注意力子模塊，所述梯度注意力子模塊用于交替接收所述rgb分支或所述點(diǎn)云分支發(fā)送的當(dāng)前層提取特征，對(duì)所述當(dāng)前層特征進(jìn)行處理得到梯度增強(qiáng)特征，并將所述梯度增強(qiáng)特征發(fā)送至另一分支進(jìn)行特征融合，以獲取所述目標(biāo)圖像特征，

33、所述輸出模塊用于根據(jù)所述目標(biāo)圖像特征檢測(cè)缺陷區(qū)域并輸出檢測(cè)結(jié)果。

34、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的工件表面缺陷檢測(cè)模型獲取方法以及第二方面所述的工件表面缺陷檢測(cè)方法。

35、第五方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的工件表面缺陷檢測(cè)模型獲取方法以及第二方面所述的工件表面缺陷檢測(cè)方法。

36、本申請(qǐng)實(shí)施例提供的一種工件表面缺陷檢測(cè)模型獲取方法和系統(tǒng)，至少具有以下技術(shù)效果。

37、本申請(qǐng)采用3d點(diǎn)云和2d-rgb圖像檢測(cè)相結(jié)合的方式，有效的擴(kuò)展了缺陷檢測(cè)類型?；?d點(diǎn)云和rgb圖像、梯度注意力模塊以及雙分支交互的融合模塊，充分結(jié)合多模態(tài)數(shù)據(jù)的特征，形成多模態(tài)信息相互促進(jìn)的學(xué)習(xí)模式，實(shí)現(xiàn)信息利用最大化，以避免缺陷檢測(cè)時(shí)的漏檢問(wèn)題，提高缺陷檢測(cè)模型的準(zhǔn)確率。

38、本申請(qǐng)的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在以下附圖和描述中提出，以使本申請(qǐng)的其他特征、目的和優(yōu)點(diǎn)更加簡(jiǎn)明易懂。

技術(shù)特征：

1.一種工件表面缺陷檢測(cè)模型獲取方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種工件表面缺陷檢測(cè)模型獲取方法，其特征在于，所述梯度注意力模塊包括通道注意力模塊和空間注意力模塊。

3.根據(jù)權(quán)利要求1所述的一種工件表面缺陷檢測(cè)模型獲取方法，其特征在于，所述缺陷檢測(cè)模型還包括拼接模塊，所述拼接模塊包括rgb拼接模塊和點(diǎn)云拼接模塊，

4.根據(jù)權(quán)利要求1所述的一種工件表面缺陷檢測(cè)模型獲取方法，其特征在于，根據(jù)所述rgb圖像和點(diǎn)云圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練，包括：

5.根據(jù)權(quán)利要求1所述的一種工件表面缺陷檢測(cè)模型獲取方法，其特征在于，所述獲取目標(biāo)工件的rgb圖像和點(diǎn)云圖像，包括：

6.一種工件表面缺陷檢測(cè)方法，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的一種工件表面缺陷檢測(cè)方法，其特征在于，所述缺陷檢測(cè)模型在檢測(cè)時(shí)，采用交叉熵?fù)p失對(duì)所述缺陷檢測(cè)模型進(jìn)行訓(xùn)練，檢測(cè)時(shí)的損失包括rgb分支和點(diǎn)云分支的混合損失。

8.一種工件表面缺陷檢測(cè)模型獲取系統(tǒng)，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的工件表面缺陷檢測(cè)模型獲取方法以及權(quán)利要求6至7中任一項(xiàng)所述的工件表面缺陷檢測(cè)方法。

技術(shù)總結(jié)
本申請(qǐng)涉及一種工件表面缺陷檢測(cè)模型獲取方法和系統(tǒng)，其中，方法包括：根據(jù)目標(biāo)工件的RGB圖像和點(diǎn)云圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練，響應(yīng)于滿足預(yù)設(shè)迭代條件時(shí)，停止迭代，得到缺陷檢測(cè)模型；缺陷檢測(cè)模型包括RGB分支、點(diǎn)云分支、融合模塊和輸出模塊，RGB分支用于通過(guò)多層網(wǎng)絡(luò)提取RGB圖像特征，點(diǎn)云分支用于通過(guò)多層網(wǎng)絡(luò)提取點(diǎn)云圖像特征，融合模塊用于融合RGB圖像特征和點(diǎn)云圖像特征得到目標(biāo)圖像特征，且包括梯度注意力模塊，梯度注意力模塊用于交替接收RGB分支或點(diǎn)云分支發(fā)送的當(dāng)前層提取特征，對(duì)當(dāng)前層特征進(jìn)行處理得到梯度增強(qiáng)特征，并發(fā)送至另一分支進(jìn)行特征融合，以獲取目標(biāo)圖像特征，輸出模塊用于根據(jù)目標(biāo)圖像特征檢測(cè)缺陷區(qū)域并輸出檢測(cè)結(jié)果。

技術(shù)研發(fā)人員：陳權(quán),付偉男,時(shí)少艷
受保護(hù)的技術(shù)使用者：杭州靈西機(jī)器人智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/29