本發(fā)明涉及視覺檢測，尤其是指一種多工件堆疊實時實例分割方法及其計算機儲存介質(zhì)。

背景技術(shù)：

1、目前，工業(yè)實時生產(chǎn)對于實例分割的需求越來越迫切。然而，傳統(tǒng)的目標識別方法或兩階段的深度學(xué)習(xí)方法在工業(yè)混疊下的實力分割中存在一些問題，如效率低下和分割效果不理想。在制造業(yè)中，多工件堆疊實例分割方法的應(yīng)用可以顯著提高自動化生產(chǎn)線的效率和靈活性。這種方法可以應(yīng)用于工件分揀、組裝和自主上下料等工業(yè)場景，不僅可以提高生產(chǎn)效率和降低成本，還能減少對人工勞動力的需求，從而降低生產(chǎn)中發(fā)生人身意外傷害的風(fēng)險，并提升制造業(yè)的競爭力。然而，由于實際工業(yè)場景中常常存在大量目標物的重疊遮擋以及不同目標的形狀和尺寸差異較大，傳統(tǒng)的視覺算法很難準確識別和分割每個目標的邊界和特征。

2、近年來，研究人員開始使用實例分割方法，如mask?r-cnn、yolact等，來對工業(yè)堆疊場景的目標進行實例分割。這種方法可以對不同的工件進行識別分類，并獲取每個目標的個體級別的分割掩碼，甚至像素級的實例分割，從而為后續(xù)的工業(yè)生產(chǎn)提供高效、有用的信息。然而，現(xiàn)有的實例分割方法雖然具有較高的識別和分割精度，但其普遍存在檢測速度慢等問題，無法滿足工業(yè)生產(chǎn)的實時性要求。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)的問題提供一種多工件堆疊實時實例分割方法及其計算機儲存介質(zhì)，設(shè)計巧妙，可快速對工件進行實例分割，又保證了檢測的精度，有助于提高生產(chǎn)效率、降低生產(chǎn)成本。

2、為了解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

3、本發(fā)明還提供了一種多工件堆疊實時實例分割方法，其包括以下步驟：

4、步驟s10、采集圖像數(shù)據(jù)：獲取圖樣樣本；

5、步驟s20、制作數(shù)據(jù)集：對采集到的圖像樣本上進行目標實例的標注，為每個目標實例提供個體級別的分割掩碼；

6、步驟s30、訓(xùn)練yolox-blendmask實例分割模型：使用步驟s20中制作的數(shù)據(jù)集對模型進行訓(xùn)練，將圖像樣本輸入模型，計算輸出結(jié)果，并與標注的目標實例的分割掩碼進行比較，計算損失函數(shù)；然后根據(jù)損失函數(shù)，使用反向傳播算法更新模型的參數(shù)；

7、步驟s40、輸出目標實例的類別和分割掩碼。

8、其中，所述步驟s20中的制作數(shù)據(jù)集的方法包括以下步驟：步驟s21、標注目標實例：在采集到的圖像樣本上進行目標實例的標注，使用分割數(shù)據(jù)集標注工具，為每個目標實例提供個體級別的分割掩碼；分割掩碼地覆蓋目標實例的輪廓；

9、步驟s22、標注類別標簽：為每個目標實例分配相應(yīng)的類別標簽；

10、步驟s23、數(shù)據(jù)集清洗和質(zhì)量控制：在標注完成后，需要對標注結(jié)果進行質(zhì)量控制和清洗，對標注結(jié)果進行審核和校驗，排除錯誤和不一致的標注；

11、步驟s24、數(shù)據(jù)集劃分：將標注完成的圖像樣本劃分為訓(xùn)練集、驗證集和測試集。

12、其中，所述步驟s30中訓(xùn)練yolox-blendmask實例分割模型的方法包括以下步驟：

13、步驟s31、模型初始化：對選擇的模型進行初始化；

14、步驟s32、損失函數(shù)選擇：根據(jù)實例分割任務(wù)的要求選擇對應(yīng)的損失函數(shù)；

15、步驟s33、訓(xùn)練過程并更新模型：使用步驟s20中制作的數(shù)據(jù)集對模型進行訓(xùn)練，在每個訓(xùn)練迭代中，將圖像樣本輸入模型，計算輸出結(jié)果，并與標注的目標實例分割掩碼進行比較，計算損失函數(shù)；然后根據(jù)損失函數(shù)的值，使用反向傳播算法更新模型的參數(shù)。

16、其中，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行參數(shù)調(diào)優(yōu)，參數(shù)調(diào)優(yōu)的方法為：在訓(xùn)練過程中，使用一些優(yōu)化算法和技巧對模型的參數(shù)進行調(diào)優(yōu)。

17、其中，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行模型評估，模型評估的方法為：訓(xùn)練過程中，使用驗證集對模型進行評估；根據(jù)評估結(jié)果，調(diào)整模型的參數(shù)和訓(xùn)練策略。

18、其中，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行模型權(quán)重的保存和篩選：每種應(yīng)用場景進行多次訓(xùn)練，將每次訓(xùn)練收斂的模型權(quán)重保存，最后，比較所保存的模型的實際應(yīng)用性能，選擇效果最好的模型權(quán)重。

19、其中，所述yolox-blendmask實例分割模型采用基于yolox-tiny改進的yolox-ma模型與blendmask模型進行融合；所述yolox-ma模型是基于yolox-tiny所改進的目標檢測算法，yolox-ma模型使用一個3×3的卷積層來替代focus層；去掉了backbone中第2層、第3層和第4層resblock_body模塊中的cbs層以及使用resblock-m模塊替換掉csplayer模塊。

20、其中，分析csplayer模塊和resblock-m模塊的計算復(fù)雜度，采用浮點運算(flops)來計算兩個模塊的計算復(fù)雜度，用如下方式表示：

21、式中：d為所有卷積層的和，為第l個卷積層的輸出特征映射大小，為核大小的個數(shù)，cl-1和cl分別為輸入通道和輸出通道的個數(shù)；

22、以640x640和128通道的輸入特征層大小為例進行計算；

23、cspblock的flops為：

24、flops＝1602×12×128×64+1602×12×64×32+1602×32×32×64+

25、1602×12×128×64+1602×12×1282＝13.63×108resblock-m的flops為：

26、

27、其中，在resblock-m模塊后面添加了帶殘差網(wǎng)絡(luò)塊的auxiliary?network，用depthwise?separable?convolution替換neck模塊中的兩個卷積層。

28、本發(fā)明還提供了一種計算機儲存介質(zhì)，所述計算機儲存介質(zhì)儲存有計算機指令，所述計算機指令被調(diào)用時，用于所述的多工件堆疊實時實例分割方法。

29、本發(fā)明的有益效果：

30、本發(fā)明設(shè)計巧妙，對采集到的圖像樣本上進行目標實例的標注，以便于本發(fā)明的訓(xùn)練和性能評估，通過對圖像中的目標、區(qū)域或特征進行標記和注釋，為算法提供準確的標簽和參考，分割掩碼應(yīng)該準確地覆蓋目標實例的輪廓，以便算法能夠精確地識別和分割目標，yolox-blendmask實例分割模型的輸出結(jié)果是對輸入圖像中每個目標實例的像素級分割掩碼；對于每個目標實例，輸出結(jié)果中的分割掩碼將包含該實例的所有像素，可以精確地提取出每個目標實例的形狀和輪廓；同時，輸出結(jié)果還可以提供目標實例的類別標簽，以指示每個實例屬于哪個類別；本發(fā)明可快速對工件進行實例分割，又保證了檢測的精度，有助于提高生產(chǎn)效率、降低生產(chǎn)成本。

技術(shù)特征：

1.一種多工件堆疊實時實例分割方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種多工件堆疊實時實例分割方法，其特征在于，所述步驟s20中的制作數(shù)據(jù)集的方法包括以下步驟：

3.根據(jù)權(quán)利要求2所述的一種多工件堆疊實時實例分割方法，其特征在于，所述步驟s30中訓(xùn)練yolox-blendmask實例分割模型的方法包括以下步驟：

4.根據(jù)權(quán)利要求2所述的一種多工件堆疊實時實例分割方法，其特征在于，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行參數(shù)調(diào)優(yōu)，參數(shù)調(diào)優(yōu)的方法為：在訓(xùn)練過程中，使用一些優(yōu)化算法和技巧對模型的參數(shù)進行調(diào)優(yōu)。

5.根據(jù)權(quán)利要求2所述的一種多工件堆疊實時實例分割方法，其特征在于，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行模型評估，模型評估的方法為：訓(xùn)練過程中，使用驗證集對模型進行評估；根據(jù)評估結(jié)果，調(diào)整模型的參數(shù)和訓(xùn)練策略。

6.根據(jù)權(quán)利要求2所述的一種多工件堆疊實時實例分割方法，其特征在于，所述步驟s30訓(xùn)練yolox-blendmask實例分割模型的步驟中，進行模型權(quán)重的保存和篩選：每種應(yīng)用場景進行多次訓(xùn)練，將每次訓(xùn)練收斂的模型權(quán)重保存，最后，比較所保存的模型的實際應(yīng)用性能，選擇效果最好的模型權(quán)重。

7.根據(jù)權(quán)利要求1所述的一種多工件堆疊實時實例分割方法，其特征在于：所述yolox-blendmask實例分割模型采用基于yolox-tiny改進的yolox-ma模型與blendmask模型進行融合；

8.根據(jù)權(quán)利要求7所述的一種多工件堆疊實時實例分割方法，其特征在于：分析csplayer模塊和resblock-m模塊的計算復(fù)雜度，采用浮點運算(flops)來計算兩個模塊的計算復(fù)雜度，用如下方式表示：式中：d為所有卷積層的和，為第l個卷積層的輸出特征映射大小，為核大小的個數(shù)，cl-1和cl分別為輸入通道和輸出通道的個數(shù)；

9.根據(jù)權(quán)利要求7所述的一種多工件堆疊實時實例分割方法，其特征在于：在resblock-m模塊后面添加了帶殘差網(wǎng)絡(luò)塊的auxiliary?network，用depthwise?separableconvolution替換neck模塊中的兩個卷積層。

10.一種計算機儲存介質(zhì)，所述計算機儲存介質(zhì)儲存有計算機指令，所述計算機指令被調(diào)用時，用于執(zhí)行如權(quán)利要求1-9任一項所述的多工件堆疊實時實例分割方法。

技術(shù)總結(jié)
本發(fā)明涉及視覺檢測技術(shù)領(lǐng)域，尤其是指一種多工件堆疊實時實例分割方法及其計算機儲存介質(zhì)，其包括以下步驟：采集圖像數(shù)據(jù)：獲取圖樣樣本；制作數(shù)據(jù)集：對采集到的圖像樣本上進行目標實例的標注，為每個目標實例提供個體級別的分割掩碼；訓(xùn)練YOLOX?BlendMask實例分割模型：使用步驟S20中制作的數(shù)據(jù)集對模型進行訓(xùn)練，將圖像樣本輸入模型，計算輸出結(jié)果，并與標注的目標實例的分割掩碼進行比較，計算損失函數(shù)；然后根據(jù)損失函數(shù)，使用反向傳播算法更新模型的參數(shù)；輸出目標實例的類別和分割掩碼。本發(fā)明設(shè)計巧妙，可快速對工件進行實例分割，又保證了檢測的精度，有助于提高生產(chǎn)效率、降低生產(chǎn)成本。

技術(shù)研發(fā)人員：仇澤軍,梁健城,周芳青,董海飛,唐國華
受保護的技術(shù)使用者：東莞市德普特電子有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21