本發(fā)明涉及垃圾分揀，具體為一種基于yolov8-nano模型的生活垃圾分揀系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的垃圾處理方式主要依賴于人工分揀，然而這種方式存在諸多不足。首先，人工分揀效率低，面對(duì)大量且復(fù)雜的垃圾分類任務(wù)，人工操作無法滿足高效處理的需求。其次，人工分揀容易出現(xiàn)錯(cuò)誤，特別是在進(jìn)行精細(xì)化分類時(shí)，不同類型的垃圾如紙類、塑料、金屬和有機(jī)垃圾等由于外觀相似度較高，人工分揀的準(zhǔn)確率難以保障。此外，垃圾分揀工作環(huán)境較為惡劣，工人長(zhǎng)時(shí)間暴露于垃圾中不僅存在健康風(fēng)險(xiǎn)，而且勞動(dòng)強(qiáng)度較大，容易引發(fā)職業(yè)病和工傷。為了提高垃圾處理的效率和準(zhǔn)確性，減少人工分揀的工作量和潛在風(fēng)險(xiǎn)，亟需一種智能化的垃圾識(shí)別和分揀系統(tǒng)。

2、現(xiàn)有的一些智能分揀系統(tǒng)雖然在一定程度上改善了上述問題，但仍存在諸多限制。例如，基于傳統(tǒng)圖像處理算法的垃圾分類系統(tǒng)在面對(duì)復(fù)雜多變的環(huán)境時(shí)，其識(shí)別準(zhǔn)確率和適應(yīng)性較差，難以應(yīng)對(duì)不同類型和形態(tài)的垃圾。此外，部分智能分揀系統(tǒng)雖然引入了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，但由于模型構(gòu)建和訓(xùn)練不夠完善，導(dǎo)致系統(tǒng)在實(shí)際應(yīng)用中的表現(xiàn)不盡如人意。尤其是在實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景中，如何快速、準(zhǔn)確地識(shí)別和分類垃圾，仍是一個(gè)亟待解決的技術(shù)難題。為了解決這些問題，本發(fā)明提出一種基于改進(jìn)yolov8算法與英偉達(dá)nano嵌入式硬件平臺(tái)結(jié)合的生活垃圾智能分揀實(shí)驗(yàn)系統(tǒng)，借助官方支持的tensorrt加速技術(shù)，實(shí)現(xiàn)輕量化yolov8多目標(biāo)檢測(cè)算法在nano硬件平臺(tái)的部署，完成基于yolov8-nano的四大類垃圾智能分揀系統(tǒng)整體構(gòu)建。

3、在所述背景技術(shù)部分公開的上述信息僅用于加強(qiáng)對(duì)本公開的背景的理解，因此它可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于yolov8-nano模型的生活垃圾分揀系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于yolov8-nano模型的生活垃圾分揀系統(tǒng)，具體包括：

4、數(shù)據(jù)采集模塊，采集生活垃圾圖像，以此構(gòu)建垃圾圖像集，按照垃圾種類將垃圾圖像集分為四個(gè)類別，并對(duì)其進(jìn)行分類標(biāo)注；

5、判別模型構(gòu)建模塊，對(duì)于所述垃圾圖像集，使用yolov8內(nèi)部結(jié)構(gòu)中的卷積神經(jīng)網(wǎng)絡(luò)提取出圖像的特征信息，構(gòu)建垃圾特征信息集；構(gòu)建litter判別模型，將垃圾特征信息集作為訓(xùn)練集，將垃圾類別作為標(biāo)簽，對(duì)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的litter判別模型；

6、目標(biāo)檢測(cè)模塊，實(shí)時(shí)采集生活垃圾圖像及其像素坐標(biāo)，提取該圖像的特征信息，輸入至litter判別模型中，得到目標(biāo)類別；通過得到的像素坐標(biāo)，經(jīng)數(shù)據(jù)處理后得到目標(biāo)實(shí)際坐標(biāo)；

7、數(shù)據(jù)分析模塊，基于得到的目標(biāo)實(shí)際坐標(biāo)，通過yolov8算法獲取到矩形框，截取出圖像并采用自適應(yīng)閾值進(jìn)行二值化，得到機(jī)械爪抓取的最佳角度信息；

8、智能分揀模塊，基于所得到的抓取最佳角度信息以及垃圾的類別，機(jī)械臂將垃圾物品放置到相應(yīng)的垃圾桶中。

9、進(jìn)一步地，所述按照垃圾種類將垃圾圖像集分為四個(gè)類別，具體為可回收垃圾圖像集、有害垃圾圖像集、廚余垃圾圖像集以及其他垃圾圖像集；所述采集垃圾圖像集的過程中，采用視頻錄制每分鐘60幀的方式，得到四大類垃圾不同姿態(tài)、遮擋情況下約三萬(wàn)張，且采用了全黑的物料背景。

10、進(jìn)一步地，所述使用yolov8內(nèi)部結(jié)構(gòu)中的卷積神經(jīng)網(wǎng)絡(luò)提取垃圾圖像的特征信息的過程，具體為：

11、采用swish_softplus激活函數(shù)作為cnn模型中卷積層的激活函數(shù)，構(gòu)建垃圾cnn模型；

12、對(duì)輸入的垃圾圖像集采用垃圾cnn模型提取垃圾圖像的特征信息，特征信息包含大小、顏色、紋理和形狀；

13、所述swish_softplus激活函數(shù)的表達(dá)式為：

14、；

15、其中，表示輸入的垃圾圖像。

16、進(jìn)一步地，所述構(gòu)建litter判別模型的過程中，采用的ciou損失函數(shù)的相關(guān)公式如下：

17、；

18、其中，iou損失函數(shù)的公式為：

19、；

20、其中，表示預(yù)測(cè)框和真實(shí)框的交集區(qū)域的面積，表示預(yù)測(cè)框和真實(shí)框的并集區(qū)域的面積，即；

21、；

22、；

23、其中,為預(yù)測(cè)框和真實(shí)框中心點(diǎn)的距離，為最小外接矩形的對(duì)角線距離，和分別代表真實(shí)框和預(yù)測(cè)框的寬高比，表示邊界框?qū)捀弑鹊囊恢滦?，為的?quán)重系數(shù)；

24、在所述ciou損失函數(shù)達(dá)到最小時(shí)，停止訓(xùn)練，輸出litter判別模型參數(shù)，構(gòu)建litter判別模型。

25、進(jìn)一步地，所述通過得到的像素坐標(biāo)，經(jīng)數(shù)據(jù)處理后得到目標(biāo)實(shí)際坐標(biāo)的過程，具體為：

26、yolov8模型通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行目標(biāo)檢測(cè)，輸出得到目標(biāo)類別和矩形框坐標(biāo)，使用平面透視變換公式，將矩形框坐標(biāo)轉(zhuǎn)換為實(shí)際坐標(biāo)：

27、；

28、其中，是矩形框坐標(biāo)，是實(shí)際坐標(biāo)，是的單應(yīng)性矩陣，通過攝像機(jī)標(biāo)定過程獲得。

29、進(jìn)一步地，所述采用自適應(yīng)閾值進(jìn)行二值化的過程，具體為：

30、通過yolov8算法得到矩形框，截?cái)鄨D像并進(jìn)行二值化:

31、；

32、其中，為二值化后的圖像在位置處的像素值，是輸入灰度圖像在位置處的像素值，是自適應(yīng)閾值，具體為在位置處計(jì)算得到的局部閾值；

33、通過sobel算子提取中心圖形的外緣輪廓檢測(cè)，并通過低通濾波器平滑曲線;對(duì)于一維情況，sobel算子可以表示為兩個(gè)矩陣,分別用于計(jì)算方向和方向的導(dǎo)數(shù),相關(guān)計(jì)算公式如下：

34、；

35、；

36、其中，和分別為方向和方向的導(dǎo)數(shù)，是原始圖像矩陣，*表示卷積操作,用擬合算法對(duì)剩余部分進(jìn)行擬合，以找到其最小的外切矩形;為避免截取出的圖像中存在多類物體，對(duì)二值化后的圖像進(jìn)行腐蝕和膨脹操作；通過最小二乘法，做出剩余部分的最小外切矩形；根據(jù)最小外接矩形計(jì)算短邊與水平線之間的夾角：假設(shè)矩形的一個(gè)角為，另一個(gè)對(duì)角為，假設(shè)且，則短邊與水平線的夾角可以通過反正切函數(shù)計(jì)算,所依據(jù)的公式如下：

37、；

38、其中，為短邊與水平線的夾角，即最佳夾持角，和分別為矩形的兩個(gè)角的坐標(biāo)，且互為對(duì)角。

39、進(jìn)一步地，所述機(jī)械臂將垃圾物品放置到相應(yīng)的垃圾桶中的過程，具體為：

40、基于得到的目標(biāo)類別和最佳夾持角，機(jī)械臂將垃圾物品放置到相應(yīng)的垃圾桶中，當(dāng)目標(biāo)檢測(cè)所檢測(cè)到的物品是易拉罐、礦泉水瓶、紙團(tuán)等較大的物品時(shí)，會(huì)對(duì)其進(jìn)行壓縮以減少其體積；并且當(dāng)存放目標(biāo)垃圾的桶裝滿后，將在顯示操作板上顯示，通過語(yǔ)音指令即可以實(shí)現(xiàn)垃圾的自動(dòng)打包。

41、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

42、本發(fā)明通過集成數(shù)據(jù)采集、判別模型構(gòu)建、目標(biāo)檢測(cè)、數(shù)據(jù)分析和智能分揀等多個(gè)模塊，構(gòu)建了一個(gè)高效、準(zhǔn)確的智能垃圾分揀系統(tǒng)，實(shí)現(xiàn)輕量化yolov8多目標(biāo)檢測(cè)算法在nano硬件平臺(tái)的部署，完成基于yolov8-nano的四大類垃圾智能分揀系統(tǒng)整體構(gòu)建。本系統(tǒng)硬件部分為英偉達(dá)nano平臺(tái)與4k高清攝像頭，固定于裝置的頂部框架上，同時(shí)在裝置的入口處配備了傳感器，當(dāng)有垃圾投入到桶內(nèi)時(shí)，觸發(fā)傳感器發(fā)送信號(hào)到nano平臺(tái)對(duì)垃圾進(jìn)行識(shí)別分類；軟件部分為yolov8的多目標(biāo)檢測(cè)算法，同時(shí)借助官方支持的tensorrt加速技術(shù)在英偉達(dá)nano硬件平臺(tái)實(shí)現(xiàn)yolov8的加速推理，可以近乎實(shí)時(shí)檢測(cè)垃圾而不需要穩(wěn)定的互聯(lián)網(wǎng)連接，更具有普適性。該系統(tǒng)利用yolov8算法提取垃圾圖像的特征信息，并通過litter判別模型進(jìn)行精確分類，大大提高了垃圾分揀的準(zhǔn)確性。同時(shí)，系統(tǒng)能夠?qū)崟r(shí)采集垃圾圖像并進(jìn)行處理，快速響應(yīng)各種環(huán)境變化，增強(qiáng)了系統(tǒng)的適應(yīng)性和靈活性。此外，通過自適應(yīng)閾值的二值化處理，系統(tǒng)能夠?yàn)闄C(jī)械爪提供最佳抓取角度信息，確保垃圾物品能夠準(zhǔn)確無誤地放置到相應(yīng)的垃圾桶中，從而實(shí)現(xiàn)了垃圾分揀的自動(dòng)化和智能化，有效解決了傳統(tǒng)人工分揀存在的問題，提高了垃圾處理的效率和安全性。