本發(fā)明屬于機(jī)器人以及計(jì)算機(jī)視覺(jué)，特別涉及一種基于rgb-d視覺(jué)引導(dǎo)的家庭服務(wù)機(jī)器人智能抓取方法及系統(tǒng)。

背景技術(shù)：

1、基于視覺(jué)的服務(wù)機(jī)器人抓取系統(tǒng)，通過(guò)圖像采集、圖像處理等方法技術(shù)完成對(duì)待抓取目標(biāo)的檢測(cè)識(shí)別與位姿估計(jì)，然后將視覺(jué)結(jié)果反饋給機(jī)器人完成對(duì)目標(biāo)的抓取。近年來(lái)，隨著雙目、rgb-d、tof三維視覺(jué)相機(jī)的出現(xiàn)，以及深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)理論方法的進(jìn)步，面向服務(wù)機(jī)器人智能抓取的視覺(jué)引導(dǎo)系統(tǒng)呈現(xiàn)出從二維圖像到三維點(diǎn)云，從傳統(tǒng)機(jī)器學(xué)習(xí)算法到深度神經(jīng)網(wǎng)絡(luò)快速發(fā)展迭代的趨勢(shì)。當(dāng)下，基于三維點(diǎn)云引導(dǎo)的機(jī)器人的智能抓取方法多以各種深度網(wǎng)絡(luò)模型為主，但距離實(shí)際應(yīng)用還有很大的距離。2020年，來(lái)自伯明翰大學(xué)和國(guó)防科技大學(xué)的wei?chen等人提出一種目標(biāo)位姿估計(jì)網(wǎng)絡(luò)g2l-net，其通過(guò)rgb-d圖像獲得場(chǎng)景點(diǎn)云，借助平移定位網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割和目標(biāo)平移估計(jì)，進(jìn)而利用旋轉(zhuǎn)定位網(wǎng)絡(luò)進(jìn)行目標(biāo)旋轉(zhuǎn)估計(jì)，拿到目標(biāo)在三維空間中的位姿信息。2022年，劍橋大學(xué)和清華大學(xué)jianfeng?wang等人提出了一種改進(jìn)的grcnn網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)由特征提取層、序列模型和轉(zhuǎn)譯層構(gòu)成，通過(guò)對(duì)輸入的rgb圖像和深度圖像進(jìn)行分析處理，可直接輸出在理想平面之上的各目標(biāo)的抓取點(diǎn)和抓取角度。

2、現(xiàn)有視覺(jué)引導(dǎo)機(jī)器人抓取技術(shù)應(yīng)用于家庭服務(wù)場(chǎng)景依然存在諸多不足。首先，傳統(tǒng)的rgb圖像引導(dǎo)方法僅可獲取目標(biāo)的色彩信息，無(wú)法獲取深度信息，這使得待抓取目標(biāo)在三維空間中的位置和姿態(tài)難以感知與檢測(cè)。其次，基于三維點(diǎn)云的目標(biāo)分割與位姿估計(jì)方法，雖然可以獲得待抓取目標(biāo)的類(lèi)型及其在三維空間中的位姿，但在混合堆疊場(chǎng)景下的局限性較大，且位姿估計(jì)網(wǎng)絡(luò)的訓(xùn)練樣本制備困難，同時(shí)也需要將網(wǎng)絡(luò)輸出的目標(biāo)空間位姿轉(zhuǎn)換為目標(biāo)抓取位姿。再者，基于三維點(diǎn)云的抓取位姿估計(jì)方法，盡管可直接輸出待抓取目標(biāo)的6d抓取位姿，但大多依賴(lài)于一個(gè)理想的背景平面，這就使得點(diǎn)云中無(wú)序稀疏的各類(lèi)背景數(shù)據(jù)對(duì)位姿估計(jì)結(jié)果的準(zhǔn)確性造成較大影響，即便此類(lèi)方法可滿(mǎn)足環(huán)境目標(biāo)較為單一的工業(yè)生產(chǎn)場(chǎng)景，但依然無(wú)法應(yīng)對(duì)復(fù)雜的非結(jié)構(gòu)化的家庭服務(wù)場(chǎng)景。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種基于rgb-d視覺(jué)引導(dǎo)的家庭服務(wù)機(jī)器人智能抓取方法及系統(tǒng)，以滿(mǎn)足目前家庭服務(wù)場(chǎng)景中服務(wù)機(jī)器人智能取放任務(wù)需求，為智能家居領(lǐng)域提供有效、穩(wěn)定的解決方案。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用rgb-d視覺(jué)傳感器，結(jié)合rgb圖像和深度信息，實(shí)現(xiàn)對(duì)周?chē)h(huán)境和物體的感知和識(shí)別。首先，通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別出rgb圖像中抓取目標(biāo)的種類(lèi)和錨定框信息，隨后，利用深度信息和目標(biāo)網(wǎng)絡(luò)檢測(cè)結(jié)果融合生成目標(biāo)物體的三維點(diǎn)云數(shù)據(jù)，將生成的點(diǎn)云數(shù)據(jù)送入到位姿估計(jì)網(wǎng)絡(luò)中，計(jì)算出目標(biāo)物體的最佳抓取位姿，最終，通過(guò)位姿轉(zhuǎn)換將計(jì)算得到的抓取位姿轉(zhuǎn)換為機(jī)器人坐標(biāo)系下，引導(dǎo)機(jī)器人進(jìn)行抓取。本系統(tǒng)提供直觀的人機(jī)交互界面，用戶(hù)可以通過(guò)簡(jiǎn)單的操作指令設(shè)定任務(wù)和監(jiān)控抓取過(guò)程，進(jìn)一步增強(qiáng)系統(tǒng)的操作便攜性和用戶(hù)體驗(yàn)。

3、基于上述整體原理，本發(fā)明采用的技術(shù)方案可描述如下：

4、一種基于rgb-d視覺(jué)引導(dǎo)的家庭服務(wù)機(jī)器人智能抓取方法，包括：

5、步驟1，家庭服務(wù)機(jī)器人通過(guò)攜帶的rgb-d深度相機(jī)采集工作區(qū)域的原始圖像；

6、步驟2，對(duì)所述家庭服務(wù)機(jī)器人進(jìn)行手眼標(biāo)定，求解rgb-d深度相機(jī)相對(duì)于機(jī)器人末端的位置轉(zhuǎn)換關(guān)系，得到機(jī)器人末端與rgb-d深度相機(jī)之間的變換矩陣；

7、步驟3，采用特征融合的深度神經(jīng)網(wǎng)絡(luò)算法，搭建目標(biāo)檢測(cè)網(wǎng)絡(luò)及6d抓取位姿估計(jì)網(wǎng)絡(luò)；將采集到的rgb圖像送入所述目標(biāo)檢測(cè)網(wǎng)絡(luò)，得到不同目標(biāo)的類(lèi)別及其錨定框信息，從rgb圖像中裁剪出目標(biāo)子圖，并與相應(yīng)的深度子圖融合生成目標(biāo)點(diǎn)云；將所述目標(biāo)點(diǎn)云輸入6d抓取位姿估計(jì)網(wǎng)絡(luò)，預(yù)測(cè)目標(biāo)的抓取位置以及抓取姿態(tài)，為機(jī)器人的動(dòng)作引導(dǎo)及抓取控制提供目標(biāo)信息；

8、步驟4，根據(jù)所述位置轉(zhuǎn)換關(guān)系，將步驟3得到的目標(biāo)6d抓取位姿轉(zhuǎn)換為機(jī)器人抓取位姿，引導(dǎo)控制安裝于所述機(jī)器人末端的夾爪完成目標(biāo)抓??；

9、步驟5，對(duì)所述機(jī)器人目標(biāo)抓取過(guò)程中的rgb圖像、深度圖像、點(diǎn)云圖像、抓取位姿以及控制信息進(jìn)行數(shù)據(jù)可視化和人機(jī)交互。

10、在一個(gè)實(shí)施例中，所述步驟1，搭建家庭服務(wù)機(jī)器人智能抓取實(shí)驗(yàn)平臺(tái)，模擬生活中儲(chǔ)物柜日常用品的機(jī)器人智能取放場(chǎng)景，以支持rgb-d視覺(jué)引導(dǎo)的機(jī)器人智能抓取，所述步驟2，在搭建的實(shí)驗(yàn)平臺(tái)上，進(jìn)行手眼標(biāo)定。

11、在一個(gè)實(shí)施例中，所述實(shí)驗(yàn)平臺(tái)，由rgb-d相機(jī)、機(jī)器人、夾爪、實(shí)驗(yàn)操作臺(tái)、計(jì)算機(jī)主機(jī)、顯示器以及機(jī)器人視覺(jué)檢測(cè)軟件組成，rgb-d相機(jī)采用眼在手上的安裝方式，在工作時(shí)，相機(jī)朝向工作區(qū)域采集rgb圖像和深度圖像，以幀為單位發(fā)送給計(jì)算機(jī)主機(jī)進(jìn)行處理，機(jī)器人視覺(jué)檢測(cè)軟件在計(jì)算機(jī)主機(jī)上運(yùn)行，通過(guò)顯示器顯示界面，位置處于機(jī)器人后方，夾爪則安裝在機(jī)器人末端，機(jī)器人固定于實(shí)驗(yàn)操作臺(tái)上方，工作范圍覆蓋整個(gè)實(shí)驗(yàn)操作臺(tái)，在視覺(jué)引導(dǎo)下完成各類(lèi)生活用品的智能取放。

12、在一個(gè)實(shí)施例中，所述步驟3，采用特征融合的深度神經(jīng)網(wǎng)絡(luò)算法，搭建目標(biāo)檢測(cè)網(wǎng)絡(luò)及6d抓取位姿估計(jì)網(wǎng)絡(luò)，方法如下：

13、步驟3.1，采集生活場(chǎng)景下各類(lèi)物品的rgb圖像與深度圖像，構(gòu)建訓(xùn)練數(shù)據(jù)集；

14、步驟3.2，在yolov8網(wǎng)絡(luò)中引入注意力模塊，構(gòu)建目標(biāo)檢測(cè)網(wǎng)絡(luò)；

15、步驟3.3，結(jié)合通用物品抓取網(wǎng)絡(luò)graspnet以及抓取數(shù)據(jù)集graspnet-1billion，構(gòu)建6d抓取位姿估計(jì)網(wǎng)絡(luò)。

16、在一個(gè)實(shí)施例中，所述目標(biāo)檢測(cè)網(wǎng)絡(luò)中，對(duì)于rgb圖像，利用yolov8網(wǎng)絡(luò)的檢測(cè)結(jié)果，分割出包含目標(biāo)的目標(biāo)子圖；并從對(duì)齊的深度圖像中分割出相對(duì)應(yīng)的深度子圖，將各目標(biāo)子圖與相應(yīng)深度子圖融合生成目標(biāo)點(diǎn)云。

17、在一個(gè)實(shí)施例中，所述步驟3.1，對(duì)采集的圖像進(jìn)行增強(qiáng)，并對(duì)深度圖像進(jìn)行深度補(bǔ)全，所述深度補(bǔ)全的方法如下：

18、首先，將深度圖像中的每個(gè)像素值與缺失值進(jìn)行比較，創(chuàng)建一個(gè)二值掩碼，與缺失值等值的像素在掩碼中被設(shè)置為1，其他像素被設(shè)置為0；然后，歸一化圖像全體像素值，確保像素值在-1到1范圍，并通過(guò)opencv的inpaint函數(shù)，采用navier-stokes算法對(duì)圖像中的缺失區(qū)域進(jìn)行插補(bǔ)，最后，將圖像恢復(fù)到其原始大小，完成深度補(bǔ)全。

19、在一個(gè)實(shí)施例中，將所述目標(biāo)點(diǎn)云進(jìn)行點(diǎn)云分割與處理，然后再輸入6d抓取位姿估計(jì)網(wǎng)絡(luò)，實(shí)現(xiàn)方法如下：

20、以所述目標(biāo)點(diǎn)云作為基礎(chǔ)場(chǎng)景點(diǎn)云，通過(guò)濾波、遠(yuǎn)點(diǎn)篩選方法對(duì)點(diǎn)云進(jìn)行預(yù)處理，再以ransac(random?sample?consensus)隨機(jī)采樣算法從基礎(chǔ)場(chǎng)景點(diǎn)云中提取出目標(biāo)背景平面，并對(duì)背景平面進(jìn)行擬合與擴(kuò)展，得到目標(biāo)特征突出的場(chǎng)景點(diǎn)云，隨后，對(duì)處理后的點(diǎn)云降采樣至固定尺寸，輸入6d抓取位姿估計(jì)網(wǎng)絡(luò)，預(yù)測(cè)目標(biāo)的抓取位置以及6d抓取姿態(tài)，并根據(jù)置信度、抓取角度對(duì)預(yù)測(cè)位姿進(jìn)行打分，篩選出得分最高的預(yù)測(cè)結(jié)果作為目標(biāo)的最終抓取位姿。

21、在一個(gè)實(shí)施例中，其特征在于，所述6d抓取位姿估計(jì)網(wǎng)絡(luò)中，依次對(duì)目標(biāo)點(diǎn)云執(zhí)行如下過(guò)程：

22、首先，利用點(diǎn)編碼器-解碼器提取點(diǎn)云特征，并對(duì)具有c個(gè)維度特征的m個(gè)點(diǎn)進(jìn)行采樣；

23、其次，將得到的具有c通道特征的新點(diǎn)通過(guò)接近網(wǎng)絡(luò)預(yù)測(cè)逼近向量，得到v個(gè)分類(lèi)完成的預(yù)定義的視點(diǎn)以及可抓取的置信度；

24、然后，為每一個(gè)候選點(diǎn)通過(guò)分配一個(gè)二進(jìn)制標(biāo)簽進(jìn)行分組和對(duì)齊，表示候選位置是否可以抓取，同時(shí)對(duì)于物體上的每一個(gè)點(diǎn)，需要在5mm半徑的相鄰區(qū)域找到亦可以抓取的真值點(diǎn)；

25、最后，將可抓取點(diǎn)的逼近向量分別通過(guò)操作網(wǎng)絡(luò)和公差網(wǎng)絡(luò)，得到目標(biāo)抓取位姿、寬度和深度并進(jìn)一步提高置信度。

26、在一個(gè)實(shí)施例中，所述步驟4，對(duì)于由6d抓取位姿估計(jì)網(wǎng)絡(luò)得到的置信度較高但受限于硬件設(shè)備條件而機(jī)器人無(wú)法到達(dá)的抓取位姿，通過(guò)抓取點(diǎn)預(yù)估和姿態(tài)動(dòng)態(tài)調(diào)整算法，完成抓取位姿的優(yōu)化，以實(shí)現(xiàn)機(jī)器人末端位姿穩(wěn)定可達(dá)，從而提高了抓取成功率。

27、本發(fā)明還提供了一種實(shí)現(xiàn)所述基于rgb-d視覺(jué)引導(dǎo)的家庭服務(wù)機(jī)器人智能抓取方法的系統(tǒng)，包括圖像采集模塊、目標(biāo)識(shí)別與位姿估計(jì)模塊、深度學(xué)習(xí)模型部署模塊、抓取位姿轉(zhuǎn)換模塊、通信控制模塊以及可視化模塊；

28、所述圖像采集模塊將rgb-d深度相機(jī)采集到的圖像信息，包括rgb圖像和深度圖像，實(shí)時(shí)向目標(biāo)識(shí)別與位姿估計(jì)模塊傳遞；

29、所述目標(biāo)識(shí)別與位姿估計(jì)模塊對(duì)接收到的圖像信息進(jìn)行分析和處理，根據(jù)所述目標(biāo)檢測(cè)網(wǎng)絡(luò)與6d抓取位姿估計(jì)網(wǎng)絡(luò)，得到目標(biāo)的抓取位置以及抓取姿態(tài)；

30、所述深度學(xué)習(xí)模型部署模塊實(shí)現(xiàn)所述目標(biāo)檢測(cè)網(wǎng)絡(luò)和6d抓取位姿估計(jì)網(wǎng)絡(luò)的實(shí)際加載與調(diào)用執(zhí)行；

31、所述抓取位姿轉(zhuǎn)換模塊將目標(biāo)6d抓取位姿轉(zhuǎn)換為機(jī)器人抓取位姿；

32、所述通信控制模塊用于各模塊與機(jī)器人和夾爪之間的通信控制，控制機(jī)器人和夾爪完成相應(yīng)動(dòng)作，實(shí)現(xiàn)目標(biāo)的智能抓??；

33、所述可視化模塊用于視覺(jué)引導(dǎo)機(jī)器人抓取過(guò)程中各類(lèi)數(shù)據(jù)的可視化顯示和人機(jī)交互。

34、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

35、1、通過(guò)結(jié)合rgb圖像和深度信息，本系統(tǒng)可以有效的識(shí)別和定位三維空間中待抓取目標(biāo)的類(lèi)別和位姿，比傳統(tǒng)二維視覺(jué)系統(tǒng)更為準(zhǔn)確和可靠；

36、2、通過(guò)三維點(diǎn)云位姿估計(jì)網(wǎng)絡(luò)，直接估計(jì)得到目標(biāo)抓取位姿，而非目標(biāo)空間位姿，降低了訓(xùn)練樣本制備難度，同時(shí)也避免了后期從目標(biāo)空間位姿向目標(biāo)抓取位姿的變換，提升了結(jié)果的有效性；

37、3、通過(guò)融合rgb圖像目標(biāo)檢測(cè)與三維點(diǎn)云位姿估計(jì)網(wǎng)絡(luò)，發(fā)揮二維圖像目標(biāo)檢測(cè)在應(yīng)對(duì)復(fù)雜背景以及三維點(diǎn)云目標(biāo)位姿估計(jì)在空間描繪上的優(yōu)勢(shì)，可在復(fù)雜多變的家庭場(chǎng)景下引導(dǎo)機(jī)器人完成特定類(lèi)別目標(biāo)的智能化取放；

38、4、系統(tǒng)提供直觀的二維和三維人機(jī)交互界面，用戶(hù)可以通過(guò)簡(jiǎn)單操作實(shí)時(shí)監(jiān)控整個(gè)智能抓取過(guò)程，提升了系統(tǒng)操作便捷性，優(yōu)化了用戶(hù)使用體驗(yàn)。