本發(fā)明涉及機(jī)器人導(dǎo)航，尤其涉及一種用于雙臂機(jī)器人的自主導(dǎo)航方法、裝置及電子設(shè)備。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化和智能制造的不斷發(fā)展，雙臂機(jī)器人在制造車(chē)間等復(fù)雜環(huán)境中的應(yīng)用場(chǎng)景越來(lái)越廣泛。與工業(yè)機(jī)器人不同，雙臂機(jī)器人需要具備高度的自主能力，能夠根據(jù)環(huán)境變化自主感知、決策和導(dǎo)航。其中，在動(dòng)態(tài)環(huán)境下實(shí)現(xiàn)安全、高效的自主導(dǎo)航是一個(gè)關(guān)鍵的技術(shù)挑戰(zhàn)。

2、傳統(tǒng)的機(jī)器人導(dǎo)航方法主要基于事先建立的靜態(tài)地圖和路徑規(guī)劃算法。這些方法在結(jié)構(gòu)化環(huán)境中表現(xiàn)良好，但面對(duì)復(fù)雜動(dòng)態(tài)場(chǎng)景如制造車(chē)間時(shí)，由于無(wú)法及時(shí)捕捉移動(dòng)障礙物的變化，導(dǎo)致規(guī)劃路徑存在風(fēng)險(xiǎn)和低效率的問(wèn)題。另一類(lèi)新興的基于深度學(xué)習(xí)的端到端導(dǎo)航方法，雖然能夠直接從傳感器數(shù)據(jù)中預(yù)測(cè)出行走路徑，但由于缺乏對(duì)復(fù)雜環(huán)境約束的建模能力，生成的路徑質(zhì)量較低，無(wú)法滿足機(jī)器人實(shí)際導(dǎo)航的要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種用于雙臂機(jī)器人的自主導(dǎo)航方法、裝置及電子設(shè)備，以解決為雙臂機(jī)器人規(guī)劃的導(dǎo)航路徑難以匹配實(shí)際導(dǎo)航需求的問(wèn)題。

2、根據(jù)本發(fā)明的一方面，提供了一種用于雙臂機(jī)器人的自主導(dǎo)航方法，該方法包括：

3、利用設(shè)置于雙臂機(jī)器人上的目標(biāo)相機(jī)采集第一點(diǎn)云數(shù)據(jù)，以及，利用激光雷達(dá)獲取第二點(diǎn)云數(shù)據(jù)，其中，所述目標(biāo)相機(jī)用于獲取彩色圖像和深度信息的相機(jī)；

4、基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型和動(dòng)態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動(dòng)態(tài)障礙物模型進(jìn)行融合，以獲得四維時(shí)空環(huán)境模型；

5、將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，以獲得動(dòng)態(tài)可行路徑，根據(jù)所述動(dòng)態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡(luò)確定目標(biāo)路徑，并根據(jù)所述目標(biāo)路徑控制所述雙臂機(jī)器人自主導(dǎo)航至目標(biāo)位置。

6、根據(jù)本發(fā)明的另一方面，提供了一種用于雙臂機(jī)器人的自主導(dǎo)航裝置，該裝置包括：

7、數(shù)據(jù)獲取模塊，用于利用設(shè)置于雙臂機(jī)器人上的目標(biāo)相機(jī)采集第一點(diǎn)云數(shù)據(jù)，以及，利用激光雷達(dá)獲取第二點(diǎn)云數(shù)據(jù)，其中，所述目標(biāo)相機(jī)用于獲取彩色圖像和深度信息的相機(jī)；

8、模型構(gòu)建模塊，用于基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型和動(dòng)態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動(dòng)態(tài)障礙物模型進(jìn)行融合，以獲得四維時(shí)空環(huán)境模型；

9、路徑導(dǎo)航模塊，用于將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，以獲得動(dòng)態(tài)可行路徑，根據(jù)所述動(dòng)態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡(luò)確定目標(biāo)路徑，并根據(jù)所述目標(biāo)路徑控制所述雙臂機(jī)器人自主導(dǎo)航至目標(biāo)位置。

10、根據(jù)本發(fā)明的另一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：

11、至少一個(gè)處理器；以及

12、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

13、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明任一實(shí)施例所述的用于雙臂機(jī)器人的自主導(dǎo)航方法。

14、根據(jù)本發(fā)明的另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的用于雙臂機(jī)器人的自主導(dǎo)航方法。

15、根據(jù)本發(fā)明的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本發(fā)明任一實(shí)施例所述的用于雙臂機(jī)器人的自主導(dǎo)航方法。

16、本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)利用設(shè)置于雙臂機(jī)器人上的目標(biāo)相機(jī)采集第一點(diǎn)云數(shù)據(jù)，以及，利用激光雷達(dá)獲取第二點(diǎn)云數(shù)據(jù)，其中，所述目標(biāo)相機(jī)用于獲取彩色圖像和深度信息的相機(jī)，能夠采用多個(gè)數(shù)據(jù)源獲取點(diǎn)云數(shù)據(jù)，為場(chǎng)景建模提供了豐富的數(shù)據(jù)支撐；然后，通過(guò)基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型和動(dòng)態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動(dòng)態(tài)障礙物模型進(jìn)行融合，以獲得四維時(shí)空環(huán)境模型，能夠完整描述復(fù)雜動(dòng)態(tài)場(chǎng)景的空間幾何和時(shí)間演化信息，為雙臂機(jī)器人規(guī)劃安全、流暢的導(dǎo)航路徑提供了前提條件；最后，將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，以獲得動(dòng)態(tài)可行路徑，根據(jù)所述動(dòng)態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡(luò)確定目標(biāo)路徑，并根據(jù)所述目標(biāo)路徑控制所述雙臂機(jī)器人自主導(dǎo)航至目標(biāo)位置，有效解決了傳統(tǒng)幾何或?qū)W習(xí)方法難以應(yīng)對(duì)復(fù)雜動(dòng)態(tài)環(huán)境的局限性，能夠通過(guò)至?xí)r空注意力卷積網(wǎng)絡(luò)和路徑?jīng)Q策網(wǎng)絡(luò)快速、便捷且準(zhǔn)確地生成高質(zhì)量的最優(yōu)路徑，實(shí)現(xiàn)了對(duì)雙臂機(jī)器人的精準(zhǔn)安全控制。

17、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本發(fā)明的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種用于雙臂機(jī)器人的自主導(dǎo)航方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)據(jù)配準(zhǔn)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型和動(dòng)態(tài)障礙物模型，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述三維環(huán)境模型和所述動(dòng)態(tài)障礙物模型進(jìn)行融合，以獲得四維時(shí)空環(huán)境模型，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，以獲得動(dòng)態(tài)可行路徑，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述時(shí)空注意力卷積網(wǎng)絡(luò)包括時(shí)間編碼模塊、空間編碼模塊、時(shí)空融合模塊、時(shí)空注意力模塊以及三維反卷積模塊；所述將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，得到時(shí)空語(yǔ)義特征，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述動(dòng)態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡(luò)確定目標(biāo)路徑之前，還包括：

9.一種用于雙臂機(jī)器人的自主導(dǎo)航裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種用于雙臂機(jī)器人的自主導(dǎo)航方法、裝置及電子設(shè)備。其中，該方法包括：利用設(shè)置于雙臂機(jī)器人上的目標(biāo)相機(jī)采集第一點(diǎn)云數(shù)據(jù)，以及，利用激光雷達(dá)獲取第二點(diǎn)云數(shù)據(jù)；基于所述第一點(diǎn)云數(shù)據(jù)和所述第二點(diǎn)云數(shù)據(jù)構(gòu)建三維環(huán)境模型和動(dòng)態(tài)障礙物模型，并將所述三維環(huán)境模型和所述動(dòng)態(tài)障礙物模型進(jìn)行融合，以獲得四維時(shí)空環(huán)境模型；將所述四維時(shí)空環(huán)境模型輸入至?xí)r空注意力卷積網(wǎng)絡(luò)中進(jìn)行時(shí)空語(yǔ)義分割，以獲得動(dòng)態(tài)可行路徑，根據(jù)所述動(dòng)態(tài)可行路徑和路徑?jīng)Q策網(wǎng)絡(luò)確定目標(biāo)路徑，并根據(jù)所述目標(biāo)路徑控制所述雙臂機(jī)器人自主導(dǎo)航至目標(biāo)位置。上述技術(shù)方案，能夠完整描述復(fù)雜動(dòng)態(tài)場(chǎng)景的空間幾何和時(shí)演信息，為雙臂機(jī)器人規(guī)劃高質(zhì)量導(dǎo)航路徑。

技術(shù)研發(fā)人員：張杰雄,謝偉宏,佘鈺樟,劉向強(qiáng),鄭浩聰,張瀚,吳添權(quán),詹樺,邱宇航,邱樂(lè)琴,張湃,周景爍
受保護(hù)的技術(shù)使用者：廣東電網(wǎng)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21