本發(fā)明涉及人工智能、機(jī)器視覺(jué)等技術(shù)概念，特別是機(jī)器人在感知周?chē)沫h(huán)境或物體后，所獲取的視覺(jué)信息是怎么表示及存儲(chǔ)、被檢索的，本發(fā)明可以應(yīng)用于家庭或工業(yè)機(jī)器人、機(jī)械手分揀夾持等領(lǐng)域。

背景技術(shù)：

隨著近些年工業(yè)機(jī)器人的發(fā)展，帶動(dòng)了服務(wù)機(jī)器人行業(yè)的逐漸掘起，同時(shí)從2014年開(kāi)始的智能硬件領(lǐng)域也開(kāi)始突起，根據(jù)國(guó)際機(jī)器人聯(lián)盟的統(tǒng)計(jì)，2015年服務(wù)機(jī)器人銷(xiāo)售額將達(dá)85億美元，并且保持較高的20％～30％增長(zhǎng)率，在智能硬件領(lǐng)域，據(jù)艾瑞研究，2014年全球智能硬件裝機(jī)量達(dá)到60億臺(tái)，預(yù)計(jì)2017年將超過(guò)140億臺(tái)。

在市場(chǎng)高速發(fā)展的背后，問(wèn)題同樣明顯，一方面市場(chǎng)的潛力還遠(yuǎn)未挖掘出來(lái)，另一方面，機(jī)器人及智能硬件進(jìn)入服務(wù)行業(yè)也存在著一些技術(shù)難點(diǎn)。

物體的視覺(jué)識(shí)別方面，雖是一大難點(diǎn)，但也有些技術(shù)性嘗試往這方面攻關(guān)，例如專(zhuān)利《一種基于三維柵格地圖的物體整體識(shí)別方法》與《一種基于顏色特征的物體輔助識(shí)別方法》中，提到一類(lèi)方法“如何從形狀的角度”、“顏色”、“材質(zhì)”等方面來(lái)對(duì)物體進(jìn)行識(shí)別。這里我們要解決的是：視覺(jué)感知之后，所獲取的信息是如何表示、存儲(chǔ)與檢索的。

發(fā)明目的

本發(fā)明的主要目的就是解決視覺(jué)感知信息的表示、存儲(chǔ)與檢索。

技術(shù)方案

本發(fā)明的目的是這樣實(shí)現(xiàn)的：通過(guò)相關(guān)設(shè)備及算法，例如激光雷達(dá)、ccd、cmos、點(diǎn)云配準(zhǔn)算法、點(diǎn)云降噪算法等，獲取實(shí)際環(huán)境或物體的點(diǎn)云信息，后續(xù)處理步驟如下：

(1)通過(guò)環(huán)境或物體的點(diǎn)云數(shù)據(jù)，計(jì)算出環(huán)境或物體相應(yīng)的全局與局部性特征張量及特征譜值。

(2)結(jié)合其他相關(guān)信息，組織成結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，我們可以選取xml格式來(lái)承載這樣的數(shù)據(jù)格式；

(3)存儲(chǔ)環(huán)境或物體的結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)；

(4)編輯或?qū)徍嘶驒z索環(huán)境與物體。

本發(fā)明所使用的系統(tǒng)組成如下：采集系統(tǒng)、視覺(jué)感知系統(tǒng)、存儲(chǔ)系統(tǒng)、審編系統(tǒng)、檢索系統(tǒng)。這五個(gè)系統(tǒng)是按照功能設(shè)置的軟件系統(tǒng)，各子系統(tǒng)具體功能如下：

*采集系統(tǒng)：通過(guò)相關(guān)設(shè)備傳感器采集環(huán)境或物體點(diǎn)云信息，可以實(shí)時(shí)或離線(xiàn)輸出點(diǎn)云數(shù)據(jù)，

*視覺(jué)感知系統(tǒng)：接收點(diǎn)云數(shù)據(jù)并計(jì)算全局與局部性特征張量及特征譜值，輸出結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，

*存儲(chǔ)系統(tǒng)：存儲(chǔ)結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，

*編審系統(tǒng)：后臺(tái)人員或機(jī)器可以對(duì)環(huán)境或物體的數(shù)據(jù)進(jìn)行編輯、審核及更新存儲(chǔ)，

*檢索系統(tǒng)：人或機(jī)器可以對(duì)存儲(chǔ)的環(huán)境或物體進(jìn)行檢索。

附圖說(shuō)明：

圖1是本發(fā)明方法所用系統(tǒng)組成圖

圖2是實(shí)際物體“門(mén)”

圖3是門(mén)的特征張量

圖4是門(mén)的特征譜

圖5是門(mén)的數(shù)字化表示形式

圖6是檢索頁(yè)面

具體實(shí)施方式

下面結(jié)合附圖，說(shuō)明本發(fā)明的實(shí)施方式。

本發(fā)明方法所用的系統(tǒng)整體結(jié)構(gòu)可參考附圖1，它有五個(gè)子系統(tǒng)組成，具體包含如下步驟：

第一步

在采集系統(tǒng)中，通過(guò)相關(guān)設(shè)備傳感器采集周?chē)h(huán)境或物體的信息，通過(guò)降噪、濾波等方法優(yōu)化數(shù)據(jù)，對(duì)外輸出環(huán)境或物體的點(diǎn)云數(shù)據(jù)，可以實(shí)時(shí)或離線(xiàn)輸出。

第二步

在視覺(jué)感知系統(tǒng)中，接收采集系統(tǒng)傳遞過(guò)來(lái)的點(diǎn)云數(shù)據(jù)，做視覺(jué)感知計(jì)算，獲取環(huán)境或物體的全局性與局部性特征張量及特征譜值，這里不局限于某一個(gè)視覺(jué)感知算法，這里我們可以使用專(zhuān)利《一種基于三維柵格地圖的環(huán)境特征表示與識(shí)別的方法》中所述的算法來(lái)加以計(jì)算處理點(diǎn)云數(shù)據(jù)，如圖2所示，實(shí)際當(dāng)中的一扇門(mén)，其對(duì)應(yīng)的局部性特征張量如圖3所示，圖4是其特征譜。

第三步

根據(jù)視覺(jué)感知系統(tǒng)中輸出的特征張量與特征譜，連帶其他信息如位置、分辨率、描述信息等，組織成xml形式，如圖5所示，每一個(gè)xml信息我們稱(chēng)之為doc(文檔)，需要說(shuō)明的是，每一個(gè)doc都有全局唯一的id與其對(duì)應(yīng)，方便后續(xù)對(duì)其doc的增刪改查操作，標(biāo)簽tag為“tensor”的內(nèi)容是存儲(chǔ)圖3所示的特征張量信息，標(biāo)簽tag為“spectrum”的內(nèi)容是存儲(chǔ)圖4所示的特征譜信息，這些標(biāo)簽tag可以是但不限于圖5所示的那么多。

第四步

根據(jù)上一步輸出的信息組織形式，將其存儲(chǔ)起來(lái)，可以單機(jī)存儲(chǔ)，也可以分布式機(jī)群存儲(chǔ)，可以用數(shù)據(jù)庫(kù)、文件系統(tǒng)或其他形式，這里僅為說(shuō)明清楚原理及簡(jiǎn)單起見(jiàn)，以單機(jī)的形式并且全文索引存儲(chǔ)到搜索引擎solr里。

第五步

編審人員或相關(guān)用戶(hù)都可以在后臺(tái)根據(jù)關(guān)鍵詞或點(diǎn)云數(shù)據(jù)查找doc，如圖6所示的檢索頁(yè)面，可以由點(diǎn)云信息檢索——圖6中的“按圖索驥”就是根據(jù)點(diǎn)云信息檢索，也可以由關(guān)鍵詞檢索——圖6中輸入框中的“墻壁”就是關(guān)鍵詞，必要的情況下可以手動(dòng)更新相關(guān)doc信息并存儲(chǔ)。

第六步

檢索的操作可以由系統(tǒng)運(yùn)營(yíng)人員或相關(guān)用戶(hù)來(lái)執(zhí)行，也可由機(jī)器直接執(zhí)行，例如機(jī)器在室內(nèi)外執(zhí)行任務(wù)時(shí)，用到系統(tǒng)存儲(chǔ)的視覺(jué)感知數(shù)據(jù)，另外，機(jī)器采集到的當(dāng)前環(huán)境或物體信息與系統(tǒng)存儲(chǔ)的不一致時(shí)，機(jī)器可以直接更新系統(tǒng)存儲(chǔ)。

綜上，我們可以看到，通過(guò)本發(fā)明方法，成功地解決了視覺(jué)感知信息的表示、存儲(chǔ)與檢索，可以為相關(guān)人員或機(jī)器人提供高精三維地圖服務(wù)，為視覺(jué)感知應(yīng)用的新方向開(kāi)拓打下堅(jiān)實(shí)基礎(chǔ)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明是一種基于視覺(jué)感知的環(huán)境或物體的數(shù)字化表示與檢索方法，生物及人類(lèi)的視覺(jué)原理，至今在科技界也無(wú)確切的研究清楚，對(duì)于三維物體，從不同的角度看過(guò)后，得到真實(shí)三維物體的一個(gè)“開(kāi)覆蓋”，這個(gè)“開(kāi)覆蓋”會(huì)不會(huì)是此物體所唯一對(duì)應(yīng)的一個(gè)視覺(jué)感知？這個(gè)感知在大腦里的存儲(chǔ)是二維的還是多維的？存儲(chǔ)的信息是曲率還是輪廓線(xiàn)？上述“唯一對(duì)應(yīng)”是共形映射還是普通雙射或是其他？類(lèi)似問(wèn)題至今仍沒(méi)有頭緒，但這并不妨礙我們持續(xù)地去觀(guān)察及研究，本發(fā)明以此為出發(fā)點(diǎn)，提出一種視覺(jué)感知的模型，其理論基礎(chǔ)在微分幾何與流形，通過(guò)分析物體表面曲率的概率分布，做為視覺(jué)信息的數(shù)字化表示，為視覺(jué)存儲(chǔ)與檢索提供支撐，為視覺(jué)應(yīng)用提供具基礎(chǔ)技術(shù)。

技術(shù)研發(fā)人員：王紅軍
受保護(hù)的技術(shù)使用者：王紅軍
技術(shù)研發(fā)日：2017.06.15
技術(shù)公布日：2017.09.08