無人機的控制方法、裝置的制造方法
【專利摘要】本發(fā)明公開了一種無人機的控制方法、裝置，該控制方法包括：獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一幀圖像中的多個變化區(qū)域；將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板匹配，根據(jù)匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令；當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令；當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令；當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操作指令；執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
【專利說明】
無人機的控制方法、裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及航空科學(xué)技術(shù)領(lǐng)域，更具體地，設(shè)及無人機的控制方法、裝置。
【背景技術(shù)】
[0002] 無人駕駛無人機簡稱無人機，是利用遙控方法和自備的程序控制裝置操縱的不載 人的無人機。為了維持機體平衡W及完成工作任務(wù)，無人機體上安裝的傳感器越來越多，而 隨著微電子技術(shù)的發(fā)展，在小型無人機上集成多個高精度的傳感器已經(jīng)成為現(xiàn)實。目前，無 人機能夠?qū)崿F(xiàn)的功能也越來越多，已經(jīng)廣泛應(yīng)用于空中偵察、監(jiān)視、通信、反潛、電子干擾 等。圖像識別，是指利用計算機對圖像進(jìn)行處理、分析和理解，W識別各種不同模式的目標(biāo) 和對象的技術(shù)。
[0003] -般地，現(xiàn)有技術(shù)中，無人機的操控方式主要是傳統(tǒng)遙控和手機遙控兩種。傳統(tǒng)遙 控是通過左右手操控上下左右四個方向的遙控操控桿實現(xiàn)。手機遙控一般是將傳統(tǒng)遙控器 的左右手遙控操控桿移植于手機上實現(xiàn)。而近些年來，近距離手勢識別控制無人機作為一 種新的控制方式出現(xiàn)，提高了用戶體驗，一種利用手勢操控?zé)o人機的方法是通過建立手勢 檢測框架檢測圖像中的手勢并判斷所述手勢是否屬于預(yù)定操控?zé)o人機手勢；當(dāng)判斷所述手 勢為預(yù)定操控?zé)o人機手勢時，獲取手勢的運動軌跡；由所述手勢的運動軌跡控制無人機執(zhí) 行與該手勢的運動軌跡對應(yīng)的操控動作，所述手勢的運動軌跡與該手勢的運動軌跡對應(yīng)的 操控動作預(yù)先設(shè)定。
[0004] 上述方案采用手勢操控?zé)o人機，通過將識別到的手勢與預(yù)存的手勢對應(yīng)的模板庫 匹配獲取無人機要飛行的運動軌跡，其控制方法新穎，但僅限于近距離的控制，當(dāng)無人飛行 較遠(yuǎn)較高時，手勢識別的控制效果就會降低甚至出現(xiàn)無人機失控的現(xiàn)象。
【發(fā)明內(nèi)容】
[0005] 鑒于上述問題，本發(fā)明提出了一種無人機的控制方法、裝置，其在距離無人機較遠(yuǎn) 時仍能夠?qū)崿F(xiàn)遠(yuǎn)程操控。
[0006] 第一方面，本發(fā)明提供了一種無人機的控制方法，包括如下步驟：
[0007] 獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一帖圖像中的多個變化區(qū)域；
[000引將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板匹配，根據(jù) 匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，具體包括如下步驟，
[0009] 當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手勢，并 生成與該手勢匹配的手勢控制操作指令；
[0010] 當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹配成 功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令；
[0011] 當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操 作指令；
[0012] 執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
[0013] 本發(fā)明在獲取動態(tài)圖像后，在動態(tài)圖像中的每一帖圖像中提取出多個變化區(qū)域， 該變化區(qū)域中不僅包括手勢模板，還包括人體輪廓模板，通過將該變化區(qū)域與預(yù)存模板庫 匹配識別出該變化區(qū)域，在依次與手勢模板和人體輪廓模板匹配的過程中，獲取對應(yīng)該變 化區(qū)域的操作指令，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域 為手勢，并生成與該手勢匹配的手勢控制操作指令；當(dāng)任何變化區(qū)域與所述手勢模板都匹 配不成功時，且與所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人 體控制操作指令；當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生 成返回操作指令;并執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。在本方案中添加了根據(jù)人體輪 廓模板指令控制無人機返回的操作指令，其能夠依據(jù)人體輪廓控制無人機返航飛行，相對 于現(xiàn)有技術(shù)手段中的手勢識別，由于人體輪廓較大，因此在距離較遠(yuǎn)時具有更好的識別效 果，使得無人機在飛行距離較遠(yuǎn)而無法攝取到手勢時拍攝人體輪廓作為返回的方向標(biāo)，由 此可防止無人機丟失或者失控，保證手勢控制無人機時，無人機的飛行安全。
[0014] 結(jié)合第一方面，在第一方面的第一個實施例中，所述提取該動態(tài)圖像所含的每一 帖圖像中的多個變化區(qū)域具體包括如下步驟：
[0015] 建立靜態(tài)背景模型W確定背景帖；
[0016] 根據(jù)背景減除算法將當(dāng)前帖與背景帖相減W獲取當(dāng)前帖中的第一變化部分；
[0017] 根據(jù)帖間差分算法將當(dāng)前帖與相鄰帖相減W獲取當(dāng)前帖中的第二變化部分；
[0018] 重疊第一變化部分和第二變化部分W獲取圖像中的變化區(qū)域。
[0019] 在本實施例中，在圖像中識別出兩個變化部分，然后將兩個變化部分進(jìn)行重疊，從 而獲取到更為完整的變化區(qū)域，采用此法能夠彌補變化區(qū)域的空桐，還能夠避免圖像中有 過多的干擾噪聲。采用帖間差分算法和背景減除算法相結(jié)合的算法，是一種簡單實時、可 靠、準(zhǔn)確度高的算法。
[0020] 結(jié)合第一方面，進(jìn)一步地，所述提取該動態(tài)圖像所含的每一帖圖像中的多個變化 區(qū)域還包括后序步驟：
[0021] 利用亮度高斯模型算法在所述變化區(qū)域中分割出膚色區(qū)域；
[0022] 依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別圖像中的手勢區(qū)域；
[0023] 依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域中的人體輪廓區(qū)域；
[0024] 統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪廓區(qū)域，W用于與預(yù)存 模板庫中的模板匹配。
[0025] 在本實施例中，首先利用亮度高斯模型分割出膚色區(qū)域，然后再根據(jù)手勢的空間 相對密度特征和指節(jié)相對間距特征從膚色區(qū)域中分割出手勢，然后從圖像中識別出人體輪 廓，最后統(tǒng)計在運動圖像中收集到的所有手勢區(qū)域和人體輪廓區(qū)域，W用于與模板庫中的 模板比對從而生成操作指令。本實施例采用收集手勢和人體輪廓兩種區(qū)域的方法，能夠從 一副圖像中提取出多種變化區(qū)域。
[0026] 結(jié)合第一方面，在第一方面的第二個實施例中，進(jìn)一步地，所述手勢控制操作指令 為控制本機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸停中的任意一項。
[0027] 結(jié)合第一方面，在第一方面的第=個實施例中，所述人體控制操作指令為控制本 機尋找手勢動作，所述尋找手勢動作具體包括如下步驟，
[0028] 識別所述變化區(qū)域為人體輪廓；
[0029] W所述人體輪廓為終點返航飛行；
[0030] 捕捉人臉，進(jìn)行人臉識別；
[0031] 當(dāng)識別人臉為預(yù)設(shè)操作者時，循環(huán)捕捉手勢。
[0032] 本實施例為本發(fā)明提供的一種無人機自保護的方法，當(dāng)無人機飛行距離較遠(yuǎn)時， 通過檢測操作者的人體輪廓可W確定無人機的返航方向，通過人臉識別確定操作者的身 份，當(dāng)確定了操作者的身份后，繼續(xù)捕捉手勢，從而可W保證在控制不到無人機時使無人機 自動返航，從而擴大了無人機的控制范圍，提升用戶體驗。
[0033] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，識別所述變化區(qū)域為人 體輪廓具體包括如下步驟：
[0034] 將含所述變化區(qū)域的圖像進(jìn)行二值化處理，生成二值化圖像；
[0035] 對所述二值化圖像中的變化區(qū)域做圖像連通處理生成連通區(qū)域；
[0036] 提取所述連通區(qū)域的幾何特征，當(dāng)所述幾何特征滿足人體幾何特征時，識別所述 區(qū)域為人體輪廓。
[0037] 在本實施例中，首先對所述變化區(qū)域做圖像二值化處理，二值化圖像相對于普通 圖像占用的儲存空間小，能夠加快圖像處理速度;然后對所述二值化圖像進(jìn)行圖像連通處 理生成連通區(qū)域;最后提取連通區(qū)域的幾何特征，當(dāng)滿足人體幾何特征時，識別所述變化區(qū) 域為人體輪廓。此法簡單、可靠，運算速度快，提升用戶體驗。
[0038] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，采用種子填充算法對所 述變化區(qū)域做圖像連通處理，其具體步驟包括：
[0039] 確定變化區(qū)域中的中間點作為種子；
[0040] W該種子為基點由內(nèi)向外填充直到遇到邊界時停止。
[0041] 在本實施例中，連通處理方法是采用種子填充方法，首先在變化區(qū)域的中間點尋 找種子，然后再W種子為基點從內(nèi)向外填充知道填到邊界。采用此種方法能夠填充圖像中 的密閉空間，從而減少圖像的空桐現(xiàn)象，保證圖像的完整性。
[0042] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，所述人臉識別具體包 括：
[0043] 利用積分投影法定位人臉位置，生成人臉區(qū)域；
[0044] 在所述人臉區(qū)域內(nèi)提取人臉特征，根據(jù)該人臉特征識別人臉。
[0045] 在本實施例中，首先利用積分投影法定位人臉位置，生成人臉區(qū)域，然后再根據(jù)人 臉特征識別出操作者的人臉。
[0046] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，在無人機飛行之前還包 括，機體中存儲有預(yù)先錄入的操作者的人臉。
[0047] 結(jié)合第一方面，在第一方面的第四個實施例中，在所述提取該動態(tài)圖像所含的每 一帖圖像中的多個變化區(qū)域之前還包括圖像預(yù)處理，所述圖像預(yù)處理算法包括直方圖均衡 算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項。
[004引在獲取動態(tài)圖像后，首先要對動態(tài)圖像進(jìn)行預(yù)處理，然后再從已經(jīng)預(yù)處理后的圖 像中識別人體輪廓，運是圖像識別算法中慣用的手段，采用此方法，可W將模糊的圖像、過 曝光圖像、過暗圖像等不規(guī)則圖像處理成統(tǒng)一的利于識別人體輪廓的圖像。圖像預(yù)處理能 夠突出圖像中的人體輪廓，從而更有利于提取出清晰的輪廓。
[0049] 結(jié)合第一方面，在第一方面的第五個實施例中，所述獲取動態(tài)圖像的圖像獲取裝 置通過云臺安裝在本體上，所述云臺帶動所述圖像獲取裝置W任意角度旋轉(zhuǎn)，W獲取所述 變化區(qū)域。
[0050] 在本實施例中，獲取動態(tài)圖像的圖像獲取裝置通過云臺安裝在本體上，通過控制 云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目的。
[0051] 結(jié)合第一方面，在第一方面的第五個實施例中，進(jìn)一步，根據(jù)所述變化區(qū)域在圖像 中的位置變化，調(diào)整云臺的旋轉(zhuǎn)角度，W控制所述變化區(qū)域在圖像中整體顯示。
[0052] 在本實施例中，根據(jù)變化區(qū)域在圖像中的位置變化靈活的調(diào)整云臺旋轉(zhuǎn)角度，從 而跟蹤人體輪廓和手勢，使得變化區(qū)域在圖像中整體顯示，從而達(dá)到準(zhǔn)確控制的效果。
[0053 ]第二方面，本發(fā)明還提供了一種無人機的控制裝置，包括：
[0054] 獲取模塊，用于獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一帖圖像中的多個變化 區(qū)域；
[0055] 識別模塊，用于將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓 模板匹配，根據(jù)匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，所述識別模塊具體包括，
[0056] 手勢識別子模塊，用于當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別 該變化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令；
[0057] 人體識別子模塊，用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所 述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令；
[0058] 返回子模塊，用于當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功 時，則生成返回操作指令；
[0059] 執(zhí)行模塊，用于執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
[0060] 獲取模塊在獲取動態(tài)圖像后，在動態(tài)圖像中的每一帖圖像中提取出多個變化區(qū) 域，該變化區(qū)域中不僅包括手勢模板，還包括人體輪廓模板，識別模塊通過將該變化區(qū)域與 預(yù)存模板庫匹配識別出該變化區(qū)域，在依次與手勢模板和人體輪廓模板匹配的過程中，獲 取對應(yīng)該變化區(qū)域的操作指令，手勢識別子模塊用于當(dāng)任意一個變化區(qū)域與所述手勢模板 匹配成功時，則識別該變化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令;人體識 別子模塊用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹 配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令;返回子模塊用于當(dāng)所 述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操作指令;執(zhí)行 模塊用于執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。在本方案中添加了根據(jù)人體輪廓模板指令 控制無人機返回的操作指令，其能夠依據(jù)人體輪廓控制無人機返航飛行，相對于現(xiàn)有技術(shù) 手段中的手勢識別，由于人體輪廓較大，因此在距離較遠(yuǎn)時具有更好的識別效果，使得無人 機在飛行距離較遠(yuǎn)而無法攝取到手勢時拍攝人體輪廓作為返回的方向標(biāo)，由此可防止無人 機丟失或者失控，保證手勢控制無人機時，無人機的飛行安全。
[0061] 結(jié)合第二方面，在第二方面的第一個實施例中，所述獲取模塊具體包括如下子模 塊：
[0062] 背景確立子模塊，用于建立靜態(tài)背景模型W確定背景帖；
[0063] 第一變化部分獲取子模塊，用于根據(jù)背景減除算法將當(dāng)前帖與背景帖相減W獲取 當(dāng)前帖中的第一變化部分；
[0064] 第二變化部分獲取子模塊，用于根據(jù)帖間差分算法將當(dāng)前帖與相鄰帖相減W獲取 當(dāng)前帖中的第二變化部分；
[0065] 重疊子模塊，用于重疊第一變化部分和第二變化部分W獲取圖像中的變化區(qū)域。
[0066] 在本實施例中，在圖像中識別出兩個變化部分，然后將兩個變化部分進(jìn)行重疊，從 而獲取到更為完整的變化區(qū)域，采用此法能夠彌補變化區(qū)域的空桐，還能夠避免圖像中有 過多的干擾噪聲。采用帖間差分算法和背景減除算法相結(jié)合的算法，是一種簡單實時、可 靠、準(zhǔn)確度高的算法。
[0067] 結(jié)合第二方面，在第二方面的第一個實施中，進(jìn)一步地，所述獲取模塊還包括如下 子模塊：
[0068] 膚色區(qū)域分割子模塊，用于利用亮度高斯模型算法在所述變化區(qū)域中分割出膚色 區(qū)域；
[0069] 手勢區(qū)域識別子模塊，用于依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別圖像 中的手勢區(qū)域；
[0070] 人體輪廓區(qū)域識別子模塊，用于依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域中的 人體輪廓區(qū)域；
[0071] 統(tǒng)計子模塊，用于統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪廓區(qū) 域，W用于與預(yù)存模板庫中的模板匹配。
[0072] 在本實施例中，膚色區(qū)域分割子模塊用于利用亮度高斯模型分割出膚色區(qū)域，手 勢區(qū)域識別子模塊用于根據(jù)手勢的空間相對密度特征和指節(jié)相對間距特征從膚色區(qū)域中 分割出手勢，人體輪廓區(qū)域識別子模塊，用于從圖像中識別出人體輪廓，統(tǒng)計子模塊用于統(tǒng) 計在運動圖像中收集到的所有手勢區(qū)域和人體輪廓區(qū)域，W用于與模板庫中的模板比對從 而生成操作指令。本實施例采用收集手勢和人體輪廓兩種區(qū)域的方法，能夠從一副圖像中 提取出多種變化區(qū)域。
[0073] 結(jié)合第二方面，在第二方面的第二個實施例中，所述手勢控制操作指令為控制本 機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸停中的任意一項。
[0074] 結(jié)合第二方面，在本發(fā)明的第二方面的第=個實施例中，所述人體控制操作指令 為控制本機尋找手勢動作，所述尋找手勢動作具體包括如下單元，
[0075] 人體輪廓確定單元，用于識別所述變化區(qū)域為人體輪廓；
[0076] 返航單元，用于W所述人體輪廓為終點返航飛行；
[0077] 捕捉人臉單元，用于捕捉人臉，進(jìn)行人臉識別；
[0078] 捕捉手勢單元，用于當(dāng)識別人臉為預(yù)設(shè)操作者時，循環(huán)捕捉手勢。
[0079] 本實施例為本發(fā)明提供的一種無人機自保護的方法，當(dāng)無人機飛行距離較遠(yuǎn)時， 通過檢測操作者的人體輪廓可W確定無人機的返航方向，通過人臉識別確定操作者的身 份，當(dāng)確定了操作者的身份后，繼續(xù)捕捉手勢，從而可W保證在控制不到無人機時使無人機 自動返航，從而擴大了無人機的控制范圍，提升用戶體驗。
[0080] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，其特征在于，人體輪廓確定單 元具體包括如下子單元：
[0081 ]二值化子單元，用于將含所述變化區(qū)域的圖像進(jìn)行二值化處理，生成二值化圖像；
[0082]連通處理子單元，用于對所述二值化圖像中的變化區(qū)域做圖像連通處理生成連通 區(qū)域；
[0083] 幾何特征提取子單元，用于提取所述連通區(qū)域的幾何特征，當(dāng)所述幾何特征滿足 人體幾何特征時，識別所述區(qū)域為人體輪廓。
[0084] 在本實施例中，二值化子單元首先對所述變化區(qū)域做圖像二值化處理，二值化圖 像相對于普通圖像占用的儲存空間小，能夠加快圖像處理速度;連通處理子單元用于對所 述二值化圖像進(jìn)行圖像連通處理生成連通區(qū)域;幾何特征提取子單元用于提取連通區(qū)域的 幾何特征，當(dāng)滿足人體幾何特征時，識別所述變化區(qū)域為人體輪廓。此法簡單、可靠，運算速 度快，提升用戶體驗。
[0085] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，采用種子填充算法對所述變 化區(qū)域做圖像連通處理，其具體包括：
[0086] 種子確定子單元，用于確定變化區(qū)域中的中間點作為種子；
[0087] 填充子單元，用于W該種子為基點由內(nèi)向外填充直到遇到邊界時停止。
[0088] 在本實施例中，連通處理方法是采用種子填充方法，種子確定子單元用于在變化 區(qū)域的中間點尋找種子，填充子單元用于W種子為基點從內(nèi)向外填充知道填到邊界。采用 此種方法能夠填充圖像中的密閉空間，從而減少圖像的空桐現(xiàn)象，保證圖像的完整性。
[0089] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，所述捕捉人臉單元具體包括 如下子單元；
[0090] 定位人臉位置子單元，用于利用積分投影法定位人臉位置，生成人臉區(qū)域；
[0091] 人臉特征提取子單元，用于在所述人臉區(qū)域內(nèi)提取人臉特征，根據(jù)該人臉特征識 別人臉。
[0092] 在本實施例中，首先利用積分投影法定位人臉位置，生成人臉區(qū)域，然后再根據(jù)人 臉特征識別出操作者的人臉。
[0093] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，在無人機飛行之前還包括，機 體中存儲有預(yù)先錄入的操作者的人臉。
[0094] 結(jié)合第二方面，在第二方面的第四個實施例中，在所述提取該動態(tài)圖像所含的每 一帖圖像中的多個變化區(qū)域之前還包括圖像預(yù)處理，所述圖像預(yù)處理算法包括直方圖均衡 算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項。
[00M]在獲取動態(tài)圖像后，首先要對動態(tài)圖像進(jìn)行預(yù)處理，然后再從已經(jīng)預(yù)處理后的圖 像中識別人體輪廓，采用此方法，可W將模糊的圖像、過曝光圖像、過暗圖像等不規(guī)則圖像 處理成統(tǒng)一的利于識別人體輪廓的圖像。圖像預(yù)處理能夠突出圖像中的人體輪廓，從而更 有利于提取出清晰的輪廓。
[0096] 結(jié)合第二方面，在第二方面的第五個實施例，所述獲取動態(tài)圖像的圖像獲取裝置 通過云臺安裝在本體上，所述云臺帶動所述圖像獲取裝置W任意角度旋轉(zhuǎn)，W獲取所述變 化區(qū)域。
[0097] 在本實施例中，獲取動態(tài)圖像的圖像獲取裝置通過云臺安裝在本體上，通過控制 云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目的。
[0098] 結(jié)合第二方面的第五個實施例，進(jìn)一步地，根據(jù)所述變化區(qū)域在圖像中的位置變 化，調(diào)整云臺的旋轉(zhuǎn)角度，W控制所述變化區(qū)域在圖像中整體顯示。
[0099] 在本實施例中，根據(jù)變化區(qū)域在圖像中的位置變化靈活的調(diào)整云臺旋轉(zhuǎn)角度，從 而跟蹤人體輪廓和手勢，使得變化區(qū)域在圖像中整體顯示，從而達(dá)到準(zhǔn)確控制的效果。
[0100] 第=方面，本發(fā)明實施例中提供了一種多功能控制設(shè)備，包括：
[0101] 顯示器，用于顯示程序執(zhí)行的結(jié)果；
[0102] 存儲器，用于存儲支持收發(fā)裝置執(zhí)行上述無人機的控制方法的程序；
[0103] 通信接口，用于上述無人機的控制裝置與其他設(shè)備或通信網(wǎng)絡(luò)通信；
[0104] -個或多個處理器，用于執(zhí)行所述存儲器中存儲的程序；
[0105] -個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被 配置為由所述一個或多個處理器執(zhí)行，所述一個或多個程序被配置為用于執(zhí)行無人機的控 制的任何方法。
[0106] 第四方面，本發(fā)明實施例提供了一種計算機存儲介質(zhì)，用于儲存為上述無人機的 控制裝置所用的計算機軟件指令，其包含用于執(zhí)行上述方面為無人機的控制裝置所設(shè)計的 程序。
[0107] 本發(fā)明利用安裝在無人機的攝像裝置攝取動態(tài)圖像，通過圖像識別算法識別圖像 中的變化區(qū)域，即手勢和人體輪廓，根據(jù)識別出的變化區(qū)域與預(yù)存模板庫的匹配結(jié)果判斷 自身應(yīng)該執(zhí)行的操作指令，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變 化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令；當(dāng)任何變化區(qū)域與所述手勢模 板都匹配不成功時，且與所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并 生成人體控制操作指令；當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功 時，則生成返回操作指令。相對于現(xiàn)有技術(shù)，本發(fā)明提供了一種依據(jù)識別人體輪廓控制無人 機并W人體輪廓為終點返回重新尋找手勢動作的方法，其在操控者與無人機距離較遠(yuǎn)的情 況下也能夠控制到無人機。本發(fā)明所提供的無人機控制方案新穎，準(zhǔn)確，可靠，實時，能夠?qū)?飛行較遠(yuǎn)的無人機控制在可控范圍，從而提升用戶體驗。
[0108] 本發(fā)明的運些方面或其他方面在W下實施例的描述中會更加簡明易懂。
【附圖說明】
[0109] 為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于 本領(lǐng)域技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可W根據(jù)運些附圖獲得其他的附 圖。
[0110] 圖1示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的系統(tǒng)架構(gòu)圖。
[0111] 圖2示出了根據(jù)本發(fā)明一個實施例的一種用于無人機的控制方法的設(shè)備結(jié)構(gòu)框 圖。
[0112] 圖3示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法流程圖。
[0113] 圖4示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的根據(jù)匹配結(jié)果識別 該變化區(qū)域的具體步驟流程圖。
[0114] 圖5示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的提取動態(tài)圖像所含 的每一帖圖像中的多個變化區(qū)域的具體步驟流程圖。
[0115] 圖6示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的提取該動態(tài)圖像所 含的每一帖圖像中的多個變化區(qū)域的后序步驟流程圖。
[0116] 圖7示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的尋找手勢動作具體 步驟流程圖。
[0117] 圖8示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的識別變化區(qū)域為人 體輪廓的具體步驟流程圖。
[0118] 圖9示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的采用種子填充算法 對變化區(qū)域做圖像連通處理具體步驟流程圖。
[0119] 圖10示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制方法的人臉識別的具體 步驟流程圖。
[0120] 圖11示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制裝置框圖。
[0121] 圖12示出了根據(jù)本發(fā)明一個實施例的一種無人機的控制裝置的識別單元的框圖。
[0122] 圖13示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的獲取模塊框圖。
[0123] 圖14示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的獲取模塊還包括的 框圖。
[0124] 圖15示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的尋找手勢動作具體 包括單元框圖。
[0125] 圖16示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的人體輪廓確定單元 具體框圖。
[0126] 圖17示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的連通處理子單元的 具體框圖。
[0127] 圖18示出了根據(jù)本發(fā)明一個實施例的一種無人機控制裝置的捕捉人臉單元具體 框圖。
[0128] 圖19示出了根據(jù)本發(fā)明一個實施例的一種多功能控制設(shè)備框圖。
【具體實施方式】
[0129] 為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的 附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述。
[0130] 在本發(fā)明的說明書和權(quán)利要求書及上述附圖中的描述的一些流程中，包含了按照 特定順序出現(xiàn)的多個操作，但是應(yīng)該清楚了解，運些操作可W不按照其在本文中出現(xiàn)的順 序來執(zhí)行或并行執(zhí)行，操作的序號如1〇1、1〇2等，僅僅是用于區(qū)分開各個不同的操作，序號 本身不代表任何的執(zhí)行順序。另外，運些流程可W包括更多或更少的操作，并且運些操作可 W按順序執(zhí)行或并行執(zhí)行。需要說明的是，本文中的"第一"、"第二"等描述，是用于區(qū)分不 同的消息、設(shè)備、模塊等，不代表先后順序，也不限定"第一"和"第二"是不同的類型。
[0131] 本發(fā)明的發(fā)明人注意到隨著人工智能和圖像識別技術(shù)的發(fā)展，依據(jù)圖像識別技術(shù) 控制無人機飛行已經(jīng)成為現(xiàn)實，而常見的基于圖像識別技術(shù)控制無人機的方法多是基于手 勢識別。限制于手的大小，手勢識別并不能控制與人體距離較遠(yuǎn)的無人機，故本發(fā)明人想到 通過識別人體輪廓控制無人機W人體輪廓返航重新尋找手勢的方法，其能控制距離相對較 遠(yuǎn)的無人機返航尋找手勢。
[0132] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施 例，都屬于本發(fā)明保護的范圍。
[0133] 對于本發(fā)明中用到的專有名詞解釋如下：
[0134] 動態(tài)圖像，指W電信號的方式對外界場景加 W捕捉、紀(jì)錄、處理、儲存、傳送與重現(xiàn) 的各種技術(shù)，動態(tài)圖像中包含若干帖，能夠?qū)討B(tài)圖像中任意一帖進(jìn)行操作。
[0135] 人體輪廓，在本發(fā)明中泛指包括人的四肢特征、頭部、軀干的人體圖。本領(lǐng)域內(nèi)技 術(shù)人員可W理解，在光線較差時，人體輪廓的完整性會受到干擾，但即使完整性遭到破壞， 能夠識別大部分人體特征的人體輪廓依然屬于本發(fā)明所述的人體輪廓。
[0136] 在本發(fā)明的實施例中，無人機的控制方法的系統(tǒng)架構(gòu)如圖1所示，包括無人機 1000,機體上裝配有攝像頭1001，攝像頭1001用于獲取圖像，從而從圖像中提取人體輪廓和 手勢輪廓。如圖1所示，無人機1000通過自身安裝的攝像頭1001攝取含有操控者1002信息的 動態(tài)圖像，繼而從動態(tài)圖像中的每一帖圖像中提取變化區(qū)域，然后識別變化區(qū)域中的人體 輪廓和手勢，并將識別到的人體輪廓與預(yù)存模板庫匹配，識別出相應(yīng)的操作指令并執(zhí)行。在 本實施例中，攝像頭可W通過全方位云臺安裝在機體上，可W通過控制旋轉(zhuǎn)全方位云臺跟 蹤人體目標(biāo)，使其始終位于獲取的圖像中屯、，本領(lǐng)域內(nèi)技術(shù)人員可W理解，本發(fā)明對攝像頭 的個數(shù)不限制，如有多個攝像頭，則可W采用拼接算法等算法實現(xiàn)全景獲取;本領(lǐng)域內(nèi)技術(shù) 人員可W理解，本發(fā)明對云臺的自由度不限制，可W為單自由度云臺，也可為多自由度云 臺，只要其能夠全方位獲取圖像;本領(lǐng)域內(nèi)技術(shù)人員可W理解，在本架構(gòu)中，控制無人機的 人體和無人機之間的距離不限定，只要人體輪廓能夠完整保持在圖像中，即可W完成控制 無人機的操作。
[0137] 在本發(fā)明的一個實施例中，用于無人機的控制方法的設(shè)備結(jié)構(gòu)框圖如圖2所示，整 體結(jié)構(gòu)包括系統(tǒng)處理中屯、、傳感器模塊、控制器、執(zhí)行控制端等，其中傳感器模塊包括慣性 傳感器、磁強計、超聲波傳感器、激光測距傳感器、圖像傳感器等，用于生成各種傳感器數(shù)據(jù) 從而生成用于表征無人機飛行過程中的姿態(tài)信息、高度數(shù)據(jù)、航向數(shù)據(jù)、圖像數(shù)據(jù)、距離數(shù) 據(jù)等，從而反映無人機飛行中的各項參數(shù)，便于無人機做自身的調(diào)整。例如當(dāng)無人機受到刮 風(fēng)影響時，利用慣性傳感器可W檢測出無人機的姿態(tài)數(shù)據(jù)發(fā)生變化，無人機獲取姿態(tài)數(shù)據(jù) 后調(diào)整自身姿態(tài)W保證按照操控指令飛行;又如當(dāng)無人機飛行過程中某個方向遇到障礙物 時，可W利用距離傳感器檢測出與障礙物的距離，從而迅速做出避障動作，從而保證機身不 損傷，而且當(dāng)無人機有了避障措施后，就可W單獨執(zhí)行空間檢測等任務(wù);又如當(dāng)用戶想通過 圖像控制無人機飛行時，在本發(fā)明的一個實施例中，如圖2所示，采用圖像傳感器獲取動態(tài) 圖像，繼而從動態(tài)圖像的每一帖圖片中識別變化區(qū)域，再從變化區(qū)域中識別出人體輪廓和 手勢動作，從而根據(jù)其與預(yù)存模板庫的匹配結(jié)果判斷將要完成的操作指令。系統(tǒng)處理中屯、 是完成數(shù)據(jù)整合、發(fā)送控制、執(zhí)行操作執(zhí)行的核屯、部分，其在收到傳感器模塊發(fā)送的數(shù)據(jù) 時，通過一系列的算法從數(shù)據(jù)中識別出特定的信息，從而根據(jù)運些信息判斷將要執(zhí)行的操 作，本領(lǐng)域內(nèi)技術(shù)人員可W理解，系統(tǒng)處理中屯、不止能夠完成傳感器數(shù)據(jù)的整合和發(fā)送指 令，還可W進(jìn)行其他的操作，在本發(fā)明中，系統(tǒng)處理中屯、應(yīng)具備能夠完成無人機控制的任何 方法?？刂破魇怯糜诳刂茻o人機的控制器件，一般地，當(dāng)遠(yuǎn)程遙控設(shè)備作為控制器控制無人 機時，需要設(shè)置無人機與控制器的控制頻率，W保證有效控制無人機飛行。執(zhí)行控制端用于 無人機執(zhí)行操作指令，執(zhí)行控制端與系統(tǒng)處理中屯、互相通訊，W保證無人機按照操作指令 執(zhí)行。
[0138] 第一方面，本發(fā)明提供了一種無人機的控制方法，如圖3所示，包括如下步驟：
[0139] Sll，獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一帖圖像中的多個變化區(qū)域。
[0140] 無人機從攝像頭等裝置獲取到動態(tài)圖像后，對動態(tài)圖像進(jìn)行圖像處理從而從圖像 中提取出人體輪廓。首先將動態(tài)視頻中的每一帖圖片都分離出來，然后再一帖一帖的處理， W此從每一帖圖像中提取出變化區(qū)域，便于下一步的處理。無人機從攝像頭獲取的圖像既 可W是無線傳輸至無人機的，亦可W是在無人機機體上安裝的攝像頭。
[0141] S12,將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板匹配， 根據(jù)匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，其具體步驟如圖4所示。
[0142] S1201，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手 勢，并生成與該手勢匹配的手勢控制操作指令。
[0143] 在本步驟中，將所有變化區(qū)域與手勢模板庫匹配的優(yōu)先級是最高的，優(yōu)先和手勢 模板庫匹配，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手勢， 后面的步驟不必進(jìn)行，并生成與該手勢匹配的手勢控制操作指令，立即執(zhí)行與手勢區(qū)域?qū)?應(yīng)的操作指令。
[0144] S1202,當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板 匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令。
[0145] 在本步驟中，當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪 廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令。即在變化區(qū) 域中沒有手勢時，則立即將所有變化區(qū)域與人體輪廓模板庫匹配，判斷是否含有人體輪廓， 若有，則生成對應(yīng)人體輪廓區(qū)域的操作指令。本領(lǐng)域內(nèi)技術(shù)人員易于理解，與人體輪廓模板 庫匹配的優(yōu)先級低于與手勢模板庫匹配的優(yōu)先級。
[0146] S1203，當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成 返回操作指令。
[0147] 當(dāng)識別到的變化區(qū)域既不能與手勢模板庫匹配成功，又不能與所述人體輪廓模板 庫匹配成功，則生成返回操作指令，從而保證機身安全，保證無人機的安全。
[0148] 在本發(fā)明的一個實施例中，將變化區(qū)域與預(yù)存模板庫的預(yù)存手勢模板和人體輪廓 模板依次匹配，即匹配過程中匹配優(yōu)先級順序是手勢模板、人體輪廓模板。首先將匯總好的 從一帖圖像中多個變化區(qū)域與預(yù)存模板庫中的手勢模板庫匹配，例如在一帖圖像中提取到 的變化區(qū)域有人體輪廓區(qū)域、樹葉區(qū)域、手勢區(qū)域、車輛區(qū)域四種變化區(qū)域，則依次將運四 幅圖像依次與手勢預(yù)存模板庫匹配，若運四幅圖像中含有手勢區(qū)域匹配成功時，則停止匹 配，執(zhí)行該手勢區(qū)域?qū)?yīng)的操作指令;又如在一帖圖像中提取到的變化區(qū)域有人體輪廓區(qū) 域、樹葉區(qū)域、車輛區(qū)域S種變化區(qū)域，則首先將運S個區(qū)域依次與手勢模板庫匹配，本例 中=種區(qū)域中都沒有手勢區(qū)域，此時運=個區(qū)域?qū)⑴c人體輪廓模板比對，本實施例中，所識 別的變化區(qū)域含人體輪廓區(qū)域，當(dāng)人體輪廓區(qū)域與人體輪廓模板匹配成功時停止匹配，執(zhí) 行與人體輪廓匹配的操作指令;又如在本發(fā)明的一個實施例中在一帖圖像中所識別到的變 化區(qū)域為樹葉區(qū)域、車輛區(qū)域兩種變化區(qū)域，此時首先將運兩個區(qū)域與手勢模板庫匹配，匹 配不成功時將運兩個區(qū)域與人體輪廓模板庫比對，此時還匹配不成功，則生成對應(yīng)的返回 操作指令，返回W保證無人機的飛行安全。
[0149] S13,執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
[0150] 本實施例為本發(fā)明提供的一種無人機的控制方法，可W保證在控制不到無人機 時，讓無人機自動返航，從而保證無人機不丟失，不損傷。
[0151] 本發(fā)明在獲取動態(tài)圖像后，在動態(tài)圖像中的每一帖圖像中提取出多個變化區(qū)域， 該變化區(qū)域中不僅包括手勢模板，還包括人體輪廓模板，通過將該變化區(qū)域與預(yù)存模板庫 匹配識別出該變化區(qū)域，在依次與手勢模板和人體輪廓模板匹配的過程中，獲取對應(yīng)該變 化區(qū)域的操作指令，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域 為手勢，并生成與該手勢匹配的手勢控制操作指令；當(dāng)任何變化區(qū)域與所述手勢模板都匹 配不成功時，且與所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人 體控制操作指令；當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生 成返回操作指令;并執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。在本方案中添加了根據(jù)人體輪 廓模板指令控制無人機返回的操作指令，其能夠依據(jù)人體輪廓控制無人機返航飛行，相對 于現(xiàn)有技術(shù)手段中的手勢識別，由于人體輪廓較大，因此在距離較遠(yuǎn)時具有更好的識別效 果，使得無人機在飛行距離較遠(yuǎn)而無法攝取到手勢時拍攝人體輪廓作為返回的方向標(biāo)，由 此可防止無人機丟失或者失控，保證手勢控制無人機時，無人機的飛行安全。
[0152] 結(jié)合第一方面，在第一方面的第一個實施例中，如圖5所示，所述提取該動態(tài)圖像 所含的每一帖圖像中的多個變化區(qū)域具體包括如下步驟：
[0153] S121，建立靜態(tài)背景模型W確定背景帖。
[0154] 在本發(fā)明的一個實施例中，建立靜態(tài)背景模型W確定背景帖。不難理解，在無人機 懸停時，攝像頭所拍攝的區(qū)域較穩(wěn)定，所能獲取的圖像中除了人體、手勢或其他動態(tài)物品能 夠改變外，其他物品基本保持不變，因此運些不變的靜態(tài)部分就可W作為背景來看待，例如 將一組圖像中的第一帖圖像作為背景，后序的所有圖像在此背景上變化的部分用于提取出 第一變化部分。本領(lǐng)域內(nèi)技術(shù)人員可W理解，由于背景隨時會發(fā)生變換，只采用將第一帖作 為背景帖的方法是不足夠的，需要更為可靠的數(shù)學(xué)模型，本發(fā)明對建立靜態(tài)背景模型的算 法不做限制，例如采用一種通過檢測圖像的直方圖來檢測背景模型是否發(fā)生變化的方法來 切換背景帖，其原理為，當(dāng)檢測到直方圖的分布發(fā)生巨大變化時，說明攝像頭所攝取的區(qū)域 已經(jīng)改變，立即做出更改背景帖的動作，W新的一組圖像中的第一帖作為背景帖。
[0155] S122,根據(jù)背景減除算法將當(dāng)前帖與背景帖相減W獲取當(dāng)前帖中的第一變化部 分。
[0156] 在建立好靜態(tài)背景模型后，可W將后序圖像與背景帖進(jìn)行相減W提取出當(dāng)前圖像 與背景帖不同的部分作為第一變化部分。本領(lǐng)域內(nèi)技術(shù)人員可W理解，圖像處理算法中的 相減算法能夠?qū)煞鶊D像中相同的部分去除，從而只在圖像中顯示不同的部分作為第一變 化部分，其相減算法簡單、實時。
[0157] S123,根據(jù)帖間差分算法將當(dāng)前帖與相鄰帖相減W獲取當(dāng)前帖中的第二變化部 分。
[0158] 帖間差分算法指的是將當(dāng)前帖與相鄰帖進(jìn)行相減W獲取當(dāng)前帖中的變化部分作 為第二變化部分。由于視頻是由一系列連續(xù)獲取的圖像組成的，每一帖圖像與其相鄰圖像 相似的部分很多，而相差的部分均來源于圖像中的動態(tài)變化物體，例如人體、動物等。將當(dāng) 前帖與相鄰帖相減后可W將圖像中的動態(tài)輪廓提取出來，例如將當(dāng)前帖與其前一帖進(jìn)行相 減得到第二變化部分;又例如采用連續(xù)帖間差分算法，先將當(dāng)前帖與前一帖相減得到變化 部分，然后將當(dāng)前帖與其后一帖進(jìn)行相減再得到另一變化部分，將兩個變化部分重疊得出 第二變化部分。
[0159] S124,重疊第一變化部分和第二變化部分W獲取圖像中的變化區(qū)域。
[0160] 將利用背景減除算法和帖間差分算法所得到的第一變化部分和第二變化部分重 疊得到變化區(qū)域。本領(lǐng)域內(nèi)技術(shù)人員可W理解，重疊算法也是相加算法，利用相加算法后可 W彌補圖像中的空桐和不連續(xù)的輪廓，從而獲得完整的清晰的動態(tài)輪廓。本方法綜合背景 減除算法和帖間差分算法兩種算法，得到的動態(tài)部分具有更為可靠的特點，采用本算法具 有簡單、實時、可靠、易實現(xiàn)的特點。在上述實施例中，在圖像中識別出兩個變化部分，然后 將兩個變化部分進(jìn)行重疊，從而獲取到更為清晰的人體輪廓，采用運種方法能夠彌補人體 輪廓的空桐，還能夠避免圖像中有過多的干擾噪聲。采用帖間差分算法和背景減除算法相 結(jié)合的算法，是一種簡單實時、可靠、準(zhǔn)確度高的算法。
[0161] 結(jié)合第一方面，進(jìn)一步地，如圖6所示，所述提取該動態(tài)圖像所含的每一帖圖像中 的多個變化區(qū)域還包括后序步驟：
[0162] S125,利用亮度高斯模型算法在所述變化區(qū)域中分割出膚色區(qū)域。
[0163] 本領(lǐng)域內(nèi)技術(shù)人員不難理解，人體皮膚的顏色、紋理、亮度都具有一定的特征，因 此可W依據(jù)手勢的運些特征來獲取膚色區(qū)域，然后再從膚色區(qū)域中提取出手勢的具體形 狀。在本發(fā)明的一個實施例中，首先計算手勢樣本膚色中每個像素點的亮度值，在RGB顏色 空間中建立亮度高斯模型。然后用帖圖像中每個像素點與亮度高斯模型作差值。差值在闊 值范圍內(nèi)默認(rèn)為膚色，得到初始的分割區(qū)域。本領(lǐng)域內(nèi)技術(shù)人員可W理解，不同光照條件、 不同背景、不同操作者運用亮度高斯模型所得到的闊值都不一樣，當(dāng)環(huán)境變化時，重新采樣 獲取數(shù)據(jù)，更新亮度高斯模型是本領(lǐng)域內(nèi)慣用手段，基于本思路所作的算法改進(jìn)應(yīng)屬于本 發(fā)明的保護范圍。
[0164] S126,依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別圖像中的手勢區(qū)域。
[0165] 手勢空間分布特征是對人手空間特征的抽象描述，人手是一個關(guān)節(jié)式的復(fù)雜變形 體，由手掌與5個相鄰的手指組成，每個手指由指段和關(guān)節(jié)組成，整體來看，手勢是關(guān)節(jié)相連 的結(jié)構(gòu)，隨著關(guān)節(jié)的運動，手的形狀不斷變化，手勢的不同姿態(tài)可W通過指段和關(guān)節(jié)的狀態(tài) 空間變化來描述。本發(fā)明的一個實施例中，從手勢的整體姿態(tài)和局部姿態(tài)兩個方面提取分 布特征，一方面，手勢的不同形態(tài)可W借助手勢像素點在空間的區(qū)域分布表現(xiàn)出來。本發(fā)明 的一個實施例中，膚色區(qū)域和背景區(qū)域交錯分布構(gòu)成了各種的手勢，同一個手勢的不同圖 像，膚色空間分布信息是相似的，依據(jù)運個特征提取手勢的密度分布特征，即提取手勢膚色 像素點在不同空間域的分布情況作為識別手勢的依據(jù)。另一方面，手勢的不同形態(tài)源于手 勢的局部姿態(tài)，手勢各個手指之間的連接關(guān)系，手指與手指之間的夾角是位于固定區(qū)間內(nèi) 的，根據(jù)運些夾角關(guān)系能夠識別手指。
[0166] 本發(fā)明的一個實施例中示例了一種手勢識別方法，首先提取人手的重屯、點，采用 如下公式：
[0167]
[016 引
[0169]
[0170] 其中i，j代表像素點的坐標(biāo)，R代表設(shè)置的闊值。
[0171] 然后，計算圖像中目標(biāo)像素點到重屯、的最大距離Dmax,然后W重屯、為圓屯、，WDmax為 半徑作手勢圖像的外接圓；并將外接圓按照每個子圖像區(qū)域所覆蓋的區(qū)間長度相等的原 貝1J;由內(nèi)而外劃分為若干個子圖像區(qū)域，那么最靠近圓屯、的中屯、圓所包含的區(qū)域主要為手 掌部分，而空間分布特征也由內(nèi)而外各自不一樣，由此特征識別手勢。
[0172] S127,依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域中的人體輪廓區(qū)域。
[0173] 在所述變化區(qū)域中提取所述人體輪廓，根據(jù)人體形狀特征識別人體輪廓屬于特征 識別算法，特征識別算法是基于要識別的目標(biāo)的特征來識別目標(biāo)的，例如顏色、形狀、結(jié)構(gòu)、 高寬比等特征，W高寬比特征為例區(qū)分人體和動物，人體的高度和寬度的比例值是位于一 個范圍內(nèi)的，動物的高度和寬度比例位于另一個范圍內(nèi)，兩個比例范圍數(shù)據(jù)相差很大，因此 可W區(qū)分人體和動物。例如，本發(fā)明的一個實施例中，將高寬比位于1.5到3之間的目標(biāo)確定 為人體，將高寬比位于0.2到1之間的目標(biāo)確定為其他動物，然后提取所述變化區(qū)域的高寬 比特征，獲取其中高寬比位于1.5到3之間的變化區(qū)域，再根據(jù)其他特征判斷出人體輪廓。
[0174] S128,統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪廓區(qū)域，W用于 與預(yù)存模板庫中的模板匹配。
[0175] 在本實施例中，首先利用亮度高斯模型分割出膚色區(qū)域，然后再根據(jù)手勢的空間 相對密度特征和指節(jié)相對間距特征從膚色區(qū)域中分割出手勢，再從變化區(qū)域中識別出人體 輪廓，最后統(tǒng)計在運動圖像中收集到的所有手勢區(qū)域和人體輪廓區(qū)域，W用于與模板庫中 的模板匹配從而生成操作指令。本實施例收集手勢和人體輪廓兩種區(qū)域，能夠從一副圖像 中提取出多種變化區(qū)域，例如在本發(fā)明的一個實施例中在一副圖像中提取到3個人體輪廓、 1個手勢輪廓、1個小狗輪廓。
[0176] 結(jié)合第一方面，在第一方面的第二個實施例中，進(jìn)一步地，所述手勢控制操作指令 為控制本機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸停中的任意一項。
[0177] 手勢控制指令為控制無人機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸 停中的任意一項，例如，OK手勢代表直行，當(dāng)從圖像中分割出來的手勢圖像是OK手勢時，貝U 對應(yīng)生成直行的指令。
[0178] 結(jié)合第一方面，在第一方面的第=個實施例中，所述人體控制操作指令為控制本 機尋找手勢動作，如圖7所示，所述尋找手勢動作具體包括如下步驟，
[0179] S1211，識別所述變化區(qū)域為人體輪廓。
[0180] 較佳地，根據(jù)特征識別算法識別人體輪廓，確定所述變化區(qū)域為人體輪廓是進(jìn)行 尋找手勢的前提步驟。
[0181] S1212, W所述人體輪廓為終點返航飛行。
[0182] 當(dāng)無人機飛行較遠(yuǎn)時，一方面一般攝像頭分辨率較小，另一方面限于處理能力，已 經(jīng)無法分辨手勢信息，此時操作者無法用手勢控制無人機，無人機則處于失控狀態(tài)，在本發(fā) 明的實施例中，當(dāng)無人機識別到人體輪廓時，可W W人體輪廓為終點返回繼續(xù)獲取手勢，能 夠保證無人機在飛行較遠(yuǎn)時仍能夠返航，保證機體安全。
[0183] S1213,捕捉人臉，進(jìn)行人臉識別。
[0184] 由于地面上的操作者可能有多個，為了尋找操作者，本發(fā)明采用了人臉識別算法 來確認(rèn)用戶身份，進(jìn)一步保證了無人機的飛行安全。
[0185] S1214,當(dāng)識別人臉為預(yù)設(shè)操作者時，循環(huán)捕捉手勢。
[0186] 本實施例為本發(fā)明提供的一種無人機自保護的方法，當(dāng)無人機飛行距離較遠(yuǎn)時， 通過檢測操作者的人體輪廓可W確定無人機的返航方向，通過人臉識別確定操作者的身 份，當(dāng)確定了操作者的身份后，繼續(xù)捕捉手勢，從而可W保證在控制不到無人機時使無人機 自動返航，從而擴大了無人機的控制范圍，提升用戶體驗。
[0187] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，識別所述變化區(qū)域為人 體輪廓，如圖8所示，具體包括如下步驟：
[0188] S12111，將含所述變化區(qū)域的圖像進(jìn)行二值化處理，生成二值化圖像。
[0189] 在本發(fā)明的一個實施例中，將提取出來的變化區(qū)域進(jìn)行二值化處理，圖像的二值 化處理是先預(yù)定一個闊值，將超過闊值范圍的像素點設(shè)置成一個值例如1，將低于該闊值的 像素點設(shè)置成另外一個區(qū)分度較高的值例如0。通過二值化處理，圖像中輪廓更為清晰，同 時由于二值化，圖像信息量變小，有利于加快處理速度，使系統(tǒng)運行流楊。
[0190] S12112,對所述二值化圖像中的變化區(qū)域做圖像連通處理生成連通區(qū)域。
[0191] 對二值化圖像進(jìn)行圖像連通處理，將圖像中的空桐部分補全，有利于識別出完整 的輪廓。
[0192] S12113,提取所述連通區(qū)域的幾何特征，當(dāng)所述幾何特征滿足人體幾何特征時，識 別所述區(qū)域為人體輪廓。
[0193] 在本實施例中，首先對所述變化區(qū)域做圖像二值化處理，二值化圖像相對于普通 圖像占用的儲存空間小，能夠加快圖像處理速度;然后對所述二值化圖像進(jìn)行圖像連通處 理生成連通區(qū)域;最后提取連通區(qū)域的幾何特征，當(dāng)滿足人體幾何特征時，識別所述變化區(qū) 域為人體輪廓。此法簡單、可靠，運算速度快，提升用戶體驗。人體輪廓識別算法是為了在圖 像中提取出人體輪廓的算法，包括背景減除算法、帖間差分算法、光流法、聚類算法、分類算 法、邊緣檢測、特征識別算法、模板匹配算法中的任意多項，本發(fā)明對所采用算法的順序和 個數(shù)不做限制，只要其能夠在圖像中提取出人體輪廓即可，例如在本發(fā)明中，可采用聚類算 法在圖像中識別各種形狀的類簇，從而根據(jù)人體常有形態(tài)特征識別出人體輪廓；又例如在 圖像中采用索貝爾邊緣檢測算子檢測出圖像中的邊緣，從而在檢測出來的邊緣中進(jìn)一步提 取出人體輪廓。本領(lǐng)域內(nèi)技術(shù)人員可W理解，本發(fā)明對所采用的算法個數(shù)和算法順序不做 限制，可W是任意算法的任意組合，只要其能夠提取出人體輪廓。本領(lǐng)域內(nèi)技術(shù)人員可W理 解，所采用的人體輪廓識別算法不僅僅為本發(fā)明所示，在不影響處理目的的基礎(chǔ)上，可W對 算法進(jìn)行改進(jìn)，所做改進(jìn)屬于本發(fā)明的保護范圍。
[0194]結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，采用種子填充算法對所 述變化區(qū)域做圖像連通處理，如圖9所示，其具體步驟包括：
[01M] S12114，確定變化區(qū)域中的中間點作為種子。
[0196] 一般地，剛提取出來的變化區(qū)域通常都有空桐，空桐的存在導(dǎo)致圖像不清晰，采集 的變化區(qū)域不完整，例如采集到的人體輪廓卻少胳膊部分。本發(fā)明的一個實施例提供了圖 像連通處理方法，其首先在圖像中間點找到一個種子點，如確定二值化圖像中被白色像素 點圍起來的黑色像素點的中央位置。本領(lǐng)域內(nèi)技術(shù)人員可W理解，不完全封閉的空桐也可 確定種子點，同時，在一個變化區(qū)域中可W確定多個種子點，本發(fā)明對所采用的種子點的算 法不做限制。
[0197] S12115, W該種子為基點由內(nèi)向外填充直到遇到邊界時停止。
[0198] 在本實施例中，連通處理方法是采用種子填充方法，首先在變化區(qū)域的中間點尋 找種子，然后再W種子為基點從內(nèi)向外填充知道填到邊界。采用此種方法能夠填充圖像中 的密閉空間，從而減少圖像的空桐現(xiàn)象，保證圖像的完整性。
[0199] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，所述人臉識別具體包括 如下步驟，如圖10所示：
[0200] S12131，利用積分投影法定位人臉位置，生成人臉區(qū)域。
[0201] 積分投影法是根據(jù)圖像在某些方向的投影分布特征來進(jìn)行檢測的，主要有垂直灰 度投影和水平灰度投影，如下公式表示：
[0202]
[0203]
[0204] 上面公式依次表示了水平投影和垂直投影的基本原理，x，y代表像素點的坐標(biāo)位 置。由于人臉的形狀是有一定規(guī)則的，根據(jù)在W上兩種投影可W分辨圖像中的人臉。
[0205] S12132,在所述人臉區(qū)域內(nèi)提取人臉特征，根據(jù)該人臉特征識別人臉。
[0206] 人臉上的特征主要包括眼部特征、鼻子特征、嘴己特征等，由于不同人的人臉比 例、大小都不一致，所W能夠根據(jù)人臉特征識別人臉。本發(fā)明一個實施例中采用了提取四個 眼角點、鼻尖點和兩個嘴角點屯個特征點的方法區(qū)分不同的操作者。
[0207] 在本實施例中，首先利用積分投影法定位人臉位置，生成人臉區(qū)域，然后再根據(jù)人 臉特征識別出操作者的人臉。
[0208] 結(jié)合第一方面，在第一方面的第=個實施例中，進(jìn)一步地，在無人機飛行之前還包 括，機體中存儲有預(yù)先錄入的操作者的人臉。
[0209] 為了保證無人機找到設(shè)定的操作者，所W在機體中預(yù)存有操作者的人臉，當(dāng)驗證 了操作者的人臉后，才開始尋找手勢。
[0210] 結(jié)合第一方面，在第一方面的第四個實施例中，在所述提取該動態(tài)圖像所含的每 一帖圖像中的多個變化區(qū)域之前還包括圖像預(yù)處理，所述圖像預(yù)處理算法包括直方圖均衡 算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項。
[0211] 在獲取動態(tài)圖像后，首先要對動態(tài)圖像進(jìn)行預(yù)處理，然后再從已經(jīng)預(yù)處理后的圖 像中識別人體輪廓，運是圖像識別算法中慣用的手段，采用此方法，可W將模糊的圖像、過 曝光圖像、過暗圖像等不規(guī)則圖像處理成統(tǒng)一的利于識別人體輪廓的圖像。圖像預(yù)處理能 夠突出圖像中的人體輪廓，從而更有利于提取出清晰的輪廓。圖像預(yù)處理是圖像識別算法 中的慣用手段，不但算法簡單不占用運算時間，而且具有良好的處理效果，能夠突出圖像中 的人體輪廓，從而更有利于提取出清晰的輪廓。本發(fā)明所述的圖像預(yù)處理算法包括直方圖 均衡算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項，本發(fā)明對圖像預(yù)處理所用 圖像預(yù)處理算法的先后順序W及所用算法個數(shù)不做限制。例如在本發(fā)明的一個實施例中， 所設(shè)及圖像預(yù)處理算法順序為灰度變換算法、銳化算法、直方圖均衡算法，首先對動態(tài)圖像 中的一帖圖像進(jìn)行灰度變換，將過暗、過曝光的圖像調(diào)整到適合的灰度;然后對處理后的圖 像進(jìn)行銳化，銳化的效果可W使圖像邊緣更為清晰，從而利于提取人體輪廓;最后對圖像進(jìn) 行直方圖均衡，保持圖像的均衡度。本領(lǐng)域內(nèi)技術(shù)人員可W理解，在預(yù)處理后的圖像中提取 人體輪廓的人體輪廓識別算法是經(jīng)過大量開發(fā)完成的。在不破壞本發(fā)明識別效果的基礎(chǔ) 上，本領(lǐng)域內(nèi)技術(shù)人員可W理解，所采用的圖像處理算法不僅僅為本發(fā)明所示，可W對本發(fā) 明實施中所提出的算法進(jìn)行改進(jìn)，所做改進(jìn)不應(yīng)脫離本發(fā)明的保護范圍。
[0212] 結(jié)合第一方面，在第一方面的第五個實施例中，所述獲取動態(tài)圖像的圖像獲取裝 置通過云臺安裝在本體上，所述云臺帶動所述圖像獲取裝置W任意角度旋轉(zhuǎn)，W獲取所述 變化區(qū)域。
[0213] 在本實施例中，獲取動態(tài)圖像的圖像獲取裝置通過云臺安裝在本體上，通過控制 云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目的。云臺優(yōu)選為雙自由度云臺，在垂 直方向上旋轉(zhuǎn)范圍為180°，在水平方向上旋轉(zhuǎn)范圍為360°，本領(lǐng)域內(nèi)技術(shù)人員可W理解，運 樣的云臺能夠使攝像頭采集到全方位圖像。在本實施例中，獲取動態(tài)圖像的圖像獲取裝置 通過云臺安裝在本體上，通過控制云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目 的。
[0214] 結(jié)合第一方面，在第一方面的第五個實施例中，進(jìn)一步，根據(jù)所述變化區(qū)域在圖像 中的位置變化，調(diào)整云臺的旋轉(zhuǎn)角度，W控制所述變化區(qū)域在圖像中整體顯示。
[0215] 在本發(fā)明的一個實施例中，根據(jù)已經(jīng)檢測出來的人體在圖像中的位置，調(diào)節(jié)云臺， 從而調(diào)整攝像頭持續(xù)攝取完整的人體輪廓，在本實施例中，根據(jù)人體在圖像中的位置變化 靈活地調(diào)整云臺旋轉(zhuǎn)角度，從而跟蹤人體，在本實施例中，根據(jù)變化區(qū)域在圖像中的位置變 化靈活的調(diào)整云臺旋轉(zhuǎn)角度，從而跟蹤人體輪廓和手勢，使得變化區(qū)域在圖像中整體顯示， 從而達(dá)到準(zhǔn)確控制的效果。
[0216] 第二方面，本發(fā)明還提供了一種無人機的控制裝置，該控制裝置具有實現(xiàn)上述第 一方面中無人機的控制行為的功能。所述功能可W通過硬件實現(xiàn)，也可W通過硬件執(zhí)行相 應(yīng)的軟件實現(xiàn)。所述硬件或軟件包括一個或多個與上述功能相對應(yīng)的模塊。如圖11所示，該 無人機的控制裝置包括：
[0217] 獲取模塊11，用于獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一帖圖像中的多個變 化區(qū)域。
[0218] 獲取模塊11用于無人機從攝像頭等裝置獲取到動態(tài)圖像后，對動態(tài)圖像進(jìn)行圖像 處理從而從圖像中提取出人體輪廓。首先將動態(tài)視頻中的每一帖圖片都分離出來，然后再 一帖一帖的處理，W此從每一帖圖像中提取出變化區(qū)域，便于下一步的處理。無人機從攝像 頭獲取的圖像既可W是無線傳輸至無人機的，亦可W是在無人機機體上安裝的攝像頭。
[0219] 識別模塊12,用于將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪 廓模板匹配，根據(jù)匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，所述識別模塊具體包括 如下圖12所示：
[0220] 手勢識別子模塊1201，用于當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，貝U 識別該變化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令。
[0221] 手勢識別子模塊1201用于將所有變化區(qū)域與手勢模板庫匹配的優(yōu)先級是最高的， 優(yōu)先和手勢模板庫匹配，當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化 區(qū)域為手勢，后面的步驟不必進(jìn)行，并生成與該手勢匹配的手勢控制操作指令，立即執(zhí)行與 手勢區(qū)域?qū)?yīng)的操作指令。
[0222] 人體識別子模塊1202,用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且 與所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指 令。
[0223] 人體識別子模塊1202用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與 所述人體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令。 即在變化區(qū)域中沒有手勢時，則立即將所有變化區(qū)域與人體輪廓模板庫匹配，判斷是否含 有人體輪廓，若有，則生成對應(yīng)人體輪廓區(qū)域的操作指令。本領(lǐng)域內(nèi)技術(shù)人員易于理解，與 人體輪廓模板庫匹配的優(yōu)先級低于與手勢模板庫匹配的優(yōu)先級。
[0224] 返回子模塊1203,用于當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不 成功時，則生成返回操作指令。
[0225] 返回子模塊1203用于當(dāng)識別到的變化區(qū)域既不能與手勢模板庫匹配成功，又不能 與所述人體輪廓模板庫匹配成功，則生成返回操作指令，從而保證機身安全，保證無人機的 安全。
[0226] 在本發(fā)明的一個實施例中，將變化區(qū)域與預(yù)存模板庫的預(yù)存手勢模板和人體輪廓 模板依次匹配，即匹配過程中匹配優(yōu)先級順序是手勢模板、人體輪廓模板。首先將匯總好的 從一帖圖像中多個變化區(qū)域與預(yù)存模板庫中的手勢模板庫匹配，例如在一帖圖像中提取到 的變化區(qū)域有人體輪廓區(qū)域、樹葉區(qū)域、手勢區(qū)域、車輛區(qū)域四種變化區(qū)域，則依次將運四 幅圖像依次與手勢預(yù)存模板庫匹配，若運四幅圖像中含有手勢區(qū)域匹配成功時，則停止匹 配，執(zhí)行該手勢區(qū)域?qū)?yīng)的操作指令;又如在一帖圖像中提取到的變化區(qū)域有人體輪廓區(qū) 域、樹葉區(qū)域、車輛區(qū)域S種變化區(qū)域，則首先將運S個區(qū)域依次與手勢模板庫匹配，本例 中=種區(qū)域中都沒有手勢區(qū)域，此時運=個區(qū)域?qū)⑴c人體輪廓模板比對，本實施例中，所識 別的變化區(qū)域含人體輪廓區(qū)域，當(dāng)人體輪廓區(qū)域與人體輪廓模板匹配成功時停止匹配，執(zhí) 行與人體輪廓匹配的操作指令;又如在本發(fā)明的一個實施例中在一帖圖像中所識別到的變 化區(qū)域為樹葉區(qū)域、車輛區(qū)域兩種變化區(qū)域，此時首先將運兩個區(qū)域與手勢模板庫匹配，匹 配不成功時將運兩個區(qū)域與人體輪廓模板庫匹配，此時還匹配不成功，則生成對應(yīng)的返回 操作指令，返回W保證無人機的飛行安全。
[0227] 執(zhí)行模塊13,用于執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
[0228] 獲取模塊在獲取動態(tài)圖像后，在動態(tài)圖像中的每一帖圖像中提取出多個變化區(qū) 域，該變化區(qū)域中不僅包括手勢模板，還包括人體輪廓模板，識別模塊通過將該變化區(qū)域與 預(yù)存模板庫匹配識別出該變化區(qū)域，在依次與手勢模板和人體輪廓模板匹配的過程中，獲 取對應(yīng)該變化區(qū)域的操作指令，手勢識別子模塊用于當(dāng)任意一個變化區(qū)域與所述手勢模板 匹配成功時，則識別該變化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令;人體識 別子模塊用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹 配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令;返回子模塊用于當(dāng)所 述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操作指令;執(zhí)行 模塊用于執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。在本方案中添加了根據(jù)人體輪廓模板指令 控制無人機返回的操作指令，其能夠依據(jù)人體輪廓控制無人機返航飛行，相對于現(xiàn)有技術(shù) 手段中的手勢識別，由于人體輪廓較大，因此在距離較遠(yuǎn)時具有更好的識別效果，使得無人 機在飛行距離較遠(yuǎn)而無法攝取到手勢時拍攝人體輪廓作為返回的方向標(biāo)，由此可防止無人 機丟失或者失控，保證手勢控制無人機時，無人機的飛行安全。
[0229] 結(jié)合第二方面，在第二方面的第一個實施例中，所述獲取模塊具體包括如下子模 塊，如圖13所不：
[0230] 背景確立子模塊121，用于建立靜態(tài)背景模型W確定背景帖。
[0231] 背景建立子模塊121用于建立靜態(tài)背景模型W確定背景帖。不難理解，在無人機懸 停時，攝像頭所拍攝的區(qū)域較穩(wěn)定，所能獲取的圖像中除了人體、手勢或其他動態(tài)物品能夠 改變外，其他物品基本保持不變，因此運些不變的靜態(tài)部分就可W作為背景來看待，例如將 一組圖像中的第一帖圖像作為背景，后序的所有圖像在此背景上變化的部分用于提取出第 一變化部分。本領(lǐng)域內(nèi)技術(shù)人員可W理解，由于背景隨時會發(fā)生變換，只采用將第一帖作為 背景帖的方法是不足夠的，需要更為可靠的數(shù)學(xué)模型，本發(fā)明對建立靜態(tài)背景模型的算法 不做限制，例如采用一種通過檢測圖像的直方圖來檢測背景模型是否發(fā)生變化的方法來切 換背景帖，其原理為，當(dāng)檢測到直方圖的分布發(fā)生巨大變化時，說明攝像頭所攝取的區(qū)域已 經(jīng)改變，立即做出更改背景帖的動作，W新的一組圖像中的第一帖作為背景帖。
[0232] 第一變化部分獲取子模塊122,用于根據(jù)背景減除算法將當(dāng)前帖與背景帖相減W 獲取當(dāng)前帖中的第一變化部分。
[0233] 第一變化部分獲取子模塊122用于在建立好靜態(tài)背景模型后，可W將后序圖像與 背景帖進(jìn)行相減W提取出當(dāng)前圖像與背景帖不同的部分作為第一變化部分。本領(lǐng)域內(nèi)技術(shù) 人員可W理解，圖像處理算法中的相減算法能夠?qū)煞鶊D像中相同的部分去除，從而只在 圖像中顯示不同的部分作為第一變化部分，其相減算法簡單、實時。
[0234] 第二變化部分獲取子模塊123,用于根據(jù)帖間差分算法將當(dāng)前帖與相鄰帖相減W 獲取當(dāng)前帖中的第二變化部分。
[0235] 第二變化部分獲取子模塊123用于獲取第二變化部分，帖間差分算法指的是將當(dāng) 前帖與相鄰帖進(jìn)行相減W獲取當(dāng)前帖中的變化部分作為第二變化部分。由于視頻是由一系 列連續(xù)獲取的圖像組成的，每一帖圖像與其相鄰圖像相似的部分很多，而相差的部分均來 源于圖像中的動態(tài)變化物體，例如人體、動物等。將當(dāng)前帖與相鄰帖相減后可W將圖像中的 動態(tài)輪廓提取出來，例如將當(dāng)前帖與其前一帖進(jìn)行相減得到第二變化部分;又例如采用連 續(xù)帖間差分算法，先將當(dāng)前帖與前一帖相減得到變化部分，然后將當(dāng)前帖與其后一帖進(jìn)行 相減再得到另一變化部分，將兩個變化部分重疊得出第二變化部分。
[0236] 重疊子模塊124,用于重疊第一變化部分和第二變化部分W獲取圖像中的變化區(qū) 域。
[0237] 重疊子模塊124用于將利用背景減除算法和帖間差分算法所得到的第一變化部分 和第二變化部分重疊得到變化區(qū)域。本領(lǐng)域內(nèi)技術(shù)人員可W理解，重疊算法也是相加算法， 利用相加算法后可W彌補圖像中的空桐和不連續(xù)的輪廓，從而獲得完整的清晰的動態(tài)輪 廓。本方法綜合背景減除算法和帖間差分算法兩種算法，得到的動態(tài)部分具有更為可靠的 特點，采用本算法具有簡單、實時、可靠、易實現(xiàn)的特點。在上述實施例中，在圖像中識別出 兩個變化部分，然后將兩個變化部分進(jìn)行重疊，從而獲取到更為清晰的人體輪廓，采用運種 方法能夠彌補人體輪廓的空桐，還能夠避免圖像中有過多的干擾噪聲。采用帖間差分算法 和背景減除算法相結(jié)合的算法，是一種簡單實時、可靠、準(zhǔn)確度高的算法。
[0238] 結(jié)合第二方面，在第二方面的第一個實施中，進(jìn)一步地，所述獲取模塊還包括如下 子模塊，如圖14所示：
[0239] 膚色區(qū)域分割子模塊125,用于利用亮度高斯模型算法在所述變化區(qū)域中分割出 膚色區(qū)域。
[0240] 本領(lǐng)域內(nèi)技術(shù)人員不難理解，人體皮膚的顏色、紋理、亮度都具有一定的特征，因 此可W依據(jù)手勢的運些特征來獲取膚色區(qū)域，然后再從膚色區(qū)域中提取出手勢的具體形 狀。在本發(fā)明的一個實施例中，首先計算手勢樣本膚色中每個像素點的亮度值，在RGB顏色 空間中建立亮度高斯模型。然后用帖圖像中每個像素點與亮度高斯模型作差值。差值在闊 值范圍內(nèi)默認(rèn)為膚色，得到初始的分割區(qū)域。本領(lǐng)域內(nèi)技術(shù)人員可W理解，不同光照條件、 不同背景、不同操作者運用亮度高斯模型所得到的闊值都不一樣，當(dāng)環(huán)境變化時，重新采樣 獲取數(shù)據(jù)，更新亮度高斯模型是本領(lǐng)域內(nèi)慣用手段，基于本思路所作的算法改進(jìn)應(yīng)屬于本 發(fā)明的保護范圍。
[0241] 手勢區(qū)域識別子模塊126,用于依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別 圖像中的手勢區(qū)域。
[0242] 手勢空間分布特征是對人手空間特征的抽象描述，人手是一個關(guān)節(jié)式的復(fù)雜變形 體，由手掌與5個相鄰的手指組成，每個手指由指段和關(guān)節(jié)組成，整體來看，手勢是關(guān)節(jié)相連 的結(jié)構(gòu)，隨著關(guān)節(jié)的運動，手的形狀不斷變化，手勢的不同姿態(tài)可W通過指段和關(guān)節(jié)的狀態(tài) 空間變化來描述。本發(fā)明的一個實施例中，從手勢的整體姿態(tài)和局部姿態(tài)兩個方面提取分 布特征，一方面，手勢的不同形態(tài)可W借助手勢像素點在空間的區(qū)域分布表現(xiàn)出來。本發(fā)明 的一個實施例中，膚色區(qū)域和背景區(qū)域交錯分布構(gòu)成了各種的手勢，同一個手勢的不同圖 像，膚色空間分布信息是相似的，依據(jù)運個特征提取手勢的密度分布特征，即提取手勢膚色 像素點在不同空間域的分布情況作為識別手勢的依據(jù)。另一方面，手勢的不同形態(tài)源于手 勢的局部姿態(tài)，手勢各個手指之間的連接關(guān)系，手指與手指之間的夾角是位于固定區(qū)間內(nèi) 的，根據(jù)運些夾角關(guān)系能夠識別手指。
[0243] 本發(fā)明的一個實施例中示例了一種手勢識別方法，首先提取人手的重屯、點，采用 如下公式：
[0244]
[0245]
[0246]
[0247] 其中i，j代表像素點的坐標(biāo)，R代表設(shè)置的闊值。
[024引然后，計算圖像中目標(biāo)像素點到重屯、的最大距離Dmax，然后W重屯、為圓屯、，WDmax為 半徑作手勢圖像的外接圓；并將外接圓按照每個子圖像區(qū)域所覆蓋的區(qū)間長度相等的原 貝1J;由內(nèi)而外劃分為若干個子圖像區(qū)域，那么最靠近圓屯、的中屯、圓所包含的區(qū)域主要為手 掌部分，而空間分布特征也由內(nèi)而外各自不一樣，由此特征識別手勢。
[0249] 人體輪廓區(qū)域識別子模塊127,用于依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域 中的人體輪廓區(qū)域。
[0250] 在所述變化區(qū)域中提取所述人體輪廓，根據(jù)人體形狀特征識別人體輪廓屬于特征 識別算法，特征識別算法是基于要識別的目標(biāo)的特征來識別目標(biāo)的，例如顏色、形狀、結(jié)構(gòu)、 高寬比等特征，W高寬比特征為例區(qū)分人體和動物，人體的高度和寬度的比例值是位于一 個范圍內(nèi)的，動物的高度和寬度比例位于另一個范圍內(nèi)，兩個比例范圍數(shù)據(jù)相差很大，因此 可W區(qū)分人體和動物。例如，本發(fā)明的一個實施例中，將高寬比位于1.5到3之間的目標(biāo)確定 為人體，將高寬比位于0.2到1之間的目標(biāo)確定為其他動物，然后提取所述變化區(qū)域的高寬 比特征，獲取其中高寬比位于1.5到3之間的變化區(qū)域，再根據(jù)其他特征判斷出人體輪廓。
[0251] 統(tǒng)計子模塊128,用于統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪 廓區(qū)域，W用于與預(yù)存模板庫中的模板匹配。
[0252] 在本實施例中，首先利用亮度高斯模型分割出膚色區(qū)域，然后再根據(jù)手勢的空間 相對密度特征和指節(jié)相對間距特征從膚色區(qū)域中分割出手勢，再從變化區(qū)域中識別出人體 輪廓，最后統(tǒng)計在運動圖像中收集到的所有手勢區(qū)域和人體輪廓區(qū)域，W用于與模板庫中 的模板匹配從而生成操作指令。本實施例收集手勢和人體輪廓兩種區(qū)域，能夠從一副圖像 中提取出多種變化區(qū)域，例如在本發(fā)明的一個實施例中在一副圖像中提取到3個人體輪廓、 1個手勢輪廓、1個小狗輪廓。
[0253] 結(jié)合第二方面，在第二方面的第二個實施例中，所述手勢控制操作指令為控制本 機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸停中的任意一項。
[0254] 手勢控制指令為控制無人機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、懸 停中的任意一項，例如，OK手勢代表直行，當(dāng)從圖像中分割出來的手勢圖像是OK手勢時，貝U 對應(yīng)生成直行的指令。
[0255] 結(jié)合第二方面，在本發(fā)明的第二方面的第=個實施例中，所述人體控制操作指令 為控制本機尋找手勢動作，所述尋找手勢動作具體包括如下單元，如圖15所示，
[0256] 人體輪廓確定單元1211，用于識別所述變化區(qū)域為人體輪廓。
[0257] 人體輪廓確定單元1211用于根據(jù)特征識別算法識別人體輪廓，確定所述變化區(qū)域 為人體輪廓是進(jìn)行尋找手勢的前提步驟。
[0258] 返航單元1212,用于W所述人體輪廓為終點返航飛行。
[0259] 返航單元1212用于當(dāng)無人機飛行較遠(yuǎn)時，一方面一般攝像頭分辨率較小，另一方 面限于處理能力，已經(jīng)無法分辨手勢信息，此時操作者無法用手勢控制無人機，無人機則處 于失控狀態(tài)，在本發(fā)明的實施例中，當(dāng)無人機識別到人體輪廓時，可W W人體輪廓為終點返 回繼續(xù)獲取手勢，能夠保證無人機在飛行較遠(yuǎn)時仍能夠返航，保證機體安全。
[0260] 捕捉人臉單元1213,用于捕捉人臉，進(jìn)行人臉識別。
[0261] 由于地面上的操作者可能有多個，為了尋找操作者，本發(fā)明采用了人臉識別算法 來確認(rèn)用戶身份，進(jìn)一步保證了無人機的飛行安全。
[0262] 捕捉手勢單元1214,用于當(dāng)識別人臉為預(yù)設(shè)操作者時，循環(huán)捕捉手勢。
[0263] 本實施例為本發(fā)明提供的一種無人機自保護的方法，當(dāng)無人機飛行距離較遠(yuǎn)時， 通過檢測操作者的人體輪廓可W確定無人機的返航方向，通過人臉識別確定操作者的身 份，當(dāng)確定了操作者的身份后，繼續(xù)捕捉手勢，從而可W保證在控制不到無人機時使無人機 自動返航，從而擴大了無人機的控制范圍，提升用戶體驗。
[0264] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，其特征在于，人體輪廓確定單 元具體包括如下子單元，如圖16所示：
[0265] 二值化子單元12111，用于將含所述變化區(qū)域的圖像進(jìn)行二值化處理，生成二值化 圖像。
[0266] 在本發(fā)明的一個實施例中，將提取出來的變化區(qū)域進(jìn)行二值化處理，圖像的二值 化處理是先預(yù)定一個闊值，將超過闊值范圍的像素點設(shè)置成一個值例如1，將低于該闊值的 像素點設(shè)置成另外一個區(qū)分度較高的值例如0。通過二值化處理，圖像中輪廓更為清晰，同 時由于二值化，圖像信息量變小，有利于加快處理速度，使系統(tǒng)運行流楊。
[0267] 連通處理子單元12112,用于對所述二值化圖像中的變化區(qū)域做圖像連通處理生 成連通區(qū)域。
[0268] 對二值化圖像進(jìn)行圖像連通處理，將圖像中的空桐部分補全，有利于識別出完整 的輪廓。
[0269] 幾何特征提取子單元12113,用于提取所述連通區(qū)域的幾何特征，當(dāng)所述幾何特征 滿足人體幾何特征時，識別所述區(qū)域為人體輪廓。
[0270] 在本實施例中，首先對所述變化區(qū)域做圖像二值化處理，二值化圖像相對于普通 圖像占用的儲存空間小，能夠加快圖像處理速度;然后對所述二值化圖像進(jìn)行圖像連通處 理生成連通區(qū)域;最后提取連通區(qū)域的幾何特征，當(dāng)滿足人體幾何特征時，識別所述變化區(qū) 域為人體輪廓。此法簡單、可靠，運算速度快，提升用戶體驗。人體輪廓識別算法是為了在圖 像中提取出人體輪廓的算法，包括背景減除算法、帖間差分算法、光流法、聚類算法、分類算 法、邊緣檢測、特征識別算法、模板匹配算法中的任意多項，本發(fā)明對所采用算法的順序和 個數(shù)不做限制，只要其能夠在圖像中提取出人體輪廓即可，例如在本發(fā)明中，可采用聚類算 法在圖像中識別各種形狀的類簇，從而根據(jù)人體常有形態(tài)特征識別出人體輪廓；又例如在 圖像中采用索貝爾邊緣檢測算子檢測出圖像中的邊緣，從而在檢測出來的邊緣中進(jìn)一步提 取出人體輪廓。本領(lǐng)域內(nèi)技術(shù)人員可W理解，本發(fā)明對所采用的算法個數(shù)和算法順序不做 限制，可W是任意算法的任意組合，只要其能夠提取出人體輪廓。本領(lǐng)域內(nèi)技術(shù)人員可W理 解，所采用的人體輪廓識別算法不僅僅為本發(fā)明所示，在不影響處理目的的基礎(chǔ)上，可W對 算法進(jìn)行改進(jìn)，所做改進(jìn)屬于本發(fā)明的保護范圍。
[0271] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，采用種子填充算法對所述變 化區(qū)域做圖像連通處理，如圖17所示，連通處理子單元12112具體包括：
[0272] 種子確定子單元12114,用于確定變化區(qū)域中的中間點作為種子。
[0273] -般地，剛提取出來的變化區(qū)域通常都有空桐，空桐的存在導(dǎo)致圖像不清晰，采集 的變化區(qū)域不完整，例如采集到的人體輪廓卻少胳膊部分。本發(fā)明的一個實施例提供了圖 像連通處理方法，其首先在圖像中間點找到一個種子點，如確定二值化圖像中被白色像素 點圍起來的黑色像素點的中央位置。本領(lǐng)域內(nèi)技術(shù)人員可W理解，不完全封閉的空桐也可 確定種子點，同時，在一個變化區(qū)域中可W確定多個種子點，本發(fā)明對所采用的種子點的算 法不做限制。
[0274] 填充子單元12115,用于W該種子為基點由內(nèi)向外填充直到遇到邊界時停止。
[0275] 在本實施例中，連通處理方法是采用種子填充方法，首先在變化區(qū)域的中間點尋 找種子，然后再W種子為基點從內(nèi)向外填充知道填到邊界。采用此種方法能夠填充圖像中 的密閉空間，從而減少圖像的空桐現(xiàn)象，保證圖像的完整性。
[0276] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，所述捕捉人臉單元具體包括 如下子單元，如圖18所示：
[0277] 定位人臉位置子單元12131，用于利用積分投影法定位人臉位置，生成人臉區(qū)域。
[0278] 積分投影法是根據(jù)圖像在某些方向的投影分布特征來進(jìn)行檢測的，主要有垂直灰 度投影和水平灰度投影，如下公式表示：
[0279] 1234 2 上面公式依次表示了水平投影和垂直投影的基本原理，x，y代表像素點的坐標(biāo)位 置。由于人臉的形狀是有一定規(guī)則的，根據(jù)在W上兩種投影可W分辨圖像中的人臉。 3 人臉特征提取子單元12132,用于在所述人臉區(qū)域內(nèi)提取人臉特征，根據(jù)該人臉特 征識別人臉。 4 人臉上的特征主要包括眼部特征、鼻子特征、嘴己特征等，由于不同人的人臉比 例、大小都不一致，所W能夠根據(jù)人臉特征識別人臉。本發(fā)明一個實施例中采用了提取四個 眼角點、鼻尖點和兩個嘴角點屯個特征點的方法區(qū)分不同的操作者。
[0284] 在本實施例中，首先利用積分投影法定位人臉位置，生成人臉區(qū)域，然后再根據(jù)人 臉特征識別出操作者的人臉。
[0285] 結(jié)合本發(fā)明的第二方面的第=個實施例，進(jìn)一步地，在無人機飛行之前還包括，機 體中存儲有預(yù)先錄入的操作者的人臉。
[0286] 為了保證無人機找到設(shè)定的操作者，所W在機體中預(yù)存有操作者的人臉，當(dāng)驗證 了操作者的人臉后，才開始尋找手勢。
[0287] 結(jié)合第二方面，在第二方面的第四個實施例中，在所述提取該動態(tài)圖像所含的每 一帖圖像中的多個變化區(qū)域之前還包括圖像預(yù)處理，所述圖像預(yù)處理算法包括直方圖均衡 算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項。
[0288] 在獲取動態(tài)圖像后，首先要對動態(tài)圖像進(jìn)行預(yù)處理，然后再從已經(jīng)預(yù)處理后的圖 像中識別人體輪廓，運是圖像識別算法中慣用的手段，采用此方法，可W將模糊的圖像、過 曝光圖像、過暗圖像等不規(guī)則圖像處理成統(tǒng)一的利于識別人體輪廓的圖像。圖像預(yù)處理能 夠突出圖像中的人體輪廓，從而更有利于提取出清晰的輪廓。圖像預(yù)處理是圖像識別算法 中的慣用手段，不但算法簡單不占用運算時間，而且具有良好的處理效果，能夠突出圖像中 的人體輪廓，從而更有利于提取出清晰的輪廓。本發(fā)明所述的圖像預(yù)處理算法包括直方圖 均衡算法、膨脹、腐蝕、銳化、模糊、灰度變換算法中的任意多項，本發(fā)明對圖像預(yù)處理所用 圖像預(yù)處理算法的先后順序W及所用算法個數(shù)不做限制。例如在本發(fā)明的一個實施例中， 所設(shè)及圖像預(yù)處理算法順序為灰度變換算法、銳化算法、直方圖均衡算法，首先對動態(tài)圖像 中的一帖圖像進(jìn)行灰度變換，將過暗、過曝光的圖像調(diào)整到適合的灰度;然后對處理后的圖 像進(jìn)行銳化，銳化的效果可W使圖像邊緣更為清晰，從而利于提取人體輪廓;最后對圖像進(jìn) 行直方圖均衡，保持圖像的均衡度。本領(lǐng)域內(nèi)技術(shù)人員可W理解，在預(yù)處理后的圖像中提取 人體輪廓的人體輪廓識別算法是經(jīng)過大量開發(fā)完成的。在不破壞本發(fā)明識別效果的基礎(chǔ) 上，本領(lǐng)域內(nèi)技術(shù)人員可W理解，所采用的圖像處理算法不僅僅為本發(fā)明所示，可W對本發(fā) 明實施中所提出的算法進(jìn)行改進(jìn)，所做改進(jìn)不應(yīng)脫離本發(fā)明的保護范圍。
[0289] 結(jié)合第二方面，在第二方面的第五個實施例，所述獲取動態(tài)圖像的圖像獲取裝置 通過云臺安裝在本體上，所述云臺帶動所述圖像獲取裝置W任意角度旋轉(zhuǎn)，W獲取所述變 化區(qū)域。
[0290] 在本實施例中，獲取動態(tài)圖像的圖像獲取裝置通過云臺安裝在本體上，通過控制 云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目的。云臺優(yōu)選為雙自由度云臺，在垂 直方向上旋轉(zhuǎn)范圍為180°，在水平方向上旋轉(zhuǎn)范圍為360°，本領(lǐng)域內(nèi)技術(shù)人員可W理解，運 樣的云臺能夠使攝像頭采集到全方位圖像。在本實施例中，獲取動態(tài)圖像的圖像獲取裝置 通過云臺安裝在本體上，通過控制云臺旋轉(zhuǎn)就可W達(dá)到控制攝像頭采集全方位圖像的目 的。
[0291] 結(jié)合第二方面的第五個實施例，進(jìn)一步地，根據(jù)所述變化區(qū)域在圖像中的位置變 化，調(diào)整云臺的旋轉(zhuǎn)角度，W控制所述變化區(qū)域在圖像中整體顯示。
[0292] 在本發(fā)明的一個實施例中，根據(jù)已經(jīng)檢測出來的人體在圖像中的位置，調(diào)節(jié)云臺， 從而調(diào)整攝像頭持續(xù)攝取完整的人體輪廓，在本實施例中，根據(jù)人體在圖像中的位置變化 靈活地調(diào)整云臺旋轉(zhuǎn)角度，從而跟蹤人體，在本實施例中，根據(jù)變化區(qū)域在圖像中的位置變 化靈活的調(diào)整云臺旋轉(zhuǎn)角度，從而跟蹤人體輪廓和手勢，使得變化區(qū)域在圖像中整體顯示， 從而達(dá)到準(zhǔn)確控制的效果。
[0293] 第=方面，本發(fā)明實施例中提供了一種多功能控制設(shè)備，包括：
[0294] 顯示器，用于顯示程序執(zhí)行的結(jié)果；
[02%]存儲器，用于存儲支持收發(fā)裝置執(zhí)行上述無人機的控制方法的程序；
[0296] 通信接口，用于上述無人機的控制裝置與其他設(shè)備或通信網(wǎng)絡(luò)通信；
[0297] -個或多個處理器，用于執(zhí)行所述存儲器中存儲的程序；
[0298] -個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被 配置為由所述一個或多個處理器執(zhí)行，所述一個或多個程序被配置為用于執(zhí)行無人機的控 制的任何方法。
[0299] 第四方面，本發(fā)明實施例提供了一種計算機存儲介質(zhì)，用于儲存為上述無人機的 控制裝置所用的計算機軟件指令，其包含用于執(zhí)行上述方面為無人機的控制裝置所設(shè)計的 程序。
[0300] 本發(fā)明利用安裝在無人機的攝像裝置攝取動態(tài)圖像，通過圖像識別算法識別圖像 中的變化區(qū)域，即手勢和人體輪廓，根據(jù)識別出的變化區(qū)域與預(yù)存模板庫的匹配結(jié)果判斷 自身應(yīng)該執(zhí)行的操作指令，相對于現(xiàn)有技術(shù)，本發(fā)明提供了一種依據(jù)識別人體輪廓控制無 人機并W人體輪廓為終點返回重新尋找手勢動作的方法，其在操控者與無人機距離較遠(yuǎn)的 情況下也能夠控制到無人機。本發(fā)明所提供的無人機控制方案新穎，準(zhǔn)確，可靠，實時，能夠 將飛行較遠(yuǎn)的無人機控制在可控范圍，從而提升用戶體驗。
[0301] 本發(fā)明的運些方面或其他方面在W下實施例的描述中會更加簡明易懂。
[0302] 本發(fā)明在獲取動態(tài)圖像后，從動態(tài)圖像中的每一帖圖像中提取出變化區(qū)域，再從 該變化區(qū)域中識別手勢和人體輪廓，將識別出來的變化區(qū)域與預(yù)存模板庫進(jìn)行匹配，并根 據(jù)匹配結(jié)果識別要執(zhí)行的操作指令，其能夠依據(jù)人體輪廓控制飛遠(yuǎn)的無人機，相對于現(xiàn)有 技術(shù)手段中的手勢識別，由于人體輪廓較大，因此在距離較遠(yuǎn)時具有更好的識別效果，同時 人體輪廓特點更為清晰，其在操控者與無人機距離較遠(yuǎn)的情況下也能夠控制到無人機。本 發(fā)明所提供的無人機控制方案新穎，準(zhǔn)確，可靠，實時，能夠?qū)w行較遠(yuǎn)的無人機控制在可 控范圍，從而提升用戶體驗。
[0303] 第=方面，本發(fā)明實施例還提供了一種多功能控制設(shè)備，包括：
[0304] 顯示器，用于顯示程序執(zhí)行的結(jié)果；
[0305] 存儲器，用于存儲支持收發(fā)裝置執(zhí)行上述無人機的控制方法的程序；
[0306] 通信接口，用于上述無人機的控制裝置與其他設(shè)備或通信網(wǎng)絡(luò)通信；
[0307] -個或多個處理器，用于執(zhí)行所述存儲器中存儲的程序；
[0308] -個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被 配置為由所述一個或多個處理器執(zhí)行，所述一個或多個程序被配置為用于執(zhí)行無人機的控 制的任何方法。
[0309] 本發(fā)明所述的多功能控制設(shè)備是指具有一定圖像處理能力的控制設(shè)備，如圖19所 示，為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分，具體技術(shù)細(xì)節(jié)未掲示的，請參照 本發(fā)明實施例方法部分。該控制設(shè)備可W為電腦、智能手表、智能手環(huán)，手機、PDA(Personal Digital Assistant,個人數(shù)字助理）、P0S(F*oint of Sales,銷售終端）、車載電腦、平板電 腦等，W電腦為例進(jìn)行說明：
[0310] 圖19示出的是與本發(fā)明實施例提供的電腦的部分結(jié)構(gòu)的框圖。參考圖19,電腦包 括:存儲器702、通信接口703、一個或多個處理器704、一個或多個應(yīng)用程序705、W及電源 706、WiFi發(fā)送與接收模塊707等部件。本領(lǐng)域技術(shù)人員可W理解，圖19中示出的電腦結(jié)構(gòu)并 不構(gòu)成對電腦的限定，可W包括比圖示更多或更少的部件，或者組合某些部件，或者不同的 部件布置。
[0311] 下面結(jié)合圖19對電腦的各個構(gòu)成部件進(jìn)行具體的介紹：
[0312] 顯示器701既可W是只包含顯示器的器件，可為觸摸屏和顯示屏合二為一的整體， 觸摸屏和顯示屏各占一層，本發(fā)明不限制所采用的顯示器類型；W觸摸屏和顯示屏合二為 一的整體為例，觸摸屏包括觸摸面板，可收集用戶在其上或附近的觸摸操作（比如用戶使用 手指、觸筆等任何適合的物體或附件在觸控面板上或在觸控面板附近的操作），并根據(jù)預(yù)先 設(shè)定的程式驅(qū)動相應(yīng)的連接裝置?？蛇x的，觸控面板可包括觸摸檢測裝置和觸摸控制器兩 個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，并檢測觸摸操作帶來的信號，將信號傳 送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點坐標(biāo)，再 送給處理器704,并能接收處理器704發(fā)來的命令并加 W執(zhí)行。此外，可W采用電阻式、電容 式、紅外線W及表面聲波等多種類型實現(xiàn)觸控面板。除了觸控面板，顯示屏可用于顯示由用 戶輸入的信息或提供給用戶的信息W及智能手表1002的各種菜單。顯示屏包括顯示面板， 可選的，可W采用液晶顯示器化iquid Oystal Display ,LCD)、有機發(fā)光二極管（(Organic Light-Emitting Diode ,OLED)等形式來配置顯示面板。進(jìn)一步的，觸控面板可覆蓋顯示面 板，當(dāng)觸控面板檢測到在其上或附近的觸摸操作后，傳送給處理器704W確定觸摸事件的類 型，隨后處理器704根據(jù)觸摸事件的類型在顯示面板上提供相應(yīng)的視覺輸出。雖然在圖19 中，觸控面板與顯示面板是作為兩個獨立的部件來實現(xiàn)智能手表1002的輸入和輸入功能， 但是在某些實施例中，可W將觸控面板與顯示面板集成而實現(xiàn)電腦的輸入和輸出功能。
[0313] 存儲器702可用于存儲軟件程序W及模塊，處理器704通過運行存儲在存儲器702 的軟件程序W及模塊，從而執(zhí)行電腦的各種功能應(yīng)用W及數(shù)據(jù)處理。存儲器702可主要包括 存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應(yīng)用程 序705(比如聲音播放功能、圖像播放功能等)等;存儲數(shù)據(jù)區(qū)可存儲根據(jù)智能手表1002的使 用所創(chuàng)建的數(shù)據(jù)（比如音頻數(shù)據(jù)、電話本等)等。此外，存儲器702可W包括高速隨機存取存 儲區(qū)702,還可W包括非易失性存儲區(qū)702,例如至少一個磁盤存儲器件、閃存器件、或其他 易失性固態(tài)存儲器件。
[0314] 通信接口703,用于上述空間結(jié)構(gòu)檢測裝置與其他設(shè)備或通信網(wǎng)絡(luò)通信。通信接口 703是處理器704與其他設(shè)備進(jìn)行通信的接口，用于處理器704與其他設(shè)備之間信息的傳輸， 同時通信接口也是處理器與云端服務(wù)器1000進(jìn)行通信的主要媒介。
[0315] 處理器704是電腦的控制中屯、，利用各種通信接口 703和線路連接整個電腦的各個 部分，通過運行或執(zhí)行存儲在存儲區(qū)702內(nèi)的軟件程序和/或模塊，W及調(diào)用存儲在存儲區(qū) 702內(nèi)的數(shù)據(jù)，執(zhí)行電腦的各種功能和處理數(shù)據(jù)，從而對電腦進(jìn)行整體監(jiān)控?？蛇x的，處理器 704可包括一個或多個處理單元;優(yōu)選的，處理器704可集成應(yīng)用處理器和調(diào)制解調(diào)處理器， 其中，應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序705等，調(diào)制解調(diào)處理器主要處 理無線通信?？蒞理解的是，上述調(diào)制解調(diào)處理器也可W不集成到處理器704中。
[0316] -個或多個應(yīng)用程序705,優(yōu)選地，運些應(yīng)用程序705都被存儲在所述存儲區(qū)702中 并被配置為由所述一個或多個處理器704執(zhí)行，所述一個或多個應(yīng)用程序705被配置為用于 執(zhí)行所述空間結(jié)構(gòu)檢測方法的任何實施例。
[0317] 電腦還包括給各個部件供電的電源706(比如電池），優(yōu)選的，電源706可W通過電 源管理系統(tǒng)與處理器704邏輯相連，從而通過電源706管理系統(tǒng)實現(xiàn)管理充電、放電、W及功 耗管理等功能。
[0318] WiFi屬于短距離無線傳輸技術(shù)，電腦通過WiFi模塊707可W幫助用戶收發(fā)電子郵 件、瀏覽網(wǎng)頁和訪問流式媒體等，它為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。
[0319] 盡管未示出，電腦還可W包括攝像頭、藍(lán)牙模塊等，在此不再寶述。
[0320] 在本發(fā)明實施例中，該多功能控制設(shè)備所包括的處理器704還具有W下功能：
[0321] 獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一帖圖像中的多個變化區(qū)域；
[0322] 將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板匹配，根據(jù) 匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，具體包括如下步驟，
[0323] 當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手勢，并 生成與該手勢匹配的手勢控制操作指令；
[0324] 當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹配成 功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令；
[0325] 當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操 作指令；
[0326] 執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。
[0327] 本發(fā)明實施例中還提供了一種計算機存儲介質(zhì)，用于儲存為上述無人機自主避障 裝置所用的計算機軟件指令，其包含用于執(zhí)行上述第二方面為無人機自主避障裝置所設(shè)計 的程序。
[0328] 所屬領(lǐng)域的技術(shù)人員可W清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)， 裝置和單元的具體工作過程，可W參考前述方法實施例中的對應(yīng)過程，在此不再寶述。
[0329] 在本申請所提供的幾個實施例中，應(yīng)該理解到，所掲露的系統(tǒng)，裝置和方法，可W 通過其它的方式實現(xiàn)。例如，W上所描述的裝置實施例僅僅是示意性的，例如，所述單元的 劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可W有另外的劃分方式，例如多個單元或組件 可W結(jié)合或者可W集成到另一個系統(tǒng)，或一些特征可W忽略，或不執(zhí)行。另一點，所顯示或 討論的相互之間的禪合或直接禪合或通信連接可W是通過一些接口，裝置或單元的間接禪 合或通信連接，可W是電性，機械或其它的形式。
[0330] 所述作為分離部件說明的單元可W是或者也可W不是物理上分開的，作為單元顯 示的部件可W是或者也可W不是物理單元，即可W位于一個地方，或者也可W分布到多個 網(wǎng)絡(luò)單元上?？蒞根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目 的。
[0331] 另外，在本發(fā)明各個實施例中的各功能單元可W集成在一個處理單元中，也可W 是各個單元單獨物理存在，也可W兩個或兩個W上單元集成在一個單元中。上述集成的單 元既可W采用硬件的形式實現(xiàn)，也可W采用軟件功能單元的形式實現(xiàn)。
[0332] 本領(lǐng)域普通技術(shù)人員可W理解上述實施例的各種方法中的全部或部分步驟是可 W通過程序來指令相關(guān)的硬件來完成，該程序可W存儲于一計算機可讀存儲介質(zhì)中，存儲 介質(zhì)可W包括：只讀存儲器（ROM, Read Only Memo巧）、隨機存取存儲器（RAM, Random Access Memory)、磁盤或光盤等。
[0333] W上對本發(fā)明所提供的一種多功能控制設(shè)備進(jìn)行了詳細(xì)介紹，對于本領(lǐng)域的一般 技術(shù)人員，依據(jù)本發(fā)明實施例的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處，綜上 所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【主權(quán)項】
1. 一種無人機的控制方法，其特征在于，包括如下步驟： 獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一幀圖像中的多個變化區(qū)域； 將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板匹配，根據(jù)匹配 結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，具體包括如下步驟， 當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變化區(qū)域為手勢，并生成 與該手勢匹配的手勢控制操作指令； 當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人體輪廓模板匹配成功 時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令； 當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時，則生成返回操作指 令； 執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。2. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，所述提取該動態(tài)圖像所含的每一幀圖 像中的多個變化區(qū)域具體包括如下步驟： 建立靜態(tài)背景模型以確定背景幀； 根據(jù)背景減除算法將當(dāng)前幀與背景幀相減以獲取當(dāng)前幀中的第一變化部分； 根據(jù)幀間差分算法將當(dāng)前幀與相鄰幀相減以獲取當(dāng)前幀中的第二變化部分； 重疊第一變化部分和第二變化部分以獲取圖像中的變化區(qū)域。3. 根據(jù)權(quán)利要求2所述的控制方法，其特征在于，所述提取該動態(tài)圖像所含的每一幀圖 像中的多個變化區(qū)域還包括后序步驟： 利用亮度高斯模型算法在所述變化區(qū)域中分割出膚色區(qū)域； 依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別圖像中的手勢區(qū)域； 依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域中的人體輪廓區(qū)域； 統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪廓區(qū)域，以用于與預(yù)存模板 庫中的模板匹配。4. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，包括： 所述手勢控制操作指令為控制本機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、 懸停中的任意一項。5. 根據(jù)權(quán)利要求1所述的控制方法，其特征在于，包括： 所述人體控制操作指令為控制本機尋找手勢動作，所述尋找手勢動作具體包括如下步 驟， 識別所述變化區(qū)域為人體輪廓； 以所述人體輪廓為終點返航飛行； 捕捉人臉，進(jìn)行人臉識別； 當(dāng)識別人臉為預(yù)設(shè)操作者時，循環(huán)捕捉手勢。6. -種無人機的控制裝置，其特征在于，包括： 獲取模塊，用于獲取動態(tài)圖像，提取該動態(tài)圖像所含的每一幀圖像中的多個變化區(qū)域； 識別模塊，用于將所述變化區(qū)域依次與預(yù)存模板庫中的預(yù)存手勢模板和人體輪廓模板 匹配，根據(jù)匹配結(jié)果識別該變化區(qū)域，獲取相應(yīng)的操作指令，所述識別模塊具體包括， 手勢識別子模塊，用于當(dāng)任意一個變化區(qū)域與所述手勢模板匹配成功時，則識別該變 化區(qū)域為手勢，并生成與該手勢匹配的手勢控制操作指令； 人體識別子模塊，用于當(dāng)任何變化區(qū)域與所述手勢模板都匹配不成功時，且與所述人 體輪廓模板匹配成功時，則識別該變化區(qū)域為人體輪廓，并生成人體控制操作指令； 返回子模塊，用于當(dāng)所述變化區(qū)域與所述手勢模板和人體輪廓模板均匹配不成功時， 則生成返回操作指令； 執(zhí)行模塊，用于執(zhí)行對應(yīng)于所述變化區(qū)域的操作指令。7. 根據(jù)權(quán)利要求6所述的控制裝置，其特征在于，所述獲取模塊具體包括如下子模塊： 背景確立子模塊，用于建立靜態(tài)背景模型以確定背景幀； 第一變化部分獲取子模塊，用于根據(jù)背景減除算法將當(dāng)前幀與背景幀相減以獲取當(dāng)前 幀中的第一變化部分； 第二變化部分獲取子模塊，用于根據(jù)幀間差分算法將當(dāng)前幀與相鄰幀相減以獲取當(dāng)前 幀中的第二變化部分； 重疊子模塊，用于重疊第一變化部分和第二變化部分以獲取圖像中的變化區(qū)域。8. 根據(jù)權(quán)利要求7所述的控制裝置，其特征在于，所述獲取模塊還包括如下子模塊： 膚色區(qū)域分割子模塊，用于利用亮度高斯模型算法在所述變化區(qū)域中分割出膚色區(qū) 域； 手勢區(qū)域識別子模塊，用于依據(jù)手勢空間分布特征和指節(jié)相對間距特征識別圖像中的 手勢區(qū)域； 人體輪廓區(qū)域識別子模塊，用于依據(jù)人體輪廓的形狀特征識別所述變化區(qū)域中的人體 輪廓區(qū)域； 統(tǒng)計子模塊，用于統(tǒng)計從變化區(qū)域識別算法中獲得的所有手勢區(qū)域和人體輪廓區(qū)域， 以用于與預(yù)存模板庫中的模板匹配。9. 根據(jù)權(quán)利要求6所述的控制裝置，其特征在于，包括： 所述手勢控制操作指令為控制本機的飛行動作，所述飛行動作包括翻轉(zhuǎn)、直行、轉(zhuǎn)彎、 懸停中的任意一項。10. -種多功能控制設(shè)備，其特征在于，包括： 顯示器，用于顯示程序執(zhí)行的結(jié)果； 存儲器，用于存儲支持收發(fā)裝置執(zhí)行上述無人機的控制方法的程序； 通信接口，用于上述無人機的控制裝置與其他設(shè)備或通信網(wǎng)絡(luò)通信； 一個或多個處理器，用于執(zhí)行所述存儲器中存儲的程序； 一個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被配置 為由所述一個或多個處理器執(zhí)行，所述一個或多個程序被配置為用于執(zhí)行根據(jù)權(quán)利要求1 至5所述的任何方法。
【文檔編號】G05D1/08GK106020227SQ201610665456
【公開日】2016年10月12日
【申請日】2016年8月12日
【發(fā)明人】任毫亮
【申請人】北京奇虎科技有限公司, 奇智軟件（北京）有限公司