一種基于knn和像素比梯度特征的靜態(tài)手語識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于靜態(tài)手語識別技術(shù)領(lǐng)域，特別設(shè)及一種圖像分割、定位、特征提取和模 式識別的靜態(tài)手語識別方法。
【背景技術(shù)】
[0002] 據(jù)了解，我國聽力、語言殘障人±超過2000萬人，而且每年還在W2萬~3萬名的 速度遞增。對手語一一該類人群最重要的交際手段一一進行研究，不僅有助于改善和提高 該些殘疾人±的生活、學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)，同時也可W應(yīng)用于計算機 輔助啞語教學(xué)、電視節(jié)目雙語播放、虛擬人研究、電影制作中的特技處理、動畫制作、醫(yī)療研 究、游戲娛樂等諸多方面。
[0003] 計算機視覺技術(shù)的發(fā)展設(shè)及到多學(xué)科領(lǐng)域，內(nèi)容相當(dāng)廣泛，與光學(xué)、信號處理、人 工智能、模式識別、圖像處理及計算機技術(shù)等都相關(guān)。隨著信號處理理論、計算理論、視覺理 論、等相關(guān)技術(shù)的發(fā)展，計算機視覺也得到了快速的發(fā)展，并W其非接觸性、自動化、可視 化、實時性和智能性等特點廣泛地應(yīng)用于工業(yè)生產(chǎn)、醫(yī)療衛(wèi)生、航空航天、科學(xué)研究及國防 建設(shè)等各個領(lǐng)域，受到很多國家和行業(yè)的高度重視。
[0004] 根據(jù)手勢輸入途徑的差異，可將手語識別分為基于數(shù)據(jù)手套和基于計算機視覺 兩大類。在基于數(shù)據(jù)手套的手語識別中，人體做出各種手勢動作時，數(shù)據(jù)手套能夠通過位 置跟蹤器較準(zhǔn)確地將手部各關(guān)節(jié)部位的位置信息傳遞給計算機W作后續(xù)處理。該種實現(xiàn)方 式獲取到的數(shù)據(jù)更精確，適合大量詞匯的識別，識別率也較高。但是，該種方法要求用戶 佩戴厚重的數(shù)抓手套等數(shù)據(jù)收集工具，便捷性較差，而且該些工具價值昂貴。在基于計算 機視覺的手語識別中，使用數(shù)字?jǐn)z像設(shè)備獲取手勢圖像，利用計算機視覺和數(shù)字圖像處理 相關(guān)技術(shù)對圖像進行處理，得到手勢特征，最后利用模式識別的技術(shù)對手語進行識別。該 方法能使人機交互自然便捷，同時只使用到數(shù)字?jǐn)z像設(shè)備等一些廉價設(shè)備，經(jīng)濟投入低； 但是，受限于當(dāng)前計算機視覺和圖形學(xué)的發(fā)展現(xiàn)狀，通過數(shù)字?jǐn)z像設(shè)備得到的直觀數(shù)據(jù) 還不夠精確，導(dǎo)致后續(xù)特征提取和檢測階段魯椿性無保證。因而較少應(yīng)用于大量詞匯的識 另IJ。但基于計算機視覺的手語識別將是手語識別技術(shù)發(fā)展的趨勢，隨著計算機技術(shù)W及成 像技術(shù)的發(fā)展，伴隨著模式識別技術(shù)的成熟，基于計算機視覺的手語識別途徑將能夠克服 魯椿性差W及檢測跟蹤效率低的問題，實現(xiàn)高度人工性智能的視覺的手語識別。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點，提供一種識別率高、魯椿性強、廉價 便捷的基于腳W和像素比梯度特征的靜態(tài)手語識別方法。該方法將攝像設(shè)備拍攝的靜態(tài)手 語圖像輸入計算機，對圖像進行處理后可識別出靜態(tài)手語并轉(zhuǎn)化為文本輸出。
[0006] 本發(fā)明的目的是通過W下技術(shù)方案來實現(xiàn)的。
[0007] 為改善手語系統(tǒng)的識別效果，本發(fā)明提出一種基于腳W和像素比梯度特征的靜態(tài) 手語識別方法。方法的前提是做手語者戴上藍(lán)色手套，該方法包含W下步驟：步驟1;拍攝 彩色圖像并輸入計算機；步驟2;基于圖像的顏色特征對圖像進行二值化；步驟3;基于圖 像的形狀特征定位手的位置，并分割出來；步驟4;對分割后的圖像進行歸一化；步驟5;提 取圖像的像素比和梯度特征作為圖像的特征向量；步驟6;計算輸入的特征向量與標(biāo)準(zhǔn)手 語圖像特征庫的加權(quán)歐氏距離；步驟7 ;基于腳W算法確定最佳匹配結(jié)果；步驟8 ;將識別結(jié) 果輸出。
[000引進一步地，所述步驟2包含W下子步驟；步驟21:計算彩色圖像每個像素點的RGB值；步驟22 ;通過像素點的RGB值判斷其顏色是否為藍(lán)色；步驟23 ;將步驟22中判斷為藍(lán) 色的像素點的RGB都賦為255,其他像素點的RGB值賦為0,得到二值化圖像。
[0009] 進一步地，所述步驟3包含W下步驟：
[0010] 步驟31 ;對二值化圖像進行膨脹；
[0011] 步驟32 ;遍歷圖像中的所有輪廓，用一個最小矩形將輪廓區(qū)域框出；
[0012] 步驟33 ;計算所有矩形區(qū)域的長、寬和面積，判斷該區(qū)域是否為手部區(qū)域，判斷準(zhǔn) 則為：
[001引包圍輪廓的所述最小矩形的長度length滿足；len_min<length<len_max，
[0014] 包圍輪廓的最小矩形的寬度hei曲t滿足；hgh_min<hei曲t<hgh_max，滿足該準(zhǔn)則 的判定為手部區(qū)域；
[0015] 步驟34;將判定為手區(qū)域的輪廓分割出來。
[0016] 進一步優(yōu)化地，len_min= 150,len_max= 250 ;hgh_min= 100,hgh_max= 200。 所述步驟4中的圖像歸一化將圖像統(tǒng)一成20*36大小。
[0017] 進一步地，所述步驟5包含W下步驟：
[001引步驟S51 ;將分割后的歸一化圖像按4*4均分為16個小矩形，，即每個小矩形的尺 寸為5蝴；
[0019] 步驟S52 ;計算每個小矩形中的像素點個數(shù)，白色像素點的個數(shù)存入數(shù)組an,總像 素點的個數(shù)存入數(shù)組bn;
[0020] 步驟S53 ;計算分割出所述16個小矩形的6條均分線上的像素點個數(shù)，白色像素 點的個數(shù)存入數(shù)組an,總像素點的個數(shù)存入數(shù)組bn;
[002U 步驟S54;將an/bn作為圖像的像素比和梯度特征向量。
[0022] 進一步地，所述步驟6計算特征向量與標(biāo)準(zhǔn)手語圖像特征庫的歐氏距離時，要考 慮加大梯度特征的權(quán)重，假設(shè)輸入的手語圖像的特征向量為；=的，心a,，...手語 圖像特征庫的某個模板的特征向量為完=輯，&2，如..4，..點22)，則它們之間的加權(quán)歐氏距離 計算公式如下：
[0023]
【主權(quán)項】
1. 一種基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在于，包括以下步驟： 步驟1 :拍攝彩色圖像并輸入計算機； 步驟2 :基于圖像的顏色特征對圖像進行二值化； 步驟3 :基于圖像的形狀特征定位手的位置，并分割出來； 步驟4 :對分割后的圖像進行歸一化； 步驟5 :提取圖像的像素比和梯度特征作為圖像的特征向量； 步驟6 :計算輸入的特征向量與標(biāo)準(zhǔn)手語圖像特征庫的歐氏距離； 步驟7 :基于KNN算法確定最佳匹配結(jié)果； 步驟8:將識別結(jié)果輸出。
2. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在于， 所述步驟3包含以下步驟： 步驟31 :對二值化圖像進行膨脹； 步驟32 :遍歷圖像中的所有輪廓，用一個最小矩形將輪廓區(qū)域框出； 步驟33 :計算所有矩形區(qū)域的長、寬和面積，判斷該區(qū)域是否為手部區(qū)域，判斷準(zhǔn)則 為： 包圍輪廓的所述最小矩形的長度length滿足：len_min〈length〈len_max， 包圍輪廓的最小矩形的寬度height滿足：1^11_1]1；[11〈11618111:〈1^11_1]^1，滿足該準(zhǔn)則的判 定為手部區(qū)域； 步驟34 :將判定為手區(qū)域的輪廓分割出來。
3. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在 于： len-min = 150, len-max = 250 ;hgh-min = 100, hgh-max = 200〇
4. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在于： 所述步驟4中的圖像歸一化將圖像統(tǒng)一成20*36大小。
5. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在于， 所述步驟5包含以下步驟： 步驟S51 :將分割后的歸一化圖像按4*4均分為16個小矩形，即每個小矩形的尺寸為 5*9 ; 步驟S52 :計算每個小矩形中的像素點個數(shù)，白色像素點的個數(shù)存入數(shù)組an，總像素點 的個數(shù)存入數(shù)組bn; 步驟S53 :計算分割出所述16個小矩形的6條均分線上的像素點個數(shù)，白色像素點的 個數(shù)存入數(shù)組an，總像素點的個數(shù)存入數(shù)組bn ; 步驟S54 :將an/bn作為圖像的像素比和梯度特征向量。
6. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語識別方法，其特征在于， 所述步驟6計算特征向量與標(biāo)準(zhǔn)手語圖像特征庫的歐氏距離時，要考慮加大梯度特征的權(quán) 重，假設(shè)輸入的手語圖像的特征向量為《 = 4,...，標(biāo)準(zhǔn)手語圖像特征庫的模 板的特征向量為5 =汍辦次，..七，..力22),則它們之間的加權(quán)歐氏距離計算公式如下：
【專利摘要】本發(fā)明公開一種基于KNN和像素比梯度特征的靜態(tài)手語識別方法。該方法包括：步驟1：拍攝彩色圖像；步驟2：基于圖像的顏色特征對圖像進行二值化；步驟3：基于圖像的形狀特征定位手的位置，并分割出來；步驟4：對分割后的圖像進行歸一化；步驟5：提取圖像的像素比和梯度特征作為圖像的特征向量；步驟6：計算輸入的特征向量與標(biāo)準(zhǔn)手語圖像特征庫的歐氏距離；步驟7：基于KNN算法確定最佳匹配結(jié)果；步驟8：將識別結(jié)果輸出。本發(fā)明結(jié)合了圖像顏色特征、形狀特征和像素比梯度特征，并且利用了KNN算法來進行特征匹配，提高了識別率和對不同環(huán)境的適應(yīng)性，而且算法相對較簡單，復(fù)雜度低，系統(tǒng)運行速度快，設(shè)備成本低廉。
【IPC分類】G06K9-00
【公開號】CN104866826
【申請?zhí)枴緾N201510254132
【發(fā)明人】李兆海, 徐向民, 青春美, 倪浩淼, 黃愛發(fā)
【申請人】華南理工大學(xué)
【公開日】2015年8月26日
【申請日】2015年5月17日