人臉部位識(shí)別的方法和裝置的制造方法
【專利摘要】本發(fā)明提供的一種人臉部位識(shí)別的方法和裝置，所述方法包括：獲得深度圖像；提取所述深度圖像中的圖像像素特征；將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別分類；判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已有的人臉部位標(biāo)簽是否匹配；若所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo)簽匹配，則輸出與該像素特征對應(yīng)的標(biāo)簽。本發(fā)明采用提取深度圖像像素特征的方法保證了特征提取的精確性，并采用深度學(xué)習(xí)模型識(shí)別圖像像素特征，可以一次性對多個(gè)人臉部位進(jìn)行識(shí)別分類。
【專利說明】
人臉部位識(shí)別的方法和裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域，具體而言，涉及一種人臉部位識(shí)別的方法和裝置。
【背景技術(shù)】
[0002] 人臉部位識(shí)別是人臉識(shí)別分析技術(shù)的一個(gè)重要組成部分，它可廣泛應(yīng)用于人臉檢 測和定位、人臉識(shí)別、姿態(tài)識(shí)別、3D人臉重構(gòu)、臉部動(dòng)畫、人臉肖像生成、頭部追蹤和殘疾人 實(shí)現(xiàn)免持鼠標(biāo)的人機(jī)交互等領(lǐng)域。處理人臉圖像，進(jìn)行人臉部位識(shí)別成為本領(lǐng)域研究的熱 點(diǎn)。
[0003] 傳統(tǒng)的人臉部位識(shí)別方案主要針對二維可見光圖像，二維可見光圖像容易受到圖 像分辨率、光照、拍攝角度等因素的影響，導(dǎo)致識(shí)別效果不佳，識(shí)別精準(zhǔn)度低。并且，傳統(tǒng)人 臉部位識(shí)別方法僅僅針對一個(gè)部位人臉部位進(jìn)行識(shí)別，在進(jìn)行表情識(shí)別、臉部重建、臉部姿 態(tài)識(shí)別時(shí)不能一次性有效獲得多個(gè)人臉部位，無法有效滿足于實(shí)時(shí)分析的需求。如何建立 一套不易受拍攝環(huán)境影響且能一次性對多個(gè)人臉部位同時(shí)進(jìn)行識(shí)別方法成為本領(lǐng)域技術(shù) 人員亟待解決的問題。

【發(fā)明內(nèi)容】

[0004] 為了克服現(xiàn)有技術(shù)中的上述不足，本發(fā)明所要解決的技術(shù)問題是提供一種人臉部 位識(shí)別的方法和裝置，其能夠通過人臉深度學(xué)習(xí)模型識(shí)別深度圖像的圖像像素特征，準(zhǔn)確 地同時(shí)完成多個(gè)人臉部位的識(shí)別。
[0005] 就方法而言，本發(fā)明提供一種人臉部位識(shí)別的方法，所述方法包括：
[0006] 獲得深度圖像；
[0007] 提取所述深度圖像中的圖像像素特征；
[0008] 將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別分類；
[0009] 判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已有的人臉部位標(biāo)簽 是否匹配；
[0010] 若所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo)簽匹配，則輸出 與該圖像像素特征對應(yīng)的標(biāo)簽。
[0011] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述圖像像素特征為像素點(diǎn)鄰域內(nèi)其 他像素點(diǎn)深度值之差的集合，所述提取所述深度圖像中的圖像像素特征的步驟包括：
[0012] 由選定像素點(diǎn)的深度值及一空間不變系數(shù)得到該選定像素點(diǎn)在真實(shí)空間的空間 分辨率；
[0013] 由該選定像素點(diǎn)的所述空間分辨率、預(yù)設(shè)真實(shí)空間偏移量及預(yù)設(shè)多個(gè)偏移角中任 意的兩個(gè)不同的偏移角得到多個(gè)偏移向量對，其中每個(gè)所述偏移向量對包含兩個(gè)偏移向 量；
[0014] 由所述兩個(gè)偏移向量得到該選定像素點(diǎn)的兩個(gè)偏移點(diǎn)，由一深度差值函數(shù)獲得兩 個(gè)偏移點(diǎn)之間的深度值之差；
[0015] 將多個(gè)所述深度值之差的集合作為該選定像素點(diǎn)的特征向量，以此表征該選定像 素點(diǎn)的圖像像素特征。
[0016] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，在所述由一深度差值函數(shù)獲得兩個(gè)偏 移點(diǎn)之間的深度值之差的步驟中，
[0017] 當(dāng)所述兩個(gè)偏移點(diǎn)相對于所述選定像素點(diǎn)的深度值之差均小于等于一預(yù)設(shè)深度 閾值時(shí)，所述深度差值函數(shù)等于所述兩個(gè)偏移點(diǎn)之間的深度值的差，
[0018] 當(dāng)所述兩個(gè)偏移點(diǎn)中的至少一個(gè)相對于所述選定像素點(diǎn)的深度值之差大于所述 深度閾值時(shí)，所述深度差值函數(shù)等于一設(shè)定值，所述設(shè)定值大于所述深度圖像上所有像素 點(diǎn)的深度值。
[0019] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述人臉深度學(xué)習(xí)模型包括深度置信 網(wǎng)絡(luò)模型，所述深度置信網(wǎng)絡(luò)模型將所述圖像像素特征作為其底層的輸入，在網(wǎng)絡(luò)最頂層 進(jìn)行回歸分類，并匹配相應(yīng)的標(biāo)簽，其中，所述標(biāo)簽包括各人臉部位標(biāo)簽。
[0020] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述人臉部位識(shí)別的方法還包括預(yù)先 對所述人臉深度學(xué)習(xí)模型進(jìn)行深度學(xué)習(xí)訓(xùn)練，所述深度學(xué)習(xí)訓(xùn)練的步驟包括，
[0021] 獲得深度圖像庫中的訓(xùn)練圖像；
[0022] 提取所述訓(xùn)練圖像的圖像像素特征；
[0023] 利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模型，并對訓(xùn)練完成的 分類賦予相應(yīng)標(biāo)簽；
[0024] 所述人臉深度學(xué)習(xí)模型根據(jù)所述標(biāo)簽對其參數(shù)進(jìn)行調(diào)整。
[0025] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述人臉部位識(shí)別的方法還包括：
[0026] 將識(shí)別完成后的帶標(biāo)簽的圖像像素特征及圖像像素特征的正確識(shí)別率輸入到所 述人臉深度學(xué)習(xí)模型；所述人臉深度學(xué)習(xí)模型以此進(jìn)行深度學(xué)習(xí)訓(xùn)練，并對其參數(shù)進(jìn)行調(diào) 整。
[0027] 就裝置而言，本發(fā)明提供一種人臉部位識(shí)別的裝置，所述人臉部位識(shí)別的裝置包 括：
[0028]第一獲取模塊，用于獲得深度圖像；
[0029]第一特征提取模塊，用于提取所述深度圖像中的圖像像素特征；
[0030]人臉深度學(xué)習(xí)模塊，用于將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別 分類；
[0031] 判斷模塊，用于判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已有的 人臉部位標(biāo)簽是否匹配；
[0032] 輸出模塊，用于當(dāng)所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo) 簽匹配時(shí)，輸出與該像素特征對應(yīng)的標(biāo)簽。
[0033] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述人臉深度學(xué)習(xí)模型用于將所述圖 像像素特征作為其底部輸入層的輸入，在網(wǎng)絡(luò)最頂層進(jìn)行回歸分類，并匹配相應(yīng)的標(biāo)簽，其 中，所述標(biāo)簽包括人臉各部位標(biāo)簽及非人臉部位標(biāo)簽。
[0034] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，所述裝置還包括：
[0035]第二獲取模塊，用于獲得深度圖像庫中的訓(xùn)練圖像；
[0036]第二特征提取模塊，用于提取所述訓(xùn)練圖像的圖像像素特征；
[0037] 訓(xùn)練模塊，用于利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模型， 并對訓(xùn)練完成的分類賦予相應(yīng)標(biāo)簽；
[0038] 參數(shù)調(diào)整模塊，用于根據(jù)所述標(biāo)簽對人臉深度學(xué)習(xí)模型的參數(shù)進(jìn)行調(diào)整。
[0039] 進(jìn)一步地，在所述人臉部位識(shí)別的方法中，，所述參數(shù)調(diào)整模塊還用于根據(jù)識(shí)別完 成后帶標(biāo)簽的圖像像素特征及圖像像素特征的正確識(shí)別率對所述人臉深度學(xué)習(xí)模型的參 數(shù)進(jìn)行調(diào)整。
[0040] 相對于現(xiàn)有技術(shù)而言，本發(fā)明具有以下有益效果：
[0041] 本發(fā)明提供的人臉部位識(shí)別的方法和裝置，通過采用人臉深度學(xué)習(xí)模型對提取的 深度圖像像素特征進(jìn)行檢測識(shí)別，一方面以像素深度差值作為圖像像素特征，不易受到光 線、色彩等環(huán)境因素影響，且特征提取過程簡單，有較好的唯一性和空間不變性。另一方面， 采用人臉深度學(xué)習(xí)模型同時(shí)完成檢測與識(shí)別，可同時(shí)對多個(gè)人臉部位進(jìn)行識(shí)別，提高了檢 測識(shí)別效率，擁有更好的實(shí)時(shí)性。且深度學(xué)習(xí)算法有較強(qiáng)的分類和學(xué)習(xí)能力，以及較強(qiáng)的自 適應(yīng)性，能有效準(zhǔn)確的檢測識(shí)別到人臉及相應(yīng)部位。
【附圖說明】
[0042] 為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例中所需要使用的附 圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對 范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這 些附圖獲得其他相關(guān)的附圖。
[0043] 圖1為本發(fā)明實(shí)施例提供的人臉部位識(shí)別的方法的流程示意圖；
[0044] 圖2為本發(fā)明實(shí)施例提供的深度圖像獲得方法的示意圖；
[0045] 圖3為本發(fā)明實(shí)施例提供的提取圖像像素特征流程的示意圖；
[0046] 圖4為本發(fā)明實(shí)施例提供的像素空間分辨率獲得方法的示意圖；
[0047] 圖5為本發(fā)明實(shí)施例提供的訓(xùn)練人臉深度學(xué)習(xí)模型流程的示意圖；
[0048] 圖6為本發(fā)明實(shí)施例提供的深度置信網(wǎng)絡(luò)模型的示意圖；
[0049]圖7為本發(fā)明實(shí)施例提供的人臉部位識(shí)別的裝置的一種結(jié)構(gòu)框圖；
[0050]圖8為本發(fā)明實(shí)施例提供的人臉部位識(shí)別的裝置的另一種結(jié)構(gòu)框圖。
[0051]上述附圖中，各附圖標(biāo)記對應(yīng)的名稱為：

【具體實(shí)施方式】
[0053]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施 例的組件可以以各種不同的配置來布置和設(shè)計(jì)。
[0054]因此，以下對在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù) 的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通 技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范 圍。
[0055]需要說明的是，在本文中，諸如"第一"和"第二"等之類的關(guān)系術(shù)語僅僅用來將一 個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之 間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語"包括"、"包含"或者其任何其他變體意在 涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些 要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè) 備所固有的要素。在沒有更多限制的情況下，由語句"包括一個(gè)……"限定的要素，并不排除 在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0056] 應(yīng)注意到:相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一 個(gè)附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步定義和解釋。
[0057] 第一實(shí)施例
[0058]請參照圖1，圖1為本實(shí)施例提供人臉部位識(shí)別的方法的具體流程圖，所述方法包 括：
[0059]步驟S110,獲得深度圖像。
[0060] 在本實(shí)施例中，所述深度圖像通過深度傳感器獲得，其中，所述深度圖像包括通過 所述深度傳感器獲得的每個(gè)像素點(diǎn)的深度值。
[0061] 請參照圖2,假設(shè)在本實(shí)施例中所述深度傳感器視場角為(α，β)，獲得的深度圖像 的分辨率為(m， n)。在所述深度圖像上以像素點(diǎn)為單位建立坐標(biāo)，記錄像素點(diǎn)p=(x，y)的深 度值為D(x，y)。
[0062] 步驟S120，提取所述深度圖像中的圖像像素特征。
[0063] 提取所述圖像像素特征可以包括:深度梯度方向直方圖特征、局部簡化三元模式 特征、深度值統(tǒng)計(jì)分布特征及鄰域內(nèi)其他像素點(diǎn)間深度差值之差特征等，在本實(shí)施例中，優(yōu) 選為采用像素點(diǎn)鄰域內(nèi)其他像素點(diǎn)間深度差值之差的集合作為該像素點(diǎn)的圖像像素特征。 [0064] 請參照圖3,所述提取所述圖像像素特征的步驟可以包括子步驟S121、S122、S123 及S124。
[0065] 子步驟S121，由選定像素點(diǎn)的深度值及一空間不變系數(shù)得到該選定像素點(diǎn)在真實(shí) 空間的空間分辨率。
[0066] 具體地，請參照圖4,在本實(shí)施例中，選取所述深度圖像上像素點(diǎn)p=(l，l)，其對應(yīng) 視場角為(α:，^)，得到其深度值為D(1，1)，由此可得像素點(diǎn) ？1在真實(shí)空間的橫向空間分辨 率1x1為：
[0067] lxi = 2D( 1,1 )tan(〇i) =2D( 1,1 )tan(a/2m)
[0068] 同理其縱向空間分辨率10為：
[0069] lyi = 2D( 1,1 )tan(P/2n)
[0070] 由此可得任意像素點(diǎn)Pl=(Xl，yi)的空間分辨率為：
[0071 ] lxi = 2D(Xi，yi)tan(a/2m) =D(Xi，yi)|x
[0072] lyi = 2D(xi,yi)tan(P/2n) =D(xi,yi)Cy
[0073]其中，Cx=2tan(a/2m)，Cy = 2tan(P/2n)為空間不變系數(shù)。
[0074]子步驟S122,由該選定像素點(diǎn)的所述空間分辨率、預(yù)設(shè)真實(shí)空間偏移量及預(yù)設(shè)多 個(gè)偏移角中任意的兩個(gè)不同的偏移角得到多個(gè)偏移向量對，其中每個(gè)所述偏移向量對包含 兩個(gè)偏移向量。
[0075]具體地，預(yù)設(shè)一真實(shí)空間偏移量為ε，并在所述深度圖像上預(yù)設(shè)多個(gè)離散化的偏移 角(方向）為9 = {01，02，~0"}，由任意兩個(gè)偏移方向的偏移向量構(gòu)成，即對于//，^/對，可構(gòu) 成偏移量對δ = (ιι，ν)，其中，
[0077] 由此得到S = C；2個(gè)所述偏移量對
[0078] 在本實(shí)施例中，所述偏移角的取值可以：
[0079] 子步驟S123,由所述偏移向量對中的兩個(gè)偏移向量得到該選定像素點(diǎn)的兩個(gè)偏移 點(diǎn)，由一深度差值函數(shù)獲得兩個(gè)偏移點(diǎn)之間的深度值之差。
[0080] 具體地，在深度圖像上取任意點(diǎn)Ρ，通過深度差值函數(shù)計(jì)算該點(diǎn)經(jīng)其中一個(gè)所述偏 移量對S = (U，V)后所得的兩個(gè)偏移點(diǎn)之間的深度差值為：
[0081] f (ρ,δ) = D(p+u)-D(p+v)
[0082] 在本實(shí)施例中，為保證所述圖像像素特征描述為同一人臉部位上的特征，當(dāng)所述 兩個(gè)偏移點(diǎn)相對于所述選定像素點(diǎn)的深度值之差均小于等于一預(yù)設(shè)深度閾值時(shí)，所述深度 差值函數(shù)等于所述兩個(gè)偏移點(diǎn)之間的深度值的差；當(dāng)所述兩個(gè)偏移點(diǎn)中的至少一個(gè)相對于 所述選定像素點(diǎn)的深度值之差大于所述深度閾值時(shí)，所述深度差值函數(shù)等于一個(gè)大于所述 深度圖像上所有像素點(diǎn)的深度值的κ值。以使得同一目標(biāo)上點(diǎn)的特征向量值較為接近;即給 定一個(gè)深度閾值n，兩個(gè)偏移點(diǎn)之間的深度差值的計(jì)算公式如下：
[0084] 子步驟S124,將多個(gè)所述深度值之差的集合作為該選定像素點(diǎn)的特征向量，以此 表征該選定像素點(diǎn)的圖像像素特征。所述特征向量可以表示如下：
[0085] Fp=(f(p,5i) ,f (ρ,δ2) ,---f(p,5s))
[0086] 如此，所述提取所述深度圖像中的圖像像素特征的步驟，不僅利用了深度值，還利 用了空間不變系數(shù)進(jìn)行計(jì)算，因此該特征具有較好的局部深度以及不同分辨率情況下的特 征不變性，可為后續(xù)檢測識(shí)別模型提供有力的判別依據(jù)。
[0087]步驟S130,將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別分類。
[0088] 所述人臉深度學(xué)習(xí)模型可以為隨機(jī)森林學(xué)習(xí)模型、回歸自組織神經(jīng)網(wǎng)絡(luò)模型、深 度置信網(wǎng)絡(luò)(DBN，Deep Belief Network)模型等，在本實(shí)施例中，優(yōu)選為采用DBN模型。所述 DBN模型具有多個(gè)隱層神經(jīng)網(wǎng)絡(luò)，能更好的處理復(fù)雜函數(shù)，在處理復(fù)雜分類問題時(shí)表現(xiàn)出更 優(yōu)的泛化性。
[0089] 值得說明的是，在本實(shí)施例中，所述人臉部位識(shí)別的方法還包括預(yù)先對所述人臉 深度學(xué)習(xí)模型進(jìn)行深度學(xué)習(xí)訓(xùn)練。請參照圖5,所述深度學(xué)習(xí)訓(xùn)練的步驟包括：
[0090] 步驟S210，預(yù)先建立有深度圖像庫，獲得所述深度圖像庫中的訓(xùn)練圖像。
[0091] 步驟S220,提取所述訓(xùn)練圖像的圖像像素特征。
[0092] 在本實(shí)施例中，所述圖像像素特征為像素點(diǎn)領(lǐng)域內(nèi)其他像素點(diǎn)的深度差值的集 合。所述圖像像素特征的提取步驟和S120中提取過程相同，在此不再贅述。
[0093] 步驟S230,利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模型，并對 訓(xùn)練完成的分類賦予相應(yīng)標(biāo)簽;所述人臉深度學(xué)習(xí)模型根據(jù)所述標(biāo)簽對其參數(shù)進(jìn)行調(diào)整。 [0094] 具體地，請參照圖6,所述DBN模型可以包括多層受限玻爾茲曼機(jī)(RBM，Restricted Boltzman Machines)網(wǎng)絡(luò)和反向傳播（BP，Backpropagation Algorithm)網(wǎng)絡(luò)組成。
[0095]將所述圖像像素特征輸入底層RBM，對該層RBM進(jìn)行無監(jiān)督訓(xùn)練，確保特征向量映 射到不同特征空間時(shí)，都盡可能多地保留特征信息。
[0096]每一高層RBM以低一層的RBM輸出數(shù)據(jù)作為輸入，并對該層RBM進(jìn)行無監(jiān)督訓(xùn)練。每 一層RBM網(wǎng)絡(luò)確保自身層內(nèi)的權(quán)值對該層特征向量映射達(dá)到最優(yōu)。
[0097]在所述DBN最后一層設(shè)置BP網(wǎng)絡(luò)，以最上層的RBM輸出的特征向量作為其輸入。預(yù) 設(shè)分類標(biāo)簽，所述標(biāo)簽可以包括人臉各部分的標(biāo)簽(如鼻子、左眼、右眼、左耳、右耳、嘴、左 臉頰、右臉頰、下頌、額頭等部位標(biāo)簽），以及一個(gè)非人臉部位標(biāo)簽。以所述標(biāo)簽有監(jiān)督地訓(xùn) 練實(shí)體關(guān)系分類器，根據(jù)有監(jiān)督訓(xùn)練是否分類正確信息，所述BP網(wǎng)絡(luò)將錯(cuò)誤信息自頂向下 傳播至每一層RBM，微調(diào)整個(gè)DBN模型中對應(yīng)的特征向量的權(quán)重，以使DBN收斂到全局最優(yōu)。 在本實(shí)施例中，所述分類器可以采用Softmax回歸分類器。
[0098]步驟S140,判斷所述像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo)簽是否 匹配。若匹配則進(jìn)入步驟S150,若不匹配則回到步驟S110。
[0099] 步驟S150，輸出與該像素特征對應(yīng)的標(biāo)簽。
[0100] 在本實(shí)施例中，所述人臉部位檢測識(shí)別的方法還包括:將識(shí)別完成后的帶標(biāo)簽的 圖像像素特征及圖像像素特征的正確識(shí)別率輸入到所述人臉深度學(xué)習(xí)模型。所述人臉深度 學(xué)習(xí)模型以此進(jìn)行深度學(xué)習(xí)訓(xùn)練，并對其自身參數(shù)進(jìn)行調(diào)整。
[0101] 如此在進(jìn)行人臉部位識(shí)別的同時(shí)，不斷補(bǔ)充新的訓(xùn)練樣本對所述人臉深度學(xué)習(xí)模 型進(jìn)行在線訓(xùn)練，使得隨著識(shí)別的進(jìn)行，所述人臉深度學(xué)習(xí)模型的識(shí)別準(zhǔn)確度也不斷提高。
[0102] 第二實(shí)施例
[0103] 請參照圖7,本實(shí)施例提供的人臉部位識(shí)別裝置10包括：
[0104] 第一獲取模塊110，用于獲得深度圖像；
[0105] 第一特征提取模塊120,用于提取所述深度圖像中的圖像像素特征；
[0106] 人臉深度學(xué)習(xí)模塊130,用于將輸入的所述圖像像素特征進(jìn)行識(shí)別分類；
[0107] 判斷模塊140,用于判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已 有的人臉部位標(biāo)簽是否匹配；
[0108] 輸出模塊150,用于當(dāng)所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已 有標(biāo)簽匹配時(shí)，輸出與該像素特征對應(yīng)的標(biāo)簽。
[0109] 在本實(shí)施例中，所述人臉深度學(xué)習(xí)模型用于將所述圖像像素特征作為其底部輸入 層的輸入，在網(wǎng)絡(luò)最頂層進(jìn)行回歸分類，并匹配相應(yīng)的標(biāo)簽，其中，所述標(biāo)簽包括人臉各部 位標(biāo)簽及非人臉部位標(biāo)簽。在本實(shí)施例中，所述人臉深度學(xué)習(xí)模型可以采用深度置信網(wǎng)絡(luò) 模型。
[0110] 請參照圖8,進(jìn)一步地，在本實(shí)施例中，所述人臉部位識(shí)別裝置10還可以包括：
[0111] 第二獲取模塊210,用于獲得深度圖像庫中的訓(xùn)練圖像；
[0112] 第二特征提取模塊220,用于提取所述訓(xùn)練圖像的圖像像素特征；
[0113]訓(xùn)練模塊230,用于利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模 型，并對訓(xùn)練完成的分類賦予相應(yīng)標(biāo)簽；
[0114]參數(shù)調(diào)整模塊240,用于根據(jù)所述標(biāo)簽對人臉深度學(xué)習(xí)模型的參數(shù)進(jìn)行調(diào)整。
[0115] 應(yīng)當(dāng)理解的是，在本實(shí)施例中，所述第一特征提取模塊120和所述第二特征提取模 塊220可以為同一模塊。
[0116] 請參照圖8,進(jìn)一步地，在本實(shí)施例中，所述參數(shù)調(diào)整模塊240還用于根據(jù)識(shí)別完成 后帶標(biāo)簽的圖像像素特征及圖像像素特征的正確識(shí)別率對所述人臉深度學(xué)習(xí)模型的參數(shù) 進(jìn)行調(diào)整。
[0117] 綜上所述，本發(fā)明提供的人臉部位識(shí)別的方法和裝置，通過采用人臉深度學(xué)習(xí)模 型對提取的深度圖像像素特征進(jìn)行檢測識(shí)別，一方面以像素深度差值作為圖像像素特征， 不易受到光線、色彩等環(huán)境因素影響，且特征提取過程簡單，有較好的唯一性和空間不變 性。另一方面，采用人臉深度學(xué)習(xí)模型同時(shí)完成檢測與識(shí)別，可同時(shí)對多個(gè)人臉部位進(jìn)行識(shí) 另IJ，提高了檢測識(shí)別效率，擁有更好的實(shí)時(shí)性。且深度學(xué)習(xí)算法有較強(qiáng)的分類和學(xué)習(xí)能力， 以及較強(qiáng)的自適應(yīng)性，能有效準(zhǔn)確的檢測識(shí)別到人臉及相應(yīng)部位。
[0118] 以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技 術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種人臉部位識(shí)別的方法，其特征在于，所述方法包括： 獲得深度圖像； 提取所述深度圖像中的圖像像素特征； 將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別分類； 判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已有的人臉部位標(biāo)簽是否 匹配； 若所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo)簽匹配，則輸出與該 圖像像素特征對應(yīng)的標(biāo)簽。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像像素特征為像素點(diǎn)鄰域內(nèi)其他像 素點(diǎn)深度值之差的集合，所述提取所述深度圖像中的圖像像素特征的步驟包括： 由選定像素點(diǎn)的深度值及一空間不變系數(shù)得到該選定像素點(diǎn)在真實(shí)空間的空間分辨 率； 由該選定像素點(diǎn)的所述空間分辨率、預(yù)設(shè)真實(shí)空間偏移量及預(yù)設(shè)多個(gè)偏移角中任意的 兩個(gè)不同的偏移角得到多個(gè)偏移向量對，其中每個(gè)所述偏移向量對包含兩個(gè)偏移向量； 由所述兩個(gè)偏移向量得到該選定像素點(diǎn)的兩個(gè)偏移點(diǎn)，由一深度差值函數(shù)獲得兩個(gè)偏 移點(diǎn)之間的深度值之差； 將多個(gè)所述深度值之差的集合作為該選定像素點(diǎn)的特征向量，以此表征該選定像素點(diǎn) 的圖像像素特征。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述由一深度差值函數(shù)獲得兩個(gè)偏移點(diǎn) 之間的深度值之差的步驟中， 當(dāng)所述兩個(gè)偏移點(diǎn)相對于所述選定像素點(diǎn)的深度值之差均小于等于一預(yù)設(shè)深度閾值 時(shí)，所述深度差值函數(shù)等于所述兩個(gè)偏移點(diǎn)之間的深度值的差， 當(dāng)所述兩個(gè)偏移點(diǎn)中的至少一個(gè)相對于所述選定像素點(diǎn)的深度值之差大于所述深度 閾值時(shí)，所述深度差值函數(shù)等于一設(shè)定值，所述設(shè)定值大于所述深度圖像上所有像素點(diǎn)的 深度值。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于:所述人臉深度學(xué)習(xí)模型包括深度置信網(wǎng)絡(luò) 模型，所述深度置信網(wǎng)絡(luò)模型將所述圖像像素特征作為其底層的輸入，在網(wǎng)絡(luò)最頂層進(jìn)行 回歸分類，并匹配相應(yīng)的標(biāo)簽，其中，所述標(biāo)簽包括各人臉部位標(biāo)簽。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于:所述人臉部位識(shí)別的方法還包括預(yù)先對所 述人臉深度學(xué)習(xí)模型進(jìn)行深度學(xué)習(xí)訓(xùn)練，所述深度學(xué)習(xí)訓(xùn)練的步驟包括， 獲得深度圖像庫中的訓(xùn)練圖像； 提取所述訓(xùn)練圖像的圖像像素特征； 利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模型，并對訓(xùn)練完成的分類 賦予相應(yīng)標(biāo)簽； 所述人臉深度學(xué)習(xí)模型根據(jù)所述標(biāo)簽對其參數(shù)進(jìn)行調(diào)整。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人臉部位識(shí)別的方法還包括： 將識(shí)別完成后的帶標(biāo)簽的圖像像素特征及圖像像素特征的正確識(shí)別率輸入到所述人 臉深度學(xué)習(xí)模型;所述人臉深度學(xué)習(xí)模型以此進(jìn)行深度學(xué)習(xí)訓(xùn)練，并對其參數(shù)進(jìn)行調(diào)整。7. -種人臉部位識(shí)別的裝置，其特征在于，所述人臉部位識(shí)別的裝置包括： 第一獲取模塊，用于獲得深度圖像； 第一特征提取模塊，用于提取所述深度圖像中的圖像像素特征； 人臉深度學(xué)習(xí)模塊，用于將所述圖像像素特征輸入人臉深度學(xué)習(xí)模型中進(jìn)行識(shí)別分 類； 判斷模塊，用于判斷所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中已有的人臉 部位標(biāo)簽是否匹配； 輸出模塊，用于當(dāng)所述圖像像素特征的分類與所述人臉深度學(xué)習(xí)模型中的已有標(biāo)簽匹 配時(shí)，輸出與該像素特征對應(yīng)的標(biāo)簽。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述人臉深度學(xué)習(xí)模型用于將所述圖像像 素特征作為其底部輸入層的輸入，在網(wǎng)絡(luò)最頂層進(jìn)行回歸分類，并匹配相應(yīng)的標(biāo)簽，其中， 所述標(biāo)簽包括人臉各部位標(biāo)簽及非人臉部位標(biāo)簽。9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括： 第二獲取模塊，用于獲得深度圖像庫中的訓(xùn)練圖像； 第二特征提取模塊，用于提取所述訓(xùn)練圖像的圖像像素特征； 訓(xùn)練模塊，用于利用所述訓(xùn)練圖像的圖像像素特征訓(xùn)練所述人臉深度學(xué)習(xí)模型，并對 訓(xùn)練完成的分類賦予相應(yīng)標(biāo)簽； 參數(shù)調(diào)整模塊，用于根據(jù)所述標(biāo)簽對人臉深度學(xué)習(xí)模型的參數(shù)進(jìn)行調(diào)整。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于:所述參數(shù)調(diào)整模塊還用于根據(jù)識(shí)別完成 后帶標(biāo)簽的圖像像素特征及圖像像素特征的正確識(shí)別率對所述人臉深度學(xué)習(xí)模型的參數(shù) 進(jìn)行調(diào)整。
【文檔編號(hào)】G06K9/62GK106096551SQ201610414560
【公開日】2016年11月9日
【申請日】2016年6月14日 公開號(hào)201610414560.0, CN 106096551 A, CN 106096551A, CN 201610414560, CN-A-106096551, CN106096551 A, CN106096551A, CN201610414560, CN201610414560.0
【發(fā)明人】譚志國, 楊阿峰, 李洪
【申請人】湖南拓視覺信息技術(shù)有限公司