本發(fā)明的實(shí)施例涉及一種用戶認(rèn)證方法、執(zhí)行該方法的裝置及存儲(chǔ)該方法的記錄介質(zhì)。

背景技術(shù)：

臉部識別技術(shù)不同于其他生物識別，具有如下優(yōu)點(diǎn)：用戶無需進(jìn)行特別動(dòng)作或行為，能夠以非接觸式、不引起用戶反感且自然地執(zhí)行識別，因此從用戶的立場來看，可以說是最卓越的生物識別技術(shù)。

這種臉部識別技術(shù)的應(yīng)用范圍開始擴(kuò)展到多種領(lǐng)域，作為一例，在安全認(rèn)證領(lǐng)域備受矚目。

若將臉部識別適用到安全認(rèn)證，則無需輸入密碼或使用其他附加的認(rèn)證介質(zhì)，僅凝視攝像頭就可完成自動(dòng)認(rèn)證，能夠防止因密碼或認(rèn)證介質(zhì)的偽造、被盜、遺失等導(dǎo)致的用戶個(gè)人信息的非法泄露。

例如，存在如下益處：能夠防止登錄網(wǎng)絡(luò)時(shí)，用戶無限共享帳號及密碼的現(xiàn)象，從網(wǎng)絡(luò)管理員的立場上看，能夠?qū)p失最小化等。除此之外，還可適用于登錄個(gè)人電腦(PC)、智能手機(jī)的解鎖、在線學(xué)習(xí)(E-Learning)等多種認(rèn)證領(lǐng)域。

但是，因臉部的轉(zhuǎn)動(dòng)、表情、照明、老化等導(dǎo)致的識別率的變化是臉部識別技術(shù)中普遍存在的弱點(diǎn)，由此導(dǎo)致的錯(cuò)誤率的最小化成為一個(gè)問題。

尤其，減少臉部識別的錯(cuò)誤接受率(FAR：False Accept Rate)成為將臉部識別適用到認(rèn)證領(lǐng)域的最重要的問題之一。

作為對此的解決方案，可采用持續(xù)提高臉部識別性能的同時(shí)，結(jié)合臉部識別與其他不同認(rèn)證方式的方案。據(jù)此，即使因識別錯(cuò)誤而接受他人并通過臉部識別認(rèn)證，但因采用雙重安全認(rèn)證，能夠?qū)崿F(xiàn)趨于完美的安全認(rèn)證。

若結(jié)合臉部識別與現(xiàn)有的認(rèn)證方式(密碼、USB認(rèn)證)，雖能提高安全強(qiáng)度，但從用戶的立場來看，仍存在現(xiàn)有認(rèn)證方式的局限性，因此無法充分發(fā)揮臉部識別的優(yōu)勢。

因此，需要開發(fā)一種能夠發(fā)揮臉部識別的優(yōu)勢并與臉部識別相結(jié)合而使得認(rèn)證錯(cuò)誤率最小化的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

(一)要解決的技術(shù)問題

本發(fā)明的目的在于，提供一種用戶認(rèn)證方法、執(zhí)行該方法的裝置及存儲(chǔ)該方法的記錄介質(zhì)，通過結(jié)合基于包括在已輸入圖像中的用戶臉部的認(rèn)證與根據(jù)臉部區(qū)域中包括的眨眼狀態(tài)識別的密碼認(rèn)證，能夠同時(shí)提供用戶認(rèn)證的便利性及準(zhǔn)確性。

本發(fā)明的目的在于，提供一種用戶認(rèn)證方法、執(zhí)行該方法的裝置及存儲(chǔ)該方法的記錄介質(zhì)，利用幀圖像之間的差異提取幀圖像之間的變化區(qū)域，僅在變化區(qū)域進(jìn)行臉部檢測，從而針對各個(gè)幀圖像，無需在整體區(qū)域進(jìn)行臉部檢測運(yùn)算，能夠提高對各個(gè)幀圖像的臉部檢測速度。

并且，本發(fā)明的目的在于，提供一種用戶認(rèn)證方法、執(zhí)行該方法的裝置及存儲(chǔ)該方法的記錄介質(zhì)，構(gòu)成變化區(qū)域的圖形金字塔之后，對圖形金字塔上的各個(gè)圖形進(jìn)行分布式處理而分別檢測臉部區(qū)域并綜合其結(jié)果而最終檢測臉部區(qū)域，從而能夠提高臉部區(qū)域檢測的準(zhǔn)確性。

本發(fā)明要解決的技術(shù)問題并不限定于以上涉及的(多個(gè))技術(shù)問題，本領(lǐng)域的技術(shù)人員可通過以下記載明確理解未涉及的其他(多個(gè))技術(shù)問題。

(二)技術(shù)方案

在實(shí)施例中，在用戶認(rèn)證裝置中執(zhí)行的用戶認(rèn)證方法，包括如下步驟：當(dāng)從圖像拍攝設(shè)備接收用戶的圖像數(shù)據(jù)時(shí)，利用所述圖像數(shù)據(jù)的各個(gè)幀圖像來檢測臉部區(qū)域和臉部特征點(diǎn)；通過匹配所述臉部區(qū)域與特定臉部模板來執(zhí)行臉部認(rèn)證；根據(jù)利用所述臉部特征點(diǎn)提取的眼區(qū)域的圖形來檢測是否眨眼，根據(jù)預(yù)設(shè)的基準(zhǔn)，并基于所述眨眼狀態(tài)來識別密碼，確認(rèn)已識別的所述密碼與預(yù)設(shè)的密碼是否一致，由此執(zhí)行密碼的認(rèn)證；以及根據(jù)所述臉部認(rèn)證的結(jié)果和所述密碼認(rèn)證的結(jié)果來判斷所述用戶認(rèn)證成功。

在實(shí)施例中，用戶認(rèn)證裝置，包括：臉部區(qū)域檢測部，當(dāng)從圖像拍攝設(shè)備接收用戶圖像數(shù)據(jù)時(shí)，利用所述圖像數(shù)據(jù)的各個(gè)幀圖像來檢測臉部區(qū)域和臉部特征點(diǎn)；第一認(rèn)證部，通過匹配所述臉部區(qū)域和特定臉部模板來執(zhí)行臉部認(rèn)證；第二認(rèn)證部，根據(jù)利用所述臉部特征點(diǎn)提取的眼區(qū)域的圖形來檢測是否眨眼，根據(jù)預(yù)設(shè)的基準(zhǔn)，并基于所述眨眼狀態(tài)來識別密碼，確認(rèn)已識別的所述密碼與預(yù)設(shè)的密碼是否一致；以及判斷部，根據(jù)所述第一認(rèn)證部的認(rèn)證結(jié)果和所述第二認(rèn)證部的認(rèn)證結(jié)果來判斷所述用戶認(rèn)證成功。

在實(shí)施例中，存儲(chǔ)用于運(yùn)行在用戶認(rèn)證裝置中執(zhí)行的用戶認(rèn)證方法的計(jì)算機(jī)程序的記錄介質(zhì)，包括如下功能：當(dāng)從圖像拍攝設(shè)備接收用戶圖像數(shù)據(jù)時(shí)，利用所述圖像數(shù)據(jù)的各個(gè)幀圖像來檢測臉部區(qū)域和臉部特征點(diǎn)；通過匹配所述臉部區(qū)域和特定臉部模板來執(zhí)行臉部認(rèn)證；根據(jù)利用所述臉部特征點(diǎn)提取的眼區(qū)域的圖形來檢測是否眨眼，根據(jù)預(yù)設(shè)的基準(zhǔn)，并基于所述眨眼狀態(tài)來識別密碼，確認(rèn)已識別的所述密碼與預(yù)設(shè)的密碼是否一致，由此執(zhí)行密碼的認(rèn)證；以及根據(jù)所述臉部認(rèn)證的結(jié)果和所述密碼認(rèn)證的結(jié)果來判斷所述用戶認(rèn)證成功。

其他實(shí)施例的具體內(nèi)容已包括在詳細(xì)說明及附圖中。

通過參照附圖及詳細(xì)說明的多個(gè)實(shí)施例，可明確理解本發(fā)明的優(yōu)點(diǎn)及/或特征，以及達(dá)成這些的方法。但是，本發(fā)明并不限定于以下公開的實(shí)施例，而是能夠體現(xiàn)為多種不同的形態(tài)，這些實(shí)施例的目的僅在于完整地公開本發(fā)明，向本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員完整地告知本發(fā)明的范疇，因此應(yīng)根據(jù)權(quán)利要求的范圍而定義本發(fā)明。整個(gè)說明書中，同一參照符號表示同一構(gòu)成要素。

(三)有益效果

本發(fā)明有如下優(yōu)點(diǎn)：通過結(jié)合基于包括在已輸入圖像中的用戶臉部的認(rèn)證與根據(jù)臉部區(qū)域中包括的眨眼狀態(tài)識別的密碼認(rèn)證，同時(shí)提供用戶認(rèn)證的便利性及準(zhǔn)確性。

并且，本發(fā)明還具有如下效果：利用幀圖像之間的差異提取幀圖像之間的變化區(qū)域，僅在變化區(qū)域進(jìn)行臉部檢測，從而針對各個(gè)幀圖像，無需在整體區(qū)域進(jìn)行臉部檢測運(yùn)算，能夠提高對各個(gè)幀圖像的臉部檢測速度。這種檢測速度的提高特別適合移動(dòng)設(shè)備等具有限制性計(jì)算資源的終端。

并且，本發(fā)明還具有如下效果：構(gòu)成對變化區(qū)域的圖形金字塔后，對圖形金字塔上的各個(gè)圖形進(jìn)行分布式處理而分別檢測臉部區(qū)域，綜合其結(jié)果而最終檢測臉部區(qū)域，從而能夠提高臉部區(qū)域檢測的準(zhǔn)確性。

附圖說明

圖1是用于說明本發(fā)明一實(shí)施例的用戶認(rèn)證裝置的框圖。

圖2是用于說明本發(fā)明的用戶認(rèn)證方法的一實(shí)施例的流程圖。

圖3是用于說明本發(fā)明的用戶認(rèn)證方法的另一實(shí)施例的流程圖。

圖4是用于說明本發(fā)明的用戶認(rèn)證方法的又一實(shí)施例的流程圖。

圖5是用于說明本發(fā)明的用戶認(rèn)證方法的又一實(shí)施例的流程圖。

圖6是用于說明利用關(guān)鍵幀圖像而從一般幀圖像中檢測臉部區(qū)域的過程的參照圖。

圖7是用于說明通過構(gòu)成對幀圖像的圖形金字塔而檢測臉部區(qū)域的過程的參照圖。

圖8是表示用于檢測臉部區(qū)域的矩形特征(對稱型、非對稱型)的圖。

圖9是用于說明利用圖8的矩形特征而檢測臉部區(qū)域的過程的參照圖。

圖10是用于說明從臉部區(qū)域中檢測眨眼的過程的參照圖。

具體實(shí)施方式

以下參照附圖詳細(xì)說明本發(fā)明的實(shí)施例。

圖1是用于說明本發(fā)明一實(shí)施例的用戶認(rèn)證裝置的框圖。

參照圖1，用戶認(rèn)證裝置100包括臉部區(qū)域檢測部110、第一認(rèn)證部120、第二認(rèn)證部130及判斷部140。

臉部區(qū)域檢測部110從圖像拍攝設(shè)備接收用戶圖像數(shù)據(jù)后，利用所述圖像數(shù)據(jù)的各個(gè)幀圖像檢測臉部區(qū)域及臉部特征點(diǎn)。臉部區(qū)域檢測部110將有關(guān)臉部區(qū)域及臉部特征點(diǎn)的信息分別提供給第一認(rèn)證部120及/或第二認(rèn)證部130。

臉部區(qū)域檢測部110從圖像拍攝設(shè)備接收到幀圖像后，從幀圖像中檢測臉部區(qū)域，將特定幀圖像定義為關(guān)鍵幀圖像。

首先，臉部區(qū)域檢測部110針對幀圖像的各個(gè)像素，將通過其周邊像素的亮度比值與多個(gè)過濾系數(shù)線性組合而獲取的值設(shè)定為相應(yīng)像素的亮度比值，從而消除包括在幀圖像中的噪聲。

然后，臉部區(qū)域檢測部110通過縮小幀圖像的尺寸而生成不同大小的多個(gè)圖形，從多個(gè)圖形中分別檢測候選臉部區(qū)域，利用候選臉部區(qū)域中的共同區(qū)域，從相應(yīng)幀圖像中檢測臉部區(qū)域。

例如，臉部區(qū)域檢測部110可以從原來的幀圖像中檢測臉部區(qū)域，從已轉(zhuǎn)換成小于原來幀圖像的幀圖像中檢測臉部區(qū)域，又從比其轉(zhuǎn)換的幀圖像大小更小的幀圖像中檢測臉部區(qū)域后，將從各不同尺度的幀圖像中檢測的臉部區(qū)域的共同區(qū)域檢測為相應(yīng)幀中的臉部區(qū)域。這種方式可理解為圖形金字塔技法。

在此，臉部區(qū)域檢測部110可利用矩形特征(或四角特征點(diǎn)模型)，分別從幀圖像的多個(gè)圖形中檢測臉部區(qū)域及臉部特征點(diǎn)(例如，眼)。對于利用矩形特征(或四角特征點(diǎn)模型)的臉部區(qū)域及臉部特征點(diǎn)(例如，眼)的詳細(xì)內(nèi)容，將參照以下的圖8及圖9進(jìn)行更具體的說明。

若幀圖像的幀編號除以特定數(shù)字而沒有余數(shù)，則臉部區(qū)域檢測部110可將該幀圖像定義為關(guān)鍵幀圖像。例如，臉部區(qū)域檢測部110為了每15次更新關(guān)鍵幀，當(dāng)將幀編號除以15而沒有余數(shù)時(shí)，可將該幀圖像定義為關(guān)鍵幀圖像。

臉部區(qū)域檢測部110定義關(guān)鍵幀之后，接收一般幀圖像，以關(guān)鍵幀圖像為基準(zhǔn)從一般幀圖像中提取變化區(qū)域，利用變化區(qū)域從一般幀圖像中檢測臉部區(qū)域。

首先，臉部區(qū)域檢測部110比較關(guān)鍵幀圖像與一般幀圖像而生成包括幀間差信息的幀差圖像，對幀差圖像執(zhí)行二值化及濾波處理，以生成幀差圖像的二值幀圖像。

更具體而言，臉部區(qū)域檢測部110針對幀差圖像的各個(gè)像素，比較像素的亮度比值和閾值，若像素的亮度比值為閾值以上，則將相應(yīng)像素轉(zhuǎn)換成255，即白色，若像素的亮度比值為閾值以下，則將相應(yīng)像素轉(zhuǎn)換成0，即黑色，由此生成二值幀圖像。所述閾值可被預(yù)先存儲(chǔ)在用戶認(rèn)證裝置100中。

并且，臉部區(qū)域檢測部110將濾波器適用到二值幀圖像來消除噪聲。例如，臉部區(qū)域檢測部110通過將對應(yīng)二值幀圖像噪聲的像素的亮度比值置換為周邊像素的中值來消除噪聲。這種濾波器可以理解為一種中值(Median)濾波器。

隨后，臉部區(qū)域檢測部110利用二值幀圖像從一般幀圖像中確定臉部檢測區(qū)域。更具體而言，臉部區(qū)域檢測部110從所述二值幀圖像中提取包括白色像素的矩形區(qū)域，將包括所述各個(gè)矩形區(qū)域的最終矩形區(qū)域確定為臉部檢測區(qū)域。從另一種觀點(diǎn)來看，可將“臉部檢測區(qū)域”理解為一種用于臉部檢測的幀間“變化區(qū)域”的概念。

最后，臉部區(qū)域檢測部110從臉部檢測區(qū)域中檢測臉部區(qū)域。更具體而言，臉部區(qū)域檢測部110通過縮小臉部檢測區(qū)域而生成具有不同大小的多個(gè)圖形，分別從多個(gè)圖形中檢測候選臉部區(qū)域后，利用候選臉部區(qū)域的共同區(qū)域從相應(yīng)幀圖像中檢測臉部區(qū)域。

在此，臉部區(qū)域檢測部110可利用矩形特征分別從幀圖像的多個(gè)圖形中檢測臉部區(qū)域及臉部特征點(diǎn)(例如，眼、鼻、嘴等)。對于利用矩形特征檢測臉部區(qū)域及臉部特征點(diǎn)的具體內(nèi)容，將參照圖8及圖9進(jìn)行更具體的說明。

第一認(rèn)證部120通過匹配臉部區(qū)域與特定臉部模板執(zhí)行臉部認(rèn)證。一實(shí)施例中，第一認(rèn)證部120比較臉部區(qū)域的二元特征量與已存儲(chǔ)的特定臉部模板的二元特征量來算出相似度，根據(jù)算出的相似度來向判斷部140提供所述臉部認(rèn)證的結(jié)果。已存儲(chǔ)的特定臉部模板是需要認(rèn)證的用戶臉部模板，可以是預(yù)先存儲(chǔ)到用戶認(rèn)證裝置100中的臉部模板。可將臉部區(qū)域與特定臉部模板的“匹配”理解為比較上述臉部區(qū)域的二元特征量與已存儲(chǔ)的特定臉部模板的二元特征量來計(jì)算相似度。

第二認(rèn)證部130利用臉部區(qū)域中的眼區(qū)域來檢測是否眨眼，確認(rèn)根據(jù)眨眼狀態(tài)識別的密碼與預(yù)設(shè)的密碼是否一致。第二認(rèn)證部130將根據(jù)眨眼狀態(tài)而識別的密碼與預(yù)設(shè)的密碼是否一致的結(jié)果提供給判斷部140。

第二認(rèn)證部130可利用臉部特征點(diǎn)從所述臉部區(qū)域提取眼區(qū)域，利用所述眼區(qū)域的像素值生成特定維的像素矢量，通過適用主成分分析(PCA：Principal Component Analysis)來縮小所述像素矢量的維數(shù)，并通過將支持向量機(jī)(SVM：Support Vector Machine)適用到所述已縮小的維數(shù)的像素矢量來檢測是否眨眼。

第二認(rèn)證部130提取根據(jù)眨眼狀態(tài)識別的密碼。例如，第二認(rèn)證部130可根據(jù)預(yù)設(shè)的識別基準(zhǔn)，提取通過圖像輸入的密碼后，判斷所述密碼是否與預(yù)設(shè)并存儲(chǔ)在用戶認(rèn)證裝置100中的密碼一致，其中，所述預(yù)設(shè)的識別基準(zhǔn)為：當(dāng)只眨左眼時(shí)被識別為0，只眨右眼時(shí)被識別為1，同時(shí)眨兩眼時(shí)被識別為2。

判斷部140可根據(jù)第一認(rèn)證部120的認(rèn)證結(jié)果及第二認(rèn)證部130的認(rèn)證結(jié)果來判斷用戶認(rèn)證成功。例如，所述臉部認(rèn)證的結(jié)果及所述密碼認(rèn)證的結(jié)果皆被判斷為認(rèn)證成功時(shí)，可判斷用戶認(rèn)證成功。

下面參照圖2至圖5來說明用戶認(rèn)證方法。后述的用戶認(rèn)證方法通過前述的用戶認(rèn)證裝置100執(zhí)行，因此，對相應(yīng)的內(nèi)容不做重復(fù)說明，但本發(fā)明所屬領(lǐng)域的普通技術(shù)人員能夠通過前述的記載內(nèi)容理解本發(fā)明的用戶認(rèn)證方法的一實(shí)施例。

圖2是用于說明本發(fā)明的用戶認(rèn)證方法的一實(shí)施例的流程圖。圖2中公開的一實(shí)施例涉及接收用戶的圖像數(shù)據(jù)并通過臉部認(rèn)證及密碼認(rèn)證來執(zhí)行用戶認(rèn)證的實(shí)施例。

參照圖2，用戶認(rèn)證裝置100從圖像拍攝設(shè)備接收用戶的圖像數(shù)據(jù)(步驟S210)。用戶認(rèn)證裝置100利用幀圖像中的關(guān)鍵幀圖像及一般幀圖像來檢測臉部區(qū)域(步驟S220)。

用戶認(rèn)證裝置100利用臉部區(qū)域中的眼區(qū)域來檢測是否眨眼，確認(rèn)根據(jù)眨眼狀態(tài)識別的密碼與預(yù)設(shè)的密碼是否一致(步驟S230)。

在步驟S230的一實(shí)施例中，用戶認(rèn)證裝置100利用臉部特征點(diǎn)來從所述臉部區(qū)域中檢測眼區(qū)域，利用眼區(qū)域的像素值而生成特定維的像素矢量，利用所述像素矢量檢測是否眨眼。然后，基于預(yù)設(shè)的基準(zhǔn)，提取根據(jù)眨眼狀態(tài)識別的密碼。作為一例，所述預(yù)設(shè)的基準(zhǔn)是基于左眼的眨眼狀態(tài)及右眼的眨眼狀態(tài)、雙眼同時(shí)眨眼的狀態(tài)中的至少一個(gè)狀態(tài)，所述眨眼狀態(tài)包括眨眼順序、眨眼次數(shù)、閉眼或睜眼狀態(tài)的維持時(shí)間、左眼及右眼的眨眼的組合中的至少一種。

例如，第二認(rèn)證部130可基于預(yù)設(shè)的基準(zhǔn)識別密碼，然后判斷所述識別到的密碼與預(yù)設(shè)的密碼是否一致，其中，所述預(yù)設(shè)的基準(zhǔn)為：當(dāng)只眨左眼時(shí)為0，只眨右眼時(shí)為1，同時(shí)眨雙眼時(shí)為2。

密碼的設(shè)置及識別可取決于眨眼狀態(tài)。例如，若只眨左眼時(shí)為0，只眨右眼時(shí)為1，同時(shí)眨雙眼時(shí)為2，則用戶認(rèn)證裝置100可根據(jù)左眼、右眼、左眼、雙眼的眨眼順序，將密碼確定為‘0102’?？赏ㄟ^設(shè)定而變更密碼的位數(shù)，可預(yù)設(shè)或存儲(chǔ)針對特定用戶的密碼。

用戶認(rèn)證裝置100通過匹配臉部區(qū)域與特定臉部模板來執(zhí)行臉部認(rèn)證(步驟S240)。

當(dāng)步驟S240中執(zhí)行的臉部認(rèn)證獲得成功(步驟S241)，步驟S230中執(zhí)行的密碼認(rèn)證獲得成功(步驟S231)時(shí)，用戶認(rèn)證裝置100判斷用戶認(rèn)證成功。

圖3是用于說明本發(fā)明的用戶認(rèn)證方法的另一實(shí)施例的流程圖。圖3中公開的另一實(shí)施例涉及通過處理用戶圖像數(shù)據(jù)的各個(gè)幀圖像中的特定幀圖像來確定為關(guān)鍵幀圖像，利用關(guān)鍵幀圖像檢測隨后輸入的一般幀圖像的臉部區(qū)域。

參照圖3，用戶認(rèn)證裝置100接收第0幀圖像(第一個(gè)幀圖像)(步驟S310)。用戶認(rèn)證裝置100從第0幀圖像中檢測臉部區(qū)域(步驟S320)。并且，將第0幀圖像作為最初的關(guān)鍵幀圖像來存儲(chǔ)。

當(dāng)用戶認(rèn)證裝置100判斷隨后輸入的幀圖像的幀編號除以特定數(shù)字(例如，15)而沒有余數(shù)(步驟S330)時(shí)，將相應(yīng)幀圖像更新存儲(chǔ)為關(guān)鍵幀圖像(步驟S340)。例如，用戶認(rèn)證裝置100為了每15次更新關(guān)鍵幀，當(dāng)幀編號除以15而沒有余數(shù)時(shí)，可將該幀圖像定義為關(guān)鍵幀圖像。例如，第0、15、30、45、...幀圖像可被定義為關(guān)鍵幀圖像。舉例來說：以第0幀圖像為例，因0/15的余數(shù)為0，可被存儲(chǔ)為關(guān)鍵幀，以下一順序的第1幀圖像為例，因1/15的余數(shù)不為0，被處理為一般幀圖像。經(jīng)過這種處理過程，到第15幀圖像時(shí)，因15/15的余數(shù)為0，可被存儲(chǔ)為新的關(guān)鍵幀。上述說明中，第0、第1等順序是用于更新關(guān)鍵幀的過程中為了便利性而而分配的順序，只要能夠獲得相同的結(jié)果，可分配其他方式的順序或序號。

用戶認(rèn)證裝置100接收第1幀圖像(步驟S350)。用戶認(rèn)證裝置100利用關(guān)鍵幀圖像從第1幀圖像中檢測臉部區(qū)域(步驟S360)。用戶認(rèn)證裝置100接收到所有幀圖像(步驟S370)時(shí)，結(jié)束進(jìn)程。

圖4是用于說明本發(fā)明的用戶認(rèn)證方法的又一實(shí)施例的流程圖。圖4中公開的又一實(shí)施例涉及一種可通過處理用戶圖像數(shù)據(jù)的各個(gè)幀圖像中的一般幀圖像，例如第一個(gè)被輸入的一般幀圖像，將相應(yīng)幀圖像存儲(chǔ)為關(guān)鍵幀圖像的方法。

參照圖4，用戶認(rèn)證裝置100接收圖像數(shù)據(jù)的各個(gè)幀圖像中的第一個(gè)一般幀圖像(步驟S410)。

用戶認(rèn)證裝置100通過將濾波器適用到一般幀圖像中來消除噪聲(步驟S420)。在步驟S420的一實(shí)施例中，用戶認(rèn)證裝置100針對一般幀圖像的各個(gè)像素，將通過其周邊像素的亮度比值與過濾系數(shù)的線性組合而獲取的值設(shè)定為相應(yīng)像素的亮度比值，從而能夠消除噪聲。這種過程如以下的[數(shù)學(xué)式1]。

[數(shù)學(xué)式1]

x′_i＝x_i-2c₀+x_i-1c₁+x_ic₂+x_i+1c₃+x_i+2c₄

(但，x：幀編號，i：像素編號，c：過濾系數(shù))

用戶認(rèn)證裝置100構(gòu)成對一般幀圖像的圖形金字塔(步驟S430)。更具體而言，用戶認(rèn)證裝置100通過縮小一般幀圖像而生成不同大小的多個(gè)圖形。

用戶認(rèn)證裝置100利用針對一般幀圖像的圖形金字塔來從相應(yīng)幀圖像中檢測臉部區(qū)域(步驟S440)。在步驟S440的一實(shí)施例中，用戶認(rèn)證裝置100從通過縮小一般幀圖像而生成的不同大小的多個(gè)圖形中分別檢測候選臉部區(qū)域，利用候選臉部區(qū)域中的共同區(qū)域從一般幀圖像中檢測臉部區(qū)域。

在此，用戶認(rèn)證裝置100可利用矩形特征來分別從多個(gè)圖形中檢測臉部區(qū)域及臉部特征點(diǎn)(例如，眼、鼻、嘴等)。

用戶認(rèn)證裝置100將一般幀圖像存儲(chǔ)為關(guān)鍵幀圖像(步驟S450)。例如，關(guān)鍵幀圖像的數(shù)據(jù)包括臉部檢測數(shù)據(jù)和圖像數(shù)據(jù)。臉部檢測數(shù)據(jù)包括臉部區(qū)域?qū)傩约澳槻刻卣鼽c(diǎn)位置屬性，圖形數(shù)據(jù)包括顏色模型屬性及像素?cái)?shù)據(jù)屬性。若用可擴(kuò)展標(biāo)記語言(XML)格式例示關(guān)鍵幀圖像數(shù)據(jù)，則如以下例示代碼。

[例示代碼]

<key_frame_data number＝“幀編號”>

-<detection_data>

<face_rect first＝“左上坐標(biāo)”last＝“右下坐標(biāo)”/>

<landmarks left_eye＝“左眼坐標(biāo)”right_eye＝“右眼坐標(biāo)”……/>

</detection_data>

-<image_data>

<color_model＝“gray”/>

<pixel_data＝“”/>

</image_data>

</key_frame_data>

[例示代碼]的<image_data>包括作為關(guān)鍵幀圖像的圖形像素?cái)?shù)據(jù)的顏色模型屬性<color_model＝“gray”/>和像素?cái)?shù)據(jù)屬性<pixel_data＝“”/>。圖形像素?cái)?shù)據(jù)用于從一般幀圖像中提取臉部檢測區(qū)域。

圖5是用于說明本發(fā)明的用戶認(rèn)證方法的又一實(shí)施例的流程圖。圖5中公開的又一實(shí)施例涉及一種能夠利用用戶的圖像數(shù)據(jù)的各個(gè)幀圖像中的關(guān)鍵幀圖像來從一般幀圖像中檢測臉部區(qū)域的方法。

參照圖5，用戶認(rèn)證裝置100比較關(guān)鍵幀圖像與一般幀圖像而生成包括幀間差信息的幀差圖像(步驟S510)。

用戶認(rèn)證裝置100對幀差圖像執(zhí)行二值化而形成二值幀圖像(步驟S520)。在步驟S520的一實(shí)施例中，用戶認(rèn)證裝置100針對幀差圖像的各個(gè)像素，比較像素的亮度比值與閾值，若像素的亮度比值為閾值以上，則將相應(yīng)像素轉(zhuǎn)換成255，即白色，若像素的亮度比值為閾值以下，則將相應(yīng)像素轉(zhuǎn)換成0，即黑色，由此生成二值幀圖像。

用戶認(rèn)證裝置100將濾波器適用到二值幀圖像中來消除噪聲(步驟S530)。在步驟S530的一實(shí)施例中，用戶認(rèn)證裝置100可將對應(yīng)二值幀圖像噪聲的像素的亮度比值置換為周邊像素的中值來消除噪聲。

用戶認(rèn)證裝置100利用二值幀圖像來從一般幀圖像中確定臉部檢測區(qū)域(步驟S540)。在步驟S540的一實(shí)施例中，用戶認(rèn)證裝置100從二值幀圖像中提取包括白色像素的矩形區(qū)域，將包括所述各個(gè)矩形區(qū)域的最終矩形區(qū)域確定為臉部檢測區(qū)域。

用戶認(rèn)證裝置100構(gòu)成對臉部檢測區(qū)域的圖形金字塔(步驟S550)。在步驟S550的一實(shí)施例中，用戶認(rèn)證裝置100通過縮小臉部檢測區(qū)域來生成不同大小的多個(gè)圖形，由此構(gòu)成圖形金字塔。

用戶認(rèn)證裝置100利用針對臉部檢測區(qū)域的圖形金字塔從相應(yīng)幀圖像中檢測臉部區(qū)域(步驟S560)。

在步驟S560的一實(shí)施例中，分別從多個(gè)圖形檢測候選臉部區(qū)域，利用檢測到的候選臉部區(qū)域的共同區(qū)域來檢測臉部區(qū)域。在此，用戶認(rèn)證裝置100可利用矩形特征來分別從多個(gè)圖形中檢測臉部區(qū)域和臉部特征點(diǎn)(例如，眼、鼻、嘴等)。

圖6是用于說明利用關(guān)鍵幀圖像，從一般幀圖像檢測臉部區(qū)域的過程的參照圖。

參照圖6，用戶認(rèn)證裝置100比較圖6(a)的關(guān)鍵幀圖像和圖6(b)的一般幀圖像，從而生成如圖6(c)的僅包括幀間差信息的幀差圖像。

用戶認(rèn)證裝置100對圖6(c)的幀差圖像執(zhí)行二值化及中值濾波處理，從而生成如圖6(d)的二值幀圖像。

一實(shí)施例中，用戶認(rèn)證裝置100針對圖6(c)的幀差圖像的各個(gè)像素，比較像素的亮度比值與閾值，若像素的亮度比值為閾值以上，則將相應(yīng)像素轉(zhuǎn)換成255，即白色，若像素的亮度比值為閾值以下，則將相應(yīng)像素轉(zhuǎn)換成0，即黑色，由此執(zhí)行二值化。

用戶認(rèn)證裝置100利用圖6(d)的二值幀圖像來從一般幀圖像中確定臉部檢測區(qū)域(步驟S540)。

一實(shí)施例中，用戶認(rèn)證裝置100從圖6(d)的二值幀圖像中提取包括白色像素的多個(gè)矩形區(qū)域，將包括所述各個(gè)矩形區(qū)域的最終矩形區(qū)域確定為臉部檢測區(qū)域。即，如圖6(e)所示，用戶認(rèn)證裝置100可從一般幀圖像中確定臉部檢測區(qū)域(變化區(qū)域)。

如圖6(f)所示，用戶認(rèn)證裝置100從圖6(e)的臉部檢測區(qū)域中檢測臉部區(qū)域。

圖7是用于說明通過構(gòu)成幀圖像的圖形金字塔來檢測臉部區(qū)域的過程的參照圖。

參照圖7，用戶認(rèn)證裝置100縮小一般幀圖像而生成如圖7(a)所示的不同大小的多個(gè)圖形。用戶認(rèn)證裝置100分別從如圖7(a)的不同大小的多個(gè)圖形中檢測候選臉部區(qū)域。如圖7(b)所示，用戶認(rèn)證裝置100可利用分別從多個(gè)圖形中檢測的候選臉部區(qū)域的共同區(qū)域來檢測臉部區(qū)域。

另外，利用關(guān)鍵幀圖像與一般幀圖像之間的幀差圖像來從一般幀圖像中檢測臉部區(qū)域時(shí)，用戶認(rèn)證裝置100從一般幀圖像中檢測臉部檢測區(qū)域，縮小臉部檢測區(qū)域而生成如圖7的(a)的不同大小的多個(gè)圖形。

用戶認(rèn)證裝置100分別從如圖7(a)的不同大小的多個(gè)圖形中檢測候選臉部區(qū)域。如圖7(b)所示，用戶認(rèn)證裝置100可利用分別從多個(gè)圖形中檢測的候選臉部區(qū)域的共同區(qū)域來檢測臉部區(qū)域。

圖8是表示用于檢測臉部區(qū)域的矩形特征(對稱型、非對稱型)的圖。圖9是用于說明利用圖8的矩形特征來檢測臉部區(qū)域的過程的參照圖。所述圖8或圖9中例示的矩形可被理解為用于臉部區(qū)域檢測的特征，更具體而言，可被理解為能夠較好反映正面臉部區(qū)域的特征的、具有對稱性質(zhì)的類海爾特征(haar-like feature)(a)和反映非正面臉部區(qū)域的特征而提出的非對稱性的矩形特征(b)。

參照圖8和圖9，用戶認(rèn)證裝置100(圖1)從圖像拍攝設(shè)備200(圖1)接收到圖像數(shù)據(jù)的各個(gè)幀中的特定幀時(shí)，從特定幀檢測臉部區(qū)域及臉部特征點(diǎn)(例如，眼、鼻、嘴等)。

一實(shí)施例中，用戶認(rèn)證裝置100(圖1)的臉部區(qū)域檢測部110從圖像數(shù)據(jù)的各個(gè)幀中檢測臉部候選區(qū)域，定義對所述檢測出的臉部候選區(qū)域的矩形特征(或四角特征點(diǎn)模型)，基于根據(jù)AdaBoost學(xué)習(xí)算法學(xué)習(xí)所述矩形特征的學(xué)習(xí)資料來檢測臉部區(qū)域，能夠以矩形形態(tài)檢測臉部區(qū)域。并且，臉部區(qū)域檢測部110可檢測檢出的臉部區(qū)域中包括的臉部特征點(diǎn)。

一般而言，在包括正面臉部區(qū)域的幀中，如眼、鼻、嘴等的臉部固有結(jié)構(gòu)特性均勻地分布在整個(gè)圖象上，且對稱。但是，在包括非正面臉部區(qū)域的幀中，如眼、鼻、嘴等的臉部固有結(jié)構(gòu)特性未均勻地分布在圖像上，因此非對稱，并集中在狹小的范圍內(nèi)，因臉部輪廓也不呈直線，混合著多個(gè)背景區(qū)域。

因此，還考慮到利用如圖8(a)的對稱特征點(diǎn)時(shí)難以獲得非正面臉部區(qū)域的較高檢測性能的問題，更優(yōu)選地，本實(shí)施例中除了使用如圖8(a)所示的對稱特征點(diǎn)之外，還使用如圖8(b)所示的非對稱特征點(diǎn)。如圖8(b)所示的非對稱特征點(diǎn)與如圖8(a)的對稱特征點(diǎn)不同，由非對稱的形態(tài)、結(jié)構(gòu)、模樣構(gòu)成，較好地反映了非正面臉部的結(jié)構(gòu)特性，對非正面臉部區(qū)域的檢測效果突出。即，可利用如圖8(a)所示的對稱特征點(diǎn)來從如圖9(a)所示的幀中檢測臉部區(qū)域，可利用如圖8(b)所示的非對稱特征點(diǎn)來從如圖9(b)所示的幀中檢測臉部區(qū)域。

這種臉部區(qū)域檢測及臉部特征點(diǎn)檢測可通過多個(gè)公知技術(shù)來實(shí)現(xiàn)。作為一例，臉部區(qū)域檢測及臉部特征點(diǎn)檢測可利用AdaBoost學(xué)習(xí)算法及主動(dòng)形狀模型(ASM：Active Shape Model)來實(shí)現(xiàn)。作為另一例，有關(guān)臉部區(qū)域檢測及臉部特征點(diǎn)檢測的詳細(xì)說明可參照包括本發(fā)明人所提供的韓國授權(quán)專利第10-1216123號(2012年12月20日授權(quán))、韓國授權(quán)專利第10-1216115號(2012年12月20日授權(quán))在內(nèi)的多篇論文和專利資料，因此省略其詳細(xì)說明。

圖10是用于說明從臉部區(qū)域中檢測眨眼的過程的參照圖。

參照圖10，用戶認(rèn)證裝置100利用臉部特征點(diǎn)中如眼區(qū)域周邊的四個(gè)特征點(diǎn)等來從臉部區(qū)域10中檢測眼區(qū)域。在此，舉例來說，針對眼區(qū)域的圖形，剪切(crop)成位圖并進(jìn)行旋轉(zhuǎn)校正后，轉(zhuǎn)換成20*20像素大小的黑白圖形20。用戶認(rèn)證裝置100進(jìn)行對眼區(qū)域黑白圖形20的直方圖正態(tài)化。用戶認(rèn)證裝置100利用眼區(qū)域的黑白圖形20的像素值(20*20)而生成如400維的像素矢量。

用戶認(rèn)證裝置100對400維的像素矢量應(yīng)用主成分分析(Principal Component Analysis，PCA)30來獲得200維的縮小像素矢量，將已縮小的像素矢量輸入到SVM(Support Vector Machine)40中。如上所述，當(dāng)利用主成分分析縮小SVM40輸入資料的維數(shù)時(shí)，能夠提高SVM40的識別速度，大幅減少包括支持向量及組合系數(shù)的數(shù)據(jù)庫的大小。例如，用戶認(rèn)證裝置100可構(gòu)成200維的被縮小的輸入矢量，根據(jù)SVM(40)的判別函數(shù)來檢測是否眨眼。

本發(fā)明的實(shí)施例包括計(jì)算機(jī)可讀介質(zhì)，其包括用于執(zhí)行多種通過計(jì)算機(jī)實(shí)現(xiàn)動(dòng)作的計(jì)算機(jī)程序指令。所述計(jì)算機(jī)可讀介質(zhì)可單獨(dú)包括或以組合的形式包括程序指令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。所述介質(zhì)可以是為了實(shí)施本發(fā)明而特別設(shè)計(jì)和構(gòu)成的介質(zhì)，或者也可以是計(jì)算機(jī)軟件領(lǐng)域的普通技術(shù)人員公知而可使用的介質(zhì)。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括：硬盤、軟盤及磁帶等磁性介質(zhì)(magnetic media)、CD-ROM、DVD、USB驅(qū)動(dòng)器等光學(xué)介質(zhì)(optical media)、光盤(floptical disk)等磁光學(xué)介質(zhì)(magneto-optical media)以及只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、閃存等特別構(gòu)成為存儲(chǔ)和執(zhí)行程序指令的硬件裝置。所述介質(zhì)也可以是包括傳送指定程序指令、數(shù)據(jù)結(jié)構(gòu)等的信號的載波的光或金屬線、波導(dǎo)管等的傳送介質(zhì)。程序指令的例子，不僅包括通過編譯器產(chǎn)生的機(jī)器語言代碼，還包括使用解釋器等而能夠由計(jì)算機(jī)運(yùn)行的高級語言代碼。

以上參照限定的實(shí)施例和附圖來說明了本發(fā)明，但本發(fā)明并不限定于所述實(shí)施例，本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員能夠通過所述記載內(nèi)容進(jìn)行多種修改及變形。因此，應(yīng)根據(jù)權(quán)利要求書來理解本發(fā)明的思想，其等同或等價(jià)的變形均屬于本發(fā)明技術(shù)思想的范疇。