本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種疲勞表情識別方法，可用于疲勞駕駛，精神疲勞狀態(tài)檢測，導(dǎo)致亞健康的疲勞進行監(jiān)督。

背景技術(shù)：

隨著社會的發(fā)展加快，腦力勞動占據(jù)著絕大多數(shù)的比例，在如今高壓的生活下，很容易導(dǎo)致人的精神疲勞。人的疲勞會導(dǎo)致人的工作能力降低，主要表現(xiàn)在注意力渙散、呆滯、健忘、頭腦昏沉、一直打呵欠、眨眼頻繁等。疲勞的這些表現(xiàn)特征會導(dǎo)致很多的負面影響。如何檢測出一個人的疲勞程度，成為圖像處理領(lǐng)域研究的熱門問題。

稀疏編碼來源于神經(jīng)科學(xué)，是一種模擬哺乳動物視覺系統(tǒng)主視皮層v1區(qū)簡單細胞感受野人工神經(jīng)網(wǎng)絡(luò)方法。該方法具有空間的局部性、方向性和頻域的帶通性，是一種自適應(yīng)的圖像統(tǒng)計方法。

根據(jù)以上特點，稀疏編碼方法被廣泛應(yīng)用于圖像處理領(lǐng)域中，各種基于稀疏表示的識別方法也被研究者提出和公開。稀疏編碼方法的實現(xiàn)僅依靠自然環(huán)境的統(tǒng)計特性，并不依賴于輸入數(shù)據(jù)的性質(zhì)，因而是一種自適應(yīng)的圖像統(tǒng)計方法。

wright等人提出了基于稀疏表示的人臉識別算法，并且取得了很好的效果。稀疏表示方法中，字典的構(gòu)建是最重要的，因為字典的好壞直接導(dǎo)致實驗好壞。yang等提出費舍爾判別字典學(xué)習(xí)算法，其算法對字典添加了判別性，也在構(gòu)建字典過程中考慮了編碼的判別性。因為稀疏字典學(xué)習(xí)的方法并不需要提取特征，而且在少樣本的情況下，就能保證很好的性能，故稀疏方法廣泛應(yīng)用于識別領(lǐng)域之中。

技術(shù)實現(xiàn)要素：

本發(fā)明為了解決如何利用稀疏表示分類算法來提高低分辨人臉疲勞表情識別精確度。為了能夠有效提高低分辨率圖像的人臉疲勞表情判斷能力和識別性能,提出一種基于稀疏表示的低分辨率人臉疲勞表情的識別方法。并且為了進一步降低光照，噪聲，以及人臉微變形對人臉疲勞表情識別的影響，將pca，gabor這幾種人臉表情識別中常用的特征提取方法和稀疏表示相結(jié)合。

一種基于gabor特征和稀疏表示的疲勞表情識別方法，如圖1所示，其特征在于：特征提取步驟，用于提取人臉疲勞表情的重要特征部分，從而對不同程度的疲勞表情進行描述；分析求解識別步驟，用于求解未知疲勞程度表情圖的疲勞程度，從而對其進行判斷；其中，特征提取是對于人臉圖像提取gabor特征。

所述特征提取步驟具體為：

s1：對于人臉圖像提取gabor特征，得到其紋理信息；

s2：對于提取的gabor特征，利用pca進行降維得到低維gabor疲勞圖。

s3：構(gòu)建gabor特征的超完備字典。

所述分析求解識別步驟具體包括：計算經(jīng)過gabor濾波后的待識別圖像的和訓(xùn)練圖像的殘差值，輸出經(jīng)過gabor濾波后疲勞表情的識別結(jié)果，訓(xùn)練字典中的各類疲勞圖像與待識別圖像的殘差值最小所在的那類疲勞圖像為最終的識別結(jié)果。

本發(fā)明的優(yōu)點在于在基于稀疏表示的低分辨人臉疲勞表情狀態(tài)識別中，超完備字典能準確地刻畫出人臉疲勞表情圖像信號的內(nèi)在結(jié)構(gòu)特征和及其本質(zhì)屬性，并且基于稀疏表示分類法能夠使用盡可能少的特征數(shù)據(jù)來表達圖像信息。同時gabor濾波器組對于描述人臉疲勞表情具有以下優(yōu)勢：

1.因為gabor濾波器的核函數(shù)工作方式和人的視覺神經(jīng)細胞工作機理非常類似，所以當用2dgabor來對圖像信息進行表述時，gabor圖像不經(jīng)能夠包含圖像的空間域信息還能包含有用的頻率域信息。

2.gabor濾波器能夠?qū)斎氲脑紙D像的局部信息進行描述，特別是邊緣特征，并且在一定程度上對圖像地旋轉(zhuǎn)和變相有著很強的容忍度，并且削弱了噪聲對圖像的影響。

3.研究者和科研人員可以通過對gabor濾波器組的的參數(shù)調(diào)整來獲取不同尺度和方向的圖像特征信息，可以很方便地進行調(diào)整以得到最佳的特征組合。

4.在圖像處理領(lǐng)域特別是在圖像識別領(lǐng)域中，關(guān)照對圖像處理和識別具有很強的干擾能力，以及gabor濾波對光照極其不敏感。本方法將gabor濾波和稀疏表示相結(jié)合，先對疲勞圖像庫tiredface中的每張疲勞表情圖像用gabor小波進行濾波，將計算之后所得到的gabor特征向量作為疲勞表情圖像中的最初始特征，從而減弱光照，噪聲，以及人臉表情微變所帶來的影響，然后再通過稀疏表示從而對gabor特征向量優(yōu)化，建立一個稀疏并且能夠準確反映疲勞表情特征和信息的向量用于分類識別。

附圖說明

圖1基于gabor特征和稀疏表示的疲勞表情識別步驟；

圖2疲勞表情圖及其gabor濾波器卷積的幅值響應(yīng)；

圖3各類表情圖以及相應(yīng)的gabor特征組合圖。

具體實施方式

超完備字典構(gòu)造：

將壓縮感知理論應(yīng)用在圖像處理中，如何有效地構(gòu)造圖像信號的稀疏表示字典極為重要，而字典構(gòu)造的核心原則是字典中的原子要盡可能完整地描述圖像數(shù)據(jù)內(nèi)在的結(jié)構(gòu)特征。本文將稀疏表示應(yīng)用在人臉疲勞表情特征中，超完備字典選擇的是盡可能包含測試圖像中所含有信息結(jié)構(gòu)特征的訓(xùn)練圖像樣本集信息，稀疏表示也就是將疲勞表情的測試圖像看作是訓(xùn)練圖像集的一種線性組合，通過尋找測試圖像的最稀疏解，提取到疲勞表情圖像中足夠稀疏并且能夠有效的描述疲勞狀態(tài)內(nèi)在結(jié)構(gòu)特征以及這些疲勞特征信息之間的關(guān)聯(lián)性信息。

設(shè)待識別的目標類別集合c＝{c1,c2,…,cm}，可以用m維的向量來表征每幅低分辨人臉疲勞表情圖像特征，其中每個已經(jīng)標好類別的表情圖像樣本數(shù)分別是n1,n2，…nm，那么第ci類中的ni幅疲勞表情圖像可以獲得ni個m維的特征向量，為di1,di2,...,din，其中di將作為超完備字典中列集中的第i列，相應(yīng)的矩陣為di＝[di1,di2,…,din]來自第ci類中的待識別疲勞圖像t∈r^m可被看作是圖像庫中訓(xùn)練樣本的線性組合，表示為：

t＝di1αi1,di2αi2,…,dinαin

其中，αij是系數(shù)，并且αij滿足αij∈r,i＝1,2,…,m；j＝1,2,…,n

因為在分類的過程中，待識別的疲勞表情圖像所屬類別是未知的，因此，定義矩陣d為所有的已知類別中訓(xùn)練樣本的特征向量構(gòu)造，其表示為：

d＝[d1,d2,…,dm]

＝[d11,d12,…,din,…,dm1,dm2,…,dmn]∈r^m*n

其中，n＝n1+n2+…+n3,m＜n

所以，待識別的人臉疲勞圖像的特征向量t∈r^m可以通過所有的已經(jīng)標好類別的訓(xùn)練表情圖像的線性組合表示而成：

tm×1＝dm×nαn×1+θm×1

在上式中，αn×1∈rⁿ表示系數(shù)向量；而θm×1為噪音向量。

稀疏表示模型的優(yōu)化：

設(shè)集合d＝[d1,d2,…,dn]為超完備字典,其中的每個原子di＝(d1i,d2i,…,dmi)^t,i＝1,2,...,n,并且m<n。那么對于給定的列向量t可以表示為t＝dα+θ，其中α指的是系數(shù)向量。當滿足m<n條件時，超完備字典中原子di線性無關(guān)，因此，變換后的系數(shù)向量并不具有唯一性。而稀疏表示目的是希望從所有的向量表示中選取最稀疏的一個向量表示。

根據(jù)壓縮感知理論可以得知，對于給定的特定向量t＝(t1,t2,…,tm)具有零均值時，那么相應(yīng)的超完備字典d＝[d1,d2,…,dn]中的元素都有零均值并且單位化的l2范數(shù)，即：

在實際情景中，我們必須考慮噪聲，所以考慮噪聲的稀疏表示模型為：

上式為最小化的l1范數(shù)，ε表示的是誤差閾值。

計算得出的最優(yōu)解αmin∈rⁿ，就是稀疏表示模型t＝dα+θ全部系數(shù)向量中最稀疏且最優(yōu)化的解，用獲得的盡可能少的稀疏系數(shù)準確地表達出疲勞表情圖像特征向量的結(jié)構(gòu)特征和信息。

人臉疲勞表情識別中的pca降維處理：

pca，主成分分析。用t維的特征矢量xi(i＝1,2,3,…,n)來表征n個人臉疲勞圖像的樣本，通過使用pca降維，可以找到相應(yīng)的線性變換矩陣將原來維數(shù)較高的t維特征矢量投遞到維數(shù)較低的f維的子空間中，其中，t＞＞f。在高維矩陣變換之前，首先對每一個的訓(xùn)練圖像樣本xi進行圖像歸一化處理得到矢量(該矢量符合n(0,1)正太分布)，然后將所有符合n(0,1)正太分布)的矢量組合起來構(gòu)成一個新的矩陣其中q＝xx^t為協(xié)方差矩陣，通過λe＝qe求得協(xié)方差矩陣的特征矢量e，其中λ是特征值，將所求得到的特征矢量按照特征值大小排列，然后取前面f的特征矢量，得到t×f的變換矩陣wpca,從而新的特征矢量可以表征為

其中yi是具有f維列矢量，為wpca的轉(zhuǎn)置，xi是t維列矢量。從上我們可以得知pca可以大幅度地降低原始圖像的特征維數(shù)。

疲勞表情狀態(tài)圖像的gabor表示：

設(shè)i(z)為輸入的一張人臉疲勞表情圖，ψμ,v(z)為μ個方向v個尺度的gabor濾波器，那當人臉表情圖像經(jīng)過gabor濾波是，通過下面的公式進行計算：

為gμ,ν(z)＝i(z)*ψμ，ν

其中*是卷積運算符。{gμ,ν(z)|μ∈{0,1,2,3,4,5,6,7}，ν∈{0，1，2，3，4，5}}表示疲勞表情圖對應(yīng)的gabor表情圖。對gabor濾波器進行上一節(jié)的參數(shù)設(shè)定即：μ＝8，v＝5，σ＝2π，kmax＝π/2，隨機從疲勞圖像庫tiredface中選取一張疲勞表情圖像，得到相應(yīng)的的5個尺度8個方向的共40幅gabor疲勞表情圖，如下圖2所示。

gabor濾波器的響應(yīng)特征可以從亮度，位置和邊沿三個不同的角度進行表述：

亮度：因為gabor的核函數(shù)存在直流分量，消除了gabor濾波器的直流成分，減小了gabor小波對亮度的依賴性，在一定程度上可以減少光照變換對圖像的干擾。

位置：卷積是對局部區(qū)域像素灰度值計算并且累加的最后結(jié)果，所以gabor小波變換系數(shù)值并不會像像素點一樣隨著位置的改變灰度值發(fā)生劇烈變換，gabor小波變換系數(shù)是連續(xù)平滑的變換，并且中心頻率越小，效果越顯著。

邊緣：邊緣特征是最能夠反映圖像邊緣的灰度變化情況，具體來說：沿著邊緣伸展方向灰度變化只是呈現(xiàn)出小幅度的波動變化，但是沿著邊緣的垂直方向，灰度大幅度的劇烈變換，所以在整個疲勞表情圖中，臉部輪廓，眉毛，眼睛，鼻子，嘴巴等是輸出較強的部位，通過第三章的疲勞分析，我們知道，這些部位也正是對疲勞表情影響最大的部位。

為了直觀的觀測各種疲勞表情通過gabor濾波器特征之后的不同，在三類疲勞表情中分別選出一張表情圖片進行g(shù)abor特征提取，選取的各類疲勞表情圖以及gabor特征組合圖如圖3所示。由圖3可知，gabor濾波器輸出比較強的部位集中體現(xiàn)在人臉輪廓、眼睛、嘴巴以對疲勞表情識別影響較大的的位置，削弱了圖像噪聲和光照對疲勞圖像識別結(jié)果的影響。

基于gabor特征的稀疏表示人臉疲勞表情狀態(tài)識別：

在基于稀疏表示的低分辨率人臉疲勞表情識別中，我們所用的是特征只有人臉疲勞圖像的整體特征，這樣的表情圖像的整體特征不能夠非常有效地解決光照變換對疲勞表情識別帶來的干擾問題、并且對圖像噪聲和圖像的局部變形問題給圖像識別所帶來的負面影響也不能很好的進行消除，因為gabor特征能夠很好地解決光照變換，圖像噪聲和圖像的局部變形對疲勞圖像識別的影響，將gabor特征和稀疏表示相結(jié)合來對人臉疲勞表情進行識別和判斷。將上一節(jié)中的全局特征向量用gabor特征向量用w取代，基于gabor特征的疲勞表情稀疏表示為：

w(y)＝x(a1)α1+x(a2)α2+…+x(ak)αk＝x(a)α

其中x(a)是通過均勻采樣的疲勞人臉gabor特征所的列向量所構(gòu)成的，得到的基于gabor特征的稀疏表示。

算法具體步驟如下:

step1：輸入:(1)從疲勞表情庫tiredface中每類疲勞圖像隨機抽取20張作為超完備字典的訓(xùn)練樣本，并且對已知的訓(xùn)練樣本中的每一幅圖像進行g(shù)abor小波變換得到相應(yīng)的gabor特征圖像x(a)∈r^m×n；(2)對疲勞表情庫tiredface中總共剩余180張作為測試樣本圖像中的每一幅圖像進行g(shù)abor小波變換得到相應(yīng)的gabor特征圖像w(y)。

step2：使用主成分分析(pca)分別將訓(xùn)練圖像庫中的疲勞表情gabor特征圖像x(a)和待識別圖像的gabor特征圖像w(y)投影到相應(yīng)的低維特征空間得到和

step3：對和進行歸一化處理。

step4：求解l1模最小化：

滿足條件或者滿足

step5：計算經(jīng)過gabor濾波后的待識別圖像的和訓(xùn)練圖像的殘差值：

step6：輸出經(jīng)過gabor濾波后疲勞表情的識別結(jié)果：

identify(w(y))＝argmin[ri(w(y))]

訓(xùn)練字典中的各類疲勞圖像與待識別圖像的殘差值最小所在的那類疲勞圖像為最終的識別結(jié)果。

識別結(jié)果及其分析：

在基于gabor特征的稀疏表示人臉疲勞表情識別的研究中，我們同樣選取經(jīng)過肯德爾和諧系數(shù)所構(gòu)建的可信度較高的人臉疲勞表情圖像庫tiredface進行實驗。并在實驗過程中對該疲勞圖像庫的10個人總共240幅圖像構(gòu)成的每個人3種不同程度的疲勞表情(清醒，疲勞，嚴重疲勞)進行相同的gabor濾波處理。同樣采用了kfold法進行了交叉驗證，在每類疲勞圖像隨機抽取了60張各類疲勞表情圖像總共180張作為測試樣本圖像，而疲勞表情庫tiredface中余剩下的各類疲勞圖像庫作為訓(xùn)練樣本圖像，總共行了538次實驗，對其中的經(jīng)過gabor濾波后的各類疲勞表情圖像進行了字典學(xué)習(xí)?？傮w分類識別的準確率為96.1％,實驗結(jié)果穩(wěn)定。各類疲勞表情分類識別正確率的中值如表5所示。測試實驗的各類疲勞表情圖像的總體分類情況如表6。

表5.各類疲勞表情狀態(tài)分類識別正確率的中值

表6測試實驗各類表情圖像的總體分類情況

在進行人臉表情特征提取時，使用gabor多方向特征融合的方法很好地保留了提取出的紋理信息，然后將pca降維的方法用在融合特征的特征選擇上，降低圖像信息的冗余度，同時有效地保留了融合特征的局部紋理特征信息。并將提取到人臉疲勞表情經(jīng)過gabor濾波和pca降維后的特征表示與稀疏表示算法進行結(jié)合，進一步降低光照，噪聲，以及人臉微變形對人臉疲勞表情識別的影響，識別效果較好，可以用作非入侵式的疲勞檢測。

以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實質(zhì)內(nèi)容。