本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)，具體地，涉及一種用于多模態(tài)生物特征識(shí)別的方法、裝置及系統(tǒng)。

背景技術(shù)：

生物特征是人體天然攜帶的信息，與傳統(tǒng)的密碼、身份信息相比，具有唯一性、穩(wěn)定性、防偽性、不可抵賴性。所謂唯一性，指任何兩個(gè)人該特征都是不同的；所謂穩(wěn)定性，指該特征在一段時(shí)間內(nèi)，不會(huì)隨條件的變化而變化；所謂防偽性，指這個(gè)生物特征無法被惡意假冒；所謂不可抵賴性，指該生物特征是可以作為唯一標(biāo)示識(shí)別出對(duì)應(yīng)的用戶，具有不可抵賴性。

目前，用于身份識(shí)別的人體生物特征有人臉、掌紋、虹膜、指紋、dna(脫氧核糖核酸)等，行為特征有步態(tài)、簽名等。在實(shí)際應(yīng)用的過程中，單獨(dú)一種生物特征的使用在不同程度上遇到以下的問題困擾：

1.噪聲

傳感器在實(shí)際應(yīng)用中，由于物理缺陷或其他的外部因素干擾，采集到的數(shù)據(jù)會(huì)產(chǎn)生部分噪聲，從而影響到身份認(rèn)證的準(zhǔn)確性。例如：光照條件影響得到人臉圖像會(huì)有影響。

2.非普遍適用性

一些個(gè)體無法提供特定的生物特征。例如，失去雙手的殘疾人無法提供指紋信息。

3.安全性

生物特征容易被竊取，如利用人臉的相片可以騙過基于人臉的生物特征識(shí)別系統(tǒng)。

4.類間相似

對(duì)用戶數(shù)量比較龐大的生物特征識(shí)別系統(tǒng)，不同的用戶在生物特征之間可能有一定的重疊，例如有些雙胞胎的人臉信息是非常類似的。

5.類內(nèi)變化

隨著時(shí)間的推移，用戶的生物特征可能產(chǎn)生部分變化，如小孩子長(zhǎng)大后聲紋信息發(fā)送了變化，因此其生物識(shí)別產(chǎn)生差異，影響系統(tǒng)性能。

可見，目前的單獨(dú)一種生物特征的使用具有一定局限性。

技術(shù)實(shí)現(xiàn)要素：

鑒于現(xiàn)有技術(shù)的上述缺陷，各種不同實(shí)施方式提供了一種用于多模態(tài)生物特征識(shí)別的方法、裝置及系統(tǒng)。

根據(jù)一種實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的方法可以包括，但不限于：

針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別；

將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)另一種實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的裝置可以包括，但不限于：

單模態(tài)識(shí)別模塊，用于針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別；

融合計(jì)算模塊，用于將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)另一種實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的系統(tǒng)至少可以包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)本文各實(shí)施方式所述的方法中的操作。

根據(jù)各種不同實(shí)施方式，在多模態(tài)生物識(shí)別場(chǎng)景下，多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識(shí)別算法的場(chǎng)景局限性。

具體而言，多模態(tài)生物特征識(shí)別有以下三個(gè)優(yōu)點(diǎn)：

1.系統(tǒng)可靠性更高，通過對(duì)不同類型的數(shù)據(jù)進(jìn)行融合可以提高系統(tǒng)的性能和容錯(cuò)能力、減少噪聲等不確定因素的影響，達(dá)到更高的準(zhǔn)確率。

2.系統(tǒng)適用性更廣，使用多模態(tài)生物特征識(shí)別，可以使身份識(shí)別系統(tǒng)適用于更廣泛的人群。

3.系統(tǒng)安全性更強(qiáng)，偽造多個(gè)身份特征比偽造一個(gè)生物特征的難度提高了，因此系統(tǒng)更加安全。

附圖說明

圖1是示出了根據(jù)一種實(shí)施方式的用于多模態(tài)生物特征識(shí)別的方法的流程圖；

圖2是示出了根據(jù)另一種實(shí)施方式的用于多模態(tài)生物特征識(shí)別的方法的流程圖；

圖3示出了根據(jù)又一種實(shí)施方式的用于多模態(tài)生物特征識(shí)別的方法的流程圖；

圖4示出了根據(jù)一種實(shí)施方式的用于多模態(tài)生物特征識(shí)別的裝置的示意性框圖；

圖5示出了根據(jù)各種實(shí)施方式的多模態(tài)生物特征識(shí)別復(fù)合模型。

具體實(shí)施方式

為了便于理解本發(fā)明技術(shù)方案的各個(gè)方面、特征以及優(yōu)點(diǎn)，下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行具體描述。應(yīng)當(dāng)理解，下述的各種實(shí)施方式只用于舉例說明，而非用于限制本發(fā)明的保護(hù)范圍。

根據(jù)一種實(shí)施方式，如圖1所示，本實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的方法可以包括：

s101.針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別；所述不同類型生物特征包括dna、指紋、虹膜、人臉、視網(wǎng)膜、指靜脈、耳型、聲紋、掌形等中的一種或多種。

s103.將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)本實(shí)施方式，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識(shí)別算法的場(chǎng)景局限性。

舉個(gè)例子，采用聲紋識(shí)別和指紋識(shí)別相結(jié)合，避免單獨(dú)聲紋識(shí)別場(chǎng)景中背景音嘈雜，或者指紋識(shí)別場(chǎng)景中指紋不清晰等偶然情況，通過設(shè)置適當(dāng)?shù)慕M合計(jì)算方式，其識(shí)別準(zhǔn)確率大大提高。

在可選實(shí)施方式中，處理s101可以包括針對(duì)所述不同類型生物特征的訓(xùn)練元組進(jìn)行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集，將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識(shí)別的算法模型進(jìn)行分類，以得到所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果。進(jìn)一步地，處理s103可以包括針對(duì)所述不同類型生物特征，計(jì)算所述分類的錯(cuò)誤分類率；根據(jù)所述不同類型生物特征各自的錯(cuò)誤分類率計(jì)算所述不同類型生物特征各自的權(quán)重；根據(jù)所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果和各自的權(quán)重進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)另一種實(shí)施方式，如圖2所示，該實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的方法可以包括：

s201.針對(duì)所述不同類型生物特征的訓(xùn)練元組進(jìn)行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

s203.將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識(shí)別的算法模型進(jìn)行分類，以得到所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果；

s205.將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

同樣地，根據(jù)本實(shí)施方式，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識(shí)別算法的場(chǎng)景局限性。

根據(jù)又一種實(shí)施方式，如圖3所示，該實(shí)施方式提供的用于多模態(tài)生物特征識(shí)別的方法可以包括：

s302.針對(duì)所述不同類型生物特征的訓(xùn)練元組進(jìn)行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

s304.將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識(shí)別的算法模型進(jìn)行分類，以得到所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果；

s306.針對(duì)所述不同類型生物特征，計(jì)算所述分類的錯(cuò)誤分類率；

s308.根據(jù)所述不同類型生物特征各自的錯(cuò)誤分類率計(jì)算所述不同類型生物特征各自的權(quán)重，例如，可以按照下述公式計(jì)算所述權(quán)重：

其中，wi表示第i類生物特征的權(quán)重，error(mi)表示錯(cuò)誤分類率，i為自然數(shù)。

s310.根據(jù)所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果和各自的權(quán)重進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果，例如，可以按照下述公式進(jìn)行所述融合計(jì)算：

其中，r表示多模態(tài)識(shí)別結(jié)果，ri表示第i類生物特征的單模態(tài)識(shí)別結(jié)果，k表示所述不同類型生物特征的類型數(shù)，i為1到k的自然數(shù)。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在上述實(shí)施方式中，用于多模態(tài)生物特征識(shí)別的方法的各個(gè)處理、操作雖然是按照一定順序進(jìn)行描述，但是，所述各處理、操作不一定必須按照上述順序執(zhí)行。

下面描述根據(jù)一種實(shí)施方式的用于多模態(tài)生物特征識(shí)別的裝置。

如圖4所示，用于多模態(tài)生物特征識(shí)別的裝置包括但不限于：

單模態(tài)識(shí)別模塊410，用于針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別；

融合計(jì)算模塊420，用于將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

在另一實(shí)施方式中，所述單模態(tài)識(shí)別模塊410針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別可以包括：

針對(duì)所述不同類型生物特征的訓(xùn)練元組進(jìn)行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識(shí)別的算法模型進(jìn)行分類，以得到所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果。

可選地，所述融合計(jì)算模塊420將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果可以包括：

針對(duì)所述不同類型生物特征，計(jì)算所述分類的錯(cuò)誤分類率；

根據(jù)所述不同類型生物特征各自的錯(cuò)誤分類率計(jì)算所述不同類型生物特征各自的權(quán)重；

根據(jù)所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果和各自的權(quán)重進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)各實(shí)施方式所述的用于多模態(tài)生物特征識(shí)別的裝置，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識(shí)別算法的場(chǎng)景局限性。

下面結(jié)合具體示例對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。

根據(jù)上述各種實(shí)施方式可知，本發(fā)明的實(shí)現(xiàn)方法在多模態(tài)生物識(shí)別的結(jié)果反饋，多模態(tài)生物識(shí)別過程是基于多個(gè)單模態(tài)的識(shí)別結(jié)果計(jì)算的復(fù)合模型，如圖5所示。例如，首先，對(duì)于輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別，將單模態(tài)生物識(shí)別的相似度反饋為一個(gè)百分制的數(shù)字；其次，將上述相似度進(jìn)行結(jié)果融合計(jì)算；最后，計(jì)算出一個(gè)多模態(tài)識(shí)別相似度。單模態(tài)的識(shí)別過程可以分配到不同的cpu(中央處理單元)上，因此，多模態(tài)生物識(shí)別過程是可以并行的。

如圖5所示，對(duì)單一客戶采集其生物信息數(shù)據(jù)d(d1,d2,d3,…)，其中di分別代表某一種生物特征，如d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈等。這些生物特征分別通過對(duì)應(yīng)的單模態(tài)生物特征識(shí)別模型m1、m2、m3、m4、m5進(jìn)行識(shí)別，得到相似度r1、r2、r3…，相似度可以是一個(gè)1-100的分值。上述相似度通過結(jié)果融合模型mmix進(jìn)行結(jié)果融合，最后得到相似度r，在通過閾值進(jìn)行判斷識(shí)別結(jié)果。對(duì)于融合模型mmix的算法，例如，可以采用下述方式。

給定數(shù)據(jù)集d，它包含2個(gè)類標(biāo)記的元組，其中是誤分類n個(gè)與正確分類y個(gè)。

輸入：

·d：類標(biāo)記的訓(xùn)練元組集，假設(shè)當(dāng)前有5種生物特征識(shí)別，d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓(xùn)練元組.

·k：生物特征的類型數(shù)，k＝5

·mi：生物特征識(shí)別的算法模型，其中m1代表人臉，m2代表聲紋，m3代表指紋，m4代表虹膜，m5代表指靜脈算法模型

輸出：一個(gè)多模態(tài)復(fù)合模型

方法：

獲取每個(gè)算法模型的錯(cuò)誤率

(1)將d中其中d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓(xùn)練元組的每個(gè)元組的權(quán)重初始化為1/2；

(2)fori＝1tokdo

(3)針對(duì)人臉、聲紋、指紋、虹膜、指靜脈的訓(xùn)練元組進(jìn)行有放回抽樣得到di；

(4)使用訓(xùn)練集di放入模型mi進(jìn)行分類，得到ri；該模型mi為各個(gè)生物特征識(shí)別的算法模型,ri是一個(gè)1～100分?jǐn)?shù)，表示識(shí)別結(jié)果；

(5)利用算法模型mi分類后，計(jì)算mi的錯(cuò)誤分類率，如下：

其中誤分類n個(gè)與正確分類y個(gè)；

(6)endfor

使用組合分類器對(duì)待測(cè)試生物特征元組x進(jìn)行分類：

(1)將每個(gè)類的權(quán)重初始化為0；

(2)fori＝1tokdo

(3)每個(gè)生物特征的分?jǐn)?shù)權(quán)重如下：

(4)測(cè)試出每個(gè)生物特征識(shí)別算法的分?jǐn)?shù)ri＝mi(x)；

(5)將wi加到ri的權(quán)重

(6)endfor

(7)

在所述實(shí)施方式中，通過5種生物特征進(jìn)行識(shí)別，基于這樣的識(shí)別方法可以獲得如下優(yōu)點(diǎn)：

1.系統(tǒng)可靠性更高，通過對(duì)不同類型的數(shù)據(jù)進(jìn)行融合可以提高系統(tǒng)的性能和容錯(cuò)能力、減少噪聲等不確定因素的影響，達(dá)到更高的準(zhǔn)確率。

2.系統(tǒng)適用性更廣，使用多模態(tài)生物特征識(shí)別，可以使身份識(shí)別系統(tǒng)適用于更廣泛的人群。

3.系統(tǒng)安全性更強(qiáng)，偽造多個(gè)身份特征比偽造一個(gè)生物特征的難度提高了，因此系統(tǒng)更加安全。

此外，各種實(shí)施方式還提供了一種用于多模態(tài)生物特征識(shí)別的系統(tǒng)，所述系統(tǒng)可以包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有一個(gè)或多個(gè)程序；

所述一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)程序時(shí)進(jìn)行如下操作：

針對(duì)輸入的不同類型生物特征分別進(jìn)行單模態(tài)識(shí)別；

將不同類型生物特征的單模態(tài)識(shí)別結(jié)果進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

根據(jù)另一實(shí)施方式，所述一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)程序時(shí)進(jìn)行如下操作：

針對(duì)所述不同類型生物特征的訓(xùn)練元組進(jìn)行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識(shí)別的算法模型進(jìn)行分類，以得到所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果。

根據(jù)另一實(shí)施方式，所述一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)程序時(shí)進(jìn)行如下操作：

針對(duì)所述不同類型生物特征，計(jì)算所述分類的錯(cuò)誤分類率；

根據(jù)所述不同類型生物特征各自的錯(cuò)誤分類率計(jì)算所述不同類型生物特征各自的權(quán)重；

根據(jù)所述不同類型生物特征各自的單模態(tài)識(shí)別結(jié)果和各自的權(quán)重進(jìn)行融合計(jì)算得到多模態(tài)識(shí)別結(jié)果。

其中，按照下述公式計(jì)算所述權(quán)重：

其中，wi表示第i類生物特征的權(quán)重，error(mi)表示錯(cuò)誤分類率，i為自然數(shù)。

其中，按照下述公式進(jìn)行所述融合計(jì)算：

其中，r表示多模態(tài)識(shí)別結(jié)果，ri表示第i類生物特征的單模態(tài)識(shí)別結(jié)果，k表示所述不同類型生物特征的類型數(shù)，i為1到k的自然數(shù)。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件結(jié)合硬件平臺(tái)的方式來實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案對(duì)背景技術(shù)做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。本領(lǐng)技術(shù)人員應(yīng)當(dāng)理解，以上所公開的僅為本發(fā)明的實(shí)施方式而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，依本發(fā)明實(shí)施方式所作的等同變化，仍屬本發(fā)明權(quán)利要求所涵蓋的范圍。