本發(fā)明涉及人臉識(shí)別，尤其涉及一種人臉攻擊檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、人臉攻擊檢測(cè)技術(shù)是可信人臉認(rèn)證領(lǐng)域的核心關(guān)鍵技術(shù)，主要用于防御人臉識(shí)別時(shí)，不法分子利用被攻擊人的照片、翻拍視頻、面具等實(shí)施假臉攻擊，或者利用換臉軟件等工具實(shí)施的深度視頻偽造攻擊，亦或加入擾動(dòng)噪聲引導(dǎo)系統(tǒng)發(fā)生人臉圖片誤識(shí)別的深度對(duì)抗攻擊，對(duì)公共安全、經(jīng)濟(jì)安全、信息安全、個(gè)人隱私都產(chǎn)生了重大風(fēng)險(xiǎn)隱患。

2、近年出現(xiàn)多模態(tài)生物特征認(rèn)證技術(shù)(如：人臉、虹膜、指紋、聲紋等多生物特征)、多模態(tài)圖像融合技術(shù)(如：近紅外、光場(chǎng)相機(jī)、3d結(jié)構(gòu)光等多光線采集圖像)，但上述兩類多模態(tài)技術(shù)均存在采集成本高、難度大、硬件設(shè)備昂貴等問(wèn)題，導(dǎo)致手機(jī)等移動(dòng)設(shè)備并未配置上述傳感器，故不具備上述多模態(tài)特征或多種模態(tài)圖像的采集能力，因此現(xiàn)有的多模態(tài)技術(shù)手段在手機(jī)終端均不切實(shí)際，無(wú)法應(yīng)用于多模態(tài)可信人臉?lè)拦魴z測(cè)。此外，上述多模態(tài)生物特征或者圖像融合技術(shù)需要對(duì)應(yīng)多種模型，這些模型聯(lián)合實(shí)現(xiàn)人臉?lè)拦簦捎谏婕岸鄠€(gè)模型，顯而易見(jiàn)，會(huì)增加模型訓(xùn)練成本，包括訓(xùn)練時(shí)間和訓(xùn)練資源；進(jìn)入產(chǎn)線推理階段，也會(huì)增加產(chǎn)線推理的計(jì)算時(shí)間，高并發(fā)的情況下，對(duì)產(chǎn)線推理的算力要求會(huì)更高；多種模態(tài)多種模型也不利于多模態(tài)特征的深度融合。綜上，現(xiàn)有多模態(tài)對(duì)應(yīng)的多模型技術(shù)會(huì)影響計(jì)算效率，模型整體響應(yīng)時(shí)間會(huì)變長(zhǎng)，用戶體驗(yàn)不好，不適用于手機(jī)等終端設(shè)備應(yīng)用的場(chǎng)景，因此現(xiàn)有的多種模型手段聯(lián)合的防攻擊檢測(cè)技術(shù)需要改變。

3、上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種人臉攻擊檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)避免多種模型聯(lián)合而導(dǎo)致的計(jì)算效率低、響應(yīng)時(shí)間長(zhǎng)的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種人臉攻擊檢測(cè)方法，所述人臉攻擊檢測(cè)方法包括以下步驟：

3、獲取多模態(tài)原始云端數(shù)據(jù)，并根據(jù)所述多模態(tài)原始數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)；

4、根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型；

5、在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊。

6、可選地，所述獲取多模態(tài)原始數(shù)據(jù)，并根據(jù)所述多模態(tài)原始數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)，包括：

7、設(shè)計(jì)各模態(tài)的多模態(tài)數(shù)據(jù)維度和入模字段；

8、獲取多模態(tài)原始云端數(shù)據(jù)，并根據(jù)多模態(tài)數(shù)據(jù)維度和所述入模字段抽取所述多模態(tài)原始云端數(shù)據(jù)的入模數(shù)據(jù)；

9、根據(jù)所述入模數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)。

10、可選地，所述根據(jù)多模態(tài)數(shù)據(jù)維度和所述入模字段抽取所述多模態(tài)原始云端數(shù)據(jù)的入模數(shù)據(jù)，包括：

11、根據(jù)所述多模態(tài)數(shù)據(jù)維度和所述入模字段從所述多模態(tài)原始云端數(shù)據(jù)抽取原始入模數(shù)據(jù)；

12、對(duì)所述原始入模數(shù)據(jù)進(jìn)行數(shù)據(jù)拼接和結(jié)構(gòu)化，得到入模數(shù)據(jù)。

13、可選地，所述根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型，包括：

14、根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)成雙骨干網(wǎng)絡(luò)；

15、基于所述雙骨干網(wǎng)絡(luò)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型。

16、可選地，所述根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)成雙骨干網(wǎng)絡(luò)，包括：

17、根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)得到視覺(jué)骨干網(wǎng)絡(luò)；

18、根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)和預(yù)設(shè)嵌入向量網(wǎng)絡(luò)得到行為骨干網(wǎng)絡(luò)；

19、對(duì)所述視覺(jué)骨干網(wǎng)絡(luò)和所述行為骨干網(wǎng)絡(luò)進(jìn)行聯(lián)合構(gòu)成雙骨干網(wǎng)絡(luò)。

20、可選地，所述在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊，包括：

21、在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，根據(jù)所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)在所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)中調(diào)取歷史證據(jù)鏈數(shù)據(jù)；

22、根據(jù)所述歷史證據(jù)鏈數(shù)據(jù)和所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)得到實(shí)時(shí)結(jié)構(gòu)化入模數(shù)據(jù)；

23、將所述實(shí)時(shí)結(jié)構(gòu)化入模數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊。

24、可選地，所述將所述實(shí)時(shí)結(jié)構(gòu)化入模數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊，包括：

25、將所述結(jié)構(gòu)化入模數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型，得到當(dāng)前用戶的人臉攻擊檢測(cè)得分；

26、根據(jù)所述人臉攻擊檢測(cè)得分判斷是否存在人臉攻擊。

27、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種人臉攻擊檢測(cè)裝置，所述人臉攻擊檢測(cè)裝置包括：

28、模型構(gòu)建模塊，用于根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型；

29、攻擊檢測(cè)模塊，用于在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊。

30、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種人臉攻擊檢測(cè)設(shè)備，所述人臉攻擊檢測(cè)設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并在所述處理器上運(yùn)行的人臉攻擊檢測(cè)程序，所述人臉攻擊檢測(cè)程序配置為實(shí)現(xiàn)如上文所述的人臉攻擊檢測(cè)方法。

31、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有人臉攻擊檢測(cè)程序，所述人臉攻擊檢測(cè)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的人臉攻擊檢測(cè)方法。

32、本發(fā)明獲取多模態(tài)原始云端數(shù)據(jù)，并根據(jù)所述多模態(tài)原始數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)；根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型；在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊。通過(guò)這種方式，實(shí)現(xiàn)了通過(guò)構(gòu)建視覺(jué)和云網(wǎng)端數(shù)據(jù)多模態(tài)一套端到端統(tǒng)一的深度融合的人臉攻擊檢測(cè)模型，解決多種模型而導(dǎo)致的計(jì)算效率低、響應(yīng)時(shí)間長(zhǎng)的問(wèn)題。

技術(shù)特征：

1.一種人臉攻擊檢測(cè)方法，其特征在于，所述人臉攻擊檢測(cè)方法包括：

2.如權(quán)利要求1所述的人臉攻擊檢測(cè)方法，其特征在于，所述獲取多模態(tài)原始數(shù)據(jù)，并根據(jù)所述多模態(tài)原始數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)，包括：

3.如權(quán)利要求2所述的人臉攻擊檢測(cè)方法，其特征在于，所述根據(jù)多模態(tài)數(shù)據(jù)維度和所述入模字段抽取所述多模態(tài)原始云端數(shù)據(jù)的入模數(shù)據(jù)，包括：

4.如權(quán)利要求1所述的人臉攻擊檢測(cè)方法，其特征在于，所述根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型，包括：

5.如權(quán)利要求4所述的人臉攻擊檢測(cè)方法，其特征在于，所述根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)成雙骨干網(wǎng)絡(luò)，包括：

6.如權(quán)利要求1所述的人臉攻擊檢測(cè)方法，其特征在于，所述在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊，包括：

7.如權(quán)利要求6所述的人臉攻擊檢測(cè)方法，其特征在于，所述將所述實(shí)時(shí)結(jié)構(gòu)化入模數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊，包括：

8.一種人臉攻擊檢測(cè)裝置，其特征在于，所述人臉攻擊檢測(cè)裝置包括：

9.一種人臉攻擊檢測(cè)設(shè)備，其特征在于，所述人臉攻擊檢測(cè)設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并在所述處理器上運(yùn)行的人臉攻擊檢測(cè)程序，所述人臉攻擊檢測(cè)程序配置為實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的人臉攻擊檢測(cè)方法。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有人臉攻擊檢測(cè)程序，所述人臉攻擊檢測(cè)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的人臉攻擊檢測(cè)方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種人臉攻擊檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于人臉識(shí)別技術(shù)領(lǐng)域。本發(fā)明通過(guò)獲取多模態(tài)原始云端數(shù)據(jù)，并根據(jù)所述多模態(tài)原始數(shù)據(jù)構(gòu)建多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)；根據(jù)所述多模態(tài)證據(jù)鏈數(shù)據(jù)庫(kù)構(gòu)建多模態(tài)人臉攻擊檢測(cè)模型；在接收到當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)時(shí)，將所述當(dāng)前用戶實(shí)時(shí)數(shù)據(jù)輸入所述多模態(tài)人臉攻擊檢測(cè)模型判斷是否存在人臉攻擊。通過(guò)這種方式，實(shí)現(xiàn)了通過(guò)構(gòu)建視覺(jué)和云網(wǎng)端數(shù)據(jù)多模態(tài)一套端到端統(tǒng)一的深度融合的人臉攻擊檢測(cè)模型，解決多種模型而導(dǎo)致的計(jì)算效率低、響應(yīng)時(shí)間長(zhǎng)的問(wèn)題。

技術(shù)研發(fā)人員：高麗,孫健,陳丹霞,郝文超
受保護(hù)的技術(shù)使用者：中移動(dòng)金融科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21