本申請(qǐng)屬于人工智能，尤其涉及一種人臉關(guān)鍵點(diǎn)檢測(cè)方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)，又可稱為人臉對(duì)齊技術(shù)，是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一。人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)的檢測(cè)結(jié)果通?？勺鳛槿四槃?dòng)畫、3d人臉重建和人臉表情分析等其他人臉關(guān)鍵任務(wù)的基礎(chǔ)。這些任務(wù)依賴于人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)的檢測(cè)結(jié)果，并受其精度的影響。

2、人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)的輸入為包括至少一幀人臉圖像的視頻，輸出為人臉關(guān)鍵點(diǎn)信息。相關(guān)技術(shù)中，基于深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)主要包括直接回歸方法和熱圖回歸方法。其中，直接回歸方法通過(guò)端對(duì)端的形式進(jìn)行網(wǎng)絡(luò)訓(xùn)練；熱圖回歸方法利用熱圖作為標(biāo)簽，對(duì)人臉關(guān)鍵點(diǎn)的坐標(biāo)進(jìn)行編碼。

3、然而，直接回歸方法和熱圖回歸方法存在人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果的遮擋魯棒性低的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種人臉關(guān)鍵點(diǎn)檢測(cè)方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，有利于提高人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果的遮擋魯棒性。

2、第一方面，本申請(qǐng)實(shí)施例提供一種人臉關(guān)鍵點(diǎn)檢測(cè)方法，方法包括：

3、獲取待檢測(cè)視頻，待檢測(cè)視頻包括至少一幀目標(biāo)人臉圖像；

4、對(duì)于待檢測(cè)視頻中任一目標(biāo)人臉圖像，利用目標(biāo)骨干網(wǎng)絡(luò)架構(gòu)對(duì)目標(biāo)人臉圖像進(jìn)行特征提取，得到目標(biāo)特征圖；

5、利用目標(biāo)自注意力機(jī)制模塊對(duì)目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息；

6、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。

7、在第一方面的一些可選實(shí)施方式中，利用目標(biāo)自注意力機(jī)制模塊對(duì)目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息，包括：

8、展平目標(biāo)特征圖，得到目標(biāo)數(shù)量的第一特征；

9、利用目標(biāo)自注意力機(jī)制模塊對(duì)第一特征進(jìn)行信息提取，得到目標(biāo)全局信息。

10、在第一方面的一些可選實(shí)施方式中，目標(biāo)自注意力機(jī)制模塊包括剪枝后的transformer模型。

11、在第一方面的一些可選實(shí)施方式中，目標(biāo)數(shù)量根據(jù)目標(biāo)特征圖的高度和寬度確定。

12、在第一方面的一些可選實(shí)施方式中，利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

13、將目標(biāo)全局信息恢復(fù)至二維特征圖，得到目標(biāo)二維特征圖；

14、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)二維特征圖進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。

15、在第一方面的一些可選實(shí)施方式中，目標(biāo)二維特征圖包括多個(gè)錨點(diǎn)，目標(biāo)輸出網(wǎng)絡(luò)包括偏差估計(jì)分支和錨點(diǎn)響應(yīng)分支，

16、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)二維特征圖進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

17、對(duì)于多個(gè)錨點(diǎn)中任一個(gè)錨點(diǎn)，利用偏差估計(jì)分支對(duì)目標(biāo)二維特征圖進(jìn)行檢測(cè)，得到錨點(diǎn)與目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)之間的目標(biāo)偏差距離；

18、對(duì)于多個(gè)錨點(diǎn)中任一個(gè)錨點(diǎn)，利用錨點(diǎn)響應(yīng)分支對(duì)目標(biāo)二維特征圖進(jìn)行檢測(cè)，得到錨點(diǎn)的目標(biāo)響應(yīng)值；

19、根據(jù)目標(biāo)偏差距離和目標(biāo)響應(yīng)值，確定目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。

20、在第一方面的一些可選實(shí)施方式中，目標(biāo)關(guān)鍵點(diǎn)信息包括目標(biāo)人臉關(guān)鍵點(diǎn)坐標(biāo)，根據(jù)目標(biāo)偏差距離和目標(biāo)響應(yīng)值，確定目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

21、對(duì)于多個(gè)錨點(diǎn)中任一個(gè)錨點(diǎn)，根據(jù)錨點(diǎn)的錨點(diǎn)坐標(biāo)和目標(biāo)偏差距離，確定目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的初始關(guān)鍵點(diǎn)坐標(biāo)；

22、對(duì)于任一個(gè)目標(biāo)響應(yīng)值，利用預(yù)設(shè)函數(shù)對(duì)目標(biāo)響應(yīng)值進(jìn)行處理，得到目標(biāo)權(quán)重值；

23、根據(jù)初始關(guān)鍵點(diǎn)坐標(biāo)和目標(biāo)權(quán)重值，確定目標(biāo)人臉關(guān)鍵點(diǎn)坐標(biāo)。

24、在第一方面的一些可選實(shí)施方式中，待檢測(cè)視頻包括至少兩幀目標(biāo)人臉圖像；

25、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息之后，方法還包括：

26、利用目標(biāo)長(zhǎng)短期記憶網(wǎng)絡(luò)模塊，對(duì)目標(biāo)人臉圖像的前n幀人臉圖像的全局信息以及目標(biāo)全局信息進(jìn)行融合處理，得到融合后的全局信息，n為正整數(shù)；

27、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

28、利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)融合后的全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。

29、基于相同的發(fā)明構(gòu)思，第二方面，本申請(qǐng)實(shí)施例提供了一種人臉關(guān)鍵點(diǎn)檢測(cè)裝置，裝置包括：

30、獲取模塊，用于獲取待檢測(cè)視頻，待檢測(cè)視頻包括至少一幀目標(biāo)人臉圖像；

31、特征提取模塊，用于對(duì)于待檢測(cè)視頻中任一目標(biāo)人臉圖像，利用目標(biāo)骨干網(wǎng)絡(luò)架構(gòu)對(duì)目標(biāo)人臉圖像進(jìn)行特征提取，得到目標(biāo)特征圖；

32、信息提取模塊，用于利用目標(biāo)自注意力機(jī)制模塊對(duì)目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息；

33、檢測(cè)模塊，用于利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。

34、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，設(shè)備包括：

35、處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；

36、處理器執(zhí)行計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)如第一方面所述的人臉關(guān)鍵點(diǎn)檢測(cè)方法。

37、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，上述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面的人臉關(guān)鍵點(diǎn)檢測(cè)方法。

38、第五方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序指令，計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面的人臉關(guān)鍵點(diǎn)檢測(cè)方法。

39、根據(jù)本申請(qǐng)實(shí)施例提供的人臉關(guān)鍵點(diǎn)檢測(cè)方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，對(duì)于待檢測(cè)視頻中任一目標(biāo)人臉圖像，利用目標(biāo)骨干網(wǎng)絡(luò)架構(gòu)對(duì)目標(biāo)人臉圖像進(jìn)行特征提取，得到目標(biāo)特征圖；然后，利用目標(biāo)自注意力機(jī)制模塊對(duì)目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息；再利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。也就是說(shuō)，在本申請(qǐng)實(shí)施例中，通過(guò)目標(biāo)自注意力機(jī)制模塊能夠提取到目標(biāo)特征圖的目標(biāo)全局信息，進(jìn)而利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，有利于提高目標(biāo)關(guān)鍵點(diǎn)信息的遮擋魯棒性，也即有利于提高人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果的遮擋魯棒性。

技術(shù)特征：

1.一種人臉關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用目標(biāo)自注意力機(jī)制模塊對(duì)所述目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息，包括：

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述目標(biāo)自注意力機(jī)制模塊包括剪枝后的transformer模型。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述目標(biāo)數(shù)量根據(jù)所述目標(biāo)特征圖的高度和寬度確定。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)所述目標(biāo)全局信息進(jìn)行檢測(cè)，得到所述目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述目標(biāo)二維特征圖包括多個(gè)錨點(diǎn)，所述目標(biāo)輸出網(wǎng)絡(luò)包括偏差估計(jì)分支和錨點(diǎn)響應(yīng)分支，

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述目標(biāo)關(guān)鍵點(diǎn)信息包括目標(biāo)人臉關(guān)鍵點(diǎn)坐標(biāo)，所述根據(jù)所述目標(biāo)偏差距離和所述目標(biāo)響應(yīng)值，確定所述目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待檢測(cè)視頻包括至少兩幀目標(biāo)人臉圖像；

9.一種人臉關(guān)鍵點(diǎn)檢測(cè)裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，所述設(shè)備包括：處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8任意一項(xiàng)所述的人臉關(guān)鍵點(diǎn)檢測(cè)方法。

12.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8任意一項(xiàng)所述的人臉關(guān)鍵點(diǎn)檢測(cè)方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種人臉關(guān)鍵點(diǎn)檢測(cè)方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，涉及人工智能技術(shù)領(lǐng)域。人臉關(guān)鍵點(diǎn)檢測(cè)方法包括：獲取待檢測(cè)視頻，待檢測(cè)視頻包括至少一幀目標(biāo)人臉圖像；對(duì)于待檢測(cè)視頻中任一目標(biāo)人臉圖像，利用目標(biāo)骨干網(wǎng)絡(luò)架構(gòu)對(duì)目標(biāo)人臉圖像進(jìn)行特征提取，得到目標(biāo)特征圖；利用目標(biāo)自注意力機(jī)制模塊對(duì)目標(biāo)特征圖進(jìn)行信息提取，得到目標(biāo)全局信息；利用目標(biāo)輸出網(wǎng)絡(luò)對(duì)目標(biāo)全局信息進(jìn)行檢測(cè)，得到目標(biāo)人臉圖像中目標(biāo)人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的目標(biāo)關(guān)鍵點(diǎn)信息。根據(jù)本申請(qǐng)實(shí)施例，有利于提高人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果的遮擋魯棒性。

技術(shù)研發(fā)人員：孫玥,蒲琪然,程耀
受保護(hù)的技術(shù)使用者：中移（杭州）信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21