本申請涉及視頻處理領(lǐng)域，具體涉及一種視頻片段生成方法、裝置、設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有生成短視頻的方式包括視頻編輯軟件和視頻生成器。然而，視頻編輯軟件的方式需要人工先觀看整段視頻，然后判斷視頻高光片段在視頻中的時間位置，進(jìn)行人工打點剪輯，提取高光視頻片段，流程慢、效率低，無法滿足快速生產(chǎn)高光片段的需求；視頻生成器的方式通過自定義文字、音樂和圖像等元素生成短視頻，其方法并不適用基于長視頻生成短視頻的要求。

技術(shù)實現(xiàn)思路

1、本申請實施例提供一種視頻片段生成方法、裝置、設(shè)備及可讀存儲介質(zhì)，用以解決現(xiàn)有生成視頻片段的方案存在的泛化能力低和效率低的技術(shù)問題。

2、第一方面，本申請實施例提供一種視頻片段生成方法，包括：

3、對目標(biāo)視頻進(jìn)行抽幀處理得到目標(biāo)圖像幀；

4、對各所述目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，得到各所述目標(biāo)圖像幀中的關(guān)鍵圖像幀；

5、基于所述關(guān)鍵圖像幀對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。

6、在一個實施例中，所述對各所述目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，得到各所述目標(biāo)圖像幀中的關(guān)鍵圖像幀包括：

7、對各所述目標(biāo)圖像幀進(jìn)行人臉檢測，篩選各所述目標(biāo)圖像幀中符合人臉數(shù)量條件或人臉相對位置條件的第一圖像幀；

8、基于圖文對比學(xué)習(xí)預(yù)訓(xùn)練模型對各所述第一圖像幀進(jìn)行目標(biāo)行為檢測，得到各所述第一圖像幀中的關(guān)鍵圖像幀；所述圖文對比學(xué)習(xí)預(yù)訓(xùn)練模型是基于弱監(jiān)督圖文對數(shù)據(jù)訓(xùn)練得到的。

9、在一個實施例中，所述對各所述目標(biāo)圖像幀進(jìn)行人臉檢測，篩選各所述目標(biāo)圖像幀中符合人臉數(shù)量條件或人臉相對位置條件的第一圖像幀包括：

10、在人臉數(shù)量條件為兩個人臉且人臉相對位置條件為人臉關(guān)鍵點坐標(biāo)差的情況下，篩選各所述目標(biāo)圖像幀中包含兩個人臉的圖像幀，得到符合所述人臉數(shù)量條件的第一圖像幀；

11、篩選各所述目標(biāo)圖像幀中包含兩個人臉檢測框，且兩個人臉檢測框?qū)?yīng)的人臉關(guān)鍵點的坐標(biāo)差符合預(yù)設(shè)條件的圖像幀，得到符合所述人臉相對位置條件的第一圖像幀。

12、在一個實施例中，篩選各所述目標(biāo)圖像幀中符合所述人臉相對位置條件的第一圖像幀包括：

13、確定各所述人臉檢測框?qū)?yīng)的人臉關(guān)鍵點坐標(biāo)，得到人臉關(guān)鍵點高度坐標(biāo)差和人臉關(guān)鍵點寬度坐標(biāo)差；

14、確定兩個人臉檢測框中面積最大的目標(biāo)檢測框，得到目標(biāo)檢測框?qū)挾群湍繕?biāo)檢測框高度；

15、基于所述人臉關(guān)鍵點高度坐標(biāo)差與所述目標(biāo)檢測框高度的對比結(jié)果，以及所述人臉關(guān)鍵點寬度坐標(biāo)差與所述目標(biāo)檢測框?qū)挾鹊膶Ρ冉Y(jié)果，篩選第一圖像幀。

16、在一個實施例中，對各所述目標(biāo)圖像幀進(jìn)行人臉檢測，篩選各所述目標(biāo)圖像幀中符合人臉屬性條件和所述人臉數(shù)量條件的第一圖像幀包括：

17、在所述人臉數(shù)量條件為兩個人臉且人臉屬性條件為年齡段的情況下，篩選各所述目標(biāo)圖像幀中包含兩個人臉的圖像幀，得到各人臉對應(yīng)的年齡段；

18、篩選各所述目標(biāo)圖像幀中包含兩個人臉，且各人臉對應(yīng)的年齡段符合預(yù)設(shè)區(qū)間的第一圖像幀。

19、在一個實施例中，所述基于所述關(guān)鍵圖像幀對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段包括：

20、基于所述目標(biāo)圖像幀的人臉數(shù)量檢測結(jié)果和目標(biāo)行為檢測結(jié)果，對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。

21、在一個實施例中，所述基于所述目標(biāo)圖像幀的人臉數(shù)量檢測結(jié)果和目標(biāo)行為檢測結(jié)果，對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段包括：

22、確定各所述目標(biāo)圖像幀中所述關(guān)鍵圖像幀之后的相鄰圖像幀；

23、在所述相鄰圖像幀為零人臉圖像幀的情況下，確定所述關(guān)鍵圖像幀和所述相鄰圖像幀之間最后一幀雙人臉圖像幀；

24、基于所述相鄰圖像幀和所述雙人臉圖像幀的色差，對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。

25、第二方面，本申請實施例提供一種視頻片段生成裝置，包括：

26、抽幀模塊，用于對目標(biāo)視頻進(jìn)行抽幀處理得到目標(biāo)圖像幀；

27、目標(biāo)圖像幀檢測模塊，用于對各所述目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，得到各所述目標(biāo)圖像幀中的關(guān)鍵圖像幀；

28、視頻片段截取模塊，用于基于所述關(guān)鍵圖像幀對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。

29、第三方面，本申請實施例提供一種設(shè)備，包括處理器和存儲有計算機程序的存儲器，所述處理器執(zhí)行所述計算機程序時實現(xiàn)第一方面所述的視頻片段生成方法。

30、第四方面，本申請實施例提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所述的視頻片段生成方法。

31、本申請實施例提供的視頻片段生成方法、裝置、設(shè)備及可讀存儲介質(zhì)，通過對待處理的目標(biāo)視頻進(jìn)行抽幀處理得到目標(biāo)圖像幀，然后對各目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，基于檢測結(jié)果篩選各目標(biāo)圖像幀中的關(guān)鍵圖像幀，最后在關(guān)鍵圖像幀的基礎(chǔ)上，對目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。適用于各種類型的長視頻，泛化能力強，生成關(guān)鍵視頻片段的效率高。

技術(shù)特征：

1.一種視頻片段生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的視頻片段生成方法，其特征在于，所述對各所述目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，得到各所述目標(biāo)圖像幀中的關(guān)鍵圖像幀包括：

3.根據(jù)權(quán)利要求2所述的視頻片段生成方法，其特征在于，所述對各所述目標(biāo)圖像幀進(jìn)行人臉檢測，篩選各所述目標(biāo)圖像幀中符合人臉數(shù)量條件或人臉相對位置條件的第一圖像幀包括：

4.根據(jù)權(quán)利要求3所述的視頻片段生成方法，其特征在于，篩選各所述目標(biāo)圖像幀中符合所述人臉相對位置條件的第一圖像幀包括：

5.根據(jù)權(quán)利要求2所述的視頻片段生成方法，其特征在于，對各所述目標(biāo)圖像幀進(jìn)行人臉檢測，篩選各所述目標(biāo)圖像幀中符合人臉屬性條件和所述人臉數(shù)量條件的第一圖像幀包括：

6.根據(jù)權(quán)利要求1所述的視頻片段生成方法，其特征在于，所述基于所述關(guān)鍵圖像幀對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段包括：

7.根據(jù)權(quán)利要求6所述的視頻片段生成方法，其特征在于，所述基于所述目標(biāo)圖像幀的人臉數(shù)量檢測結(jié)果和目標(biāo)行為檢測結(jié)果，對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段包括：

8.一種視頻片段生成裝置，其特征在于，包括：

9.一種電子設(shè)備，包括處理器和存儲有計算機程序的存儲器，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7任一項所述的視頻片段生成方法。

10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述視頻片段生成方法。

技術(shù)總結(jié)
本申請涉及視頻處理領(lǐng)域，提供一種視頻片段生成方法、裝置、設(shè)備及可讀存儲介質(zhì)。所述視頻片段生成方法包括：對目標(biāo)視頻進(jìn)行抽幀處理得到目標(biāo)圖像幀；對各所述目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，得到各所述目標(biāo)圖像幀中的關(guān)鍵圖像幀；基于所述關(guān)鍵圖像幀對所述目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。本申請通過對待處理的目標(biāo)視頻進(jìn)行抽幀處理得到目標(biāo)圖像幀，然后對各目標(biāo)圖像幀進(jìn)行人臉檢測和目標(biāo)行為檢測，基于檢測結(jié)果篩選各目標(biāo)圖像幀中的關(guān)鍵圖像幀，最后在關(guān)鍵圖像幀的基礎(chǔ)上，對目標(biāo)視頻的片段進(jìn)行截取，得到關(guān)鍵視頻片段。適用于各種類型的長視頻，泛化能力強，生成關(guān)鍵視頻片段的效率高。

技術(shù)研發(fā)人員：丁隆乾,楊松,徐京華,陸?？?羅紅
受保護(hù)的技術(shù)使用者：中移（杭州）信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21