本發(fā)明涉及視頻處理，具體地，涉及一種基于transformer和可變形卷積的視頻插幀方法、系統(tǒng)、終端及介質(zhì)。

背景技術(shù)：

1、視頻是最主要的信息傳遞方式之一。隨著顯示設(shè)備的不斷發(fā)展，高刷新率的顯示技術(shù)已經(jīng)非常成熟，許多廠家已經(jīng)生產(chǎn)出了刷新率高達(dá)120hz和144hz的屏幕，高刷新率設(shè)備為用戶帶來了更好的觀看體驗(yàn)。但與之對應(yīng)的是高幀率視頻內(nèi)容的相對匱乏、用戶需求得不到滿足、主流視頻資源依舊處于低幀率的狀態(tài)。如果視頻的幀率太低，幀間存在快速運(yùn)動物體或幀間間隔過長，將導(dǎo)致畫面內(nèi)容運(yùn)動變得不流暢，這會影響觀眾的觀看體驗(yàn)。通過使用視頻插幀技術(shù)，可以在視頻幀之間插入新幀，以提高視頻幀率，使視頻看起來更加流暢和自然，從而改善視頻觀感。但是，大尺度運(yùn)動、非線性運(yùn)動等幀間長距離運(yùn)動會導(dǎo)致幀間差異較大，從而產(chǎn)生如背景混淆、物體遮擋等復(fù)雜遮擋情況，在進(jìn)行插幀任務(wù)時會降低合成中間幀的質(zhì)量。

2、伴隨著深度學(xué)習(xí)的發(fā)展，視頻插幀問題也產(chǎn)生了許多新的解決方案，各式各樣的深度神經(jīng)網(wǎng)絡(luò)模型應(yīng)運(yùn)而生。數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡(luò)不需要任何先驗(yàn)知識及運(yùn)動假設(shè)，通過大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，便可以很好的解決視頻插幀問題，產(chǎn)生較為滿意的插幀效果。但是大尺度運(yùn)動、非線性運(yùn)動等幀間長距離運(yùn)動仍會導(dǎo)致幀間差異較大，從而產(chǎn)生如背景混淆、物體遮擋等復(fù)雜遮擋情況，在進(jìn)行插幀任務(wù)時會降低合成中間幀的質(zhì)量。因此如何建立目標(biāo)的長距離依賴關(guān)系，從而捕獲幀與幀之間的快速運(yùn)動區(qū)域，實(shí)現(xiàn)更好的插幀效果至關(guān)重要，也是本領(lǐng)域亟待解決的問題。

3、經(jīng)過檢索發(fā)現(xiàn)：

4、公開號為cn117544788a的中國發(fā)明專利申請《一種基于transformer的視頻插幀方法及相關(guān)產(chǎn)品》，針對待插幀視頻中每對相鄰幀aps圖像，獲取在相鄰幀aps圖像的整體曝光時間內(nèi)同步采集的目標(biāo)事件數(shù)據(jù)；基于相鄰幀aps圖像以及目標(biāo)事件數(shù)據(jù)，獲取多個模型輸入數(shù)據(jù)；分別將多個模型輸入數(shù)據(jù)輸入至訓(xùn)練完成的基于transformer的視頻插幀模型，輸出相鄰幀aps圖像對應(yīng)的潛在aps圖像幀組合；分別將不同潛在aps圖像幀組合插入至對應(yīng)的相鄰幀aps圖像之間，得到插幀完成視頻。該方法仍存在如下技術(shù)問題：

5、該方法只針對aps圖像進(jìn)行處理，并不能針對已有的大量視頻資源進(jìn)行視頻插幀處理；該方法利用swin?transformer結(jié)構(gòu)來進(jìn)行特征提取，但是其網(wǎng)絡(luò)結(jié)構(gòu)的感受野受限，對于幀間長距離運(yùn)動難以充分捕獲，從而影響插幀性能。

6、公開號為cn115002379a的中國發(fā)明專利《視頻插幀方法、訓(xùn)練方法、裝置、電子設(shè)備和存儲介質(zhì)》，在訓(xùn)練方法中，首先通過非局部神經(jīng)網(wǎng)絡(luò)建立輸入的兩個視頻幀間的全局時空依賴關(guān)系并得到第一、第三幀特征圖；其次，將第一、第三幀特征圖通過自適應(yīng)融合模塊生成粗糙的中間幀特征圖，以消除經(jīng)由非局部神經(jīng)網(wǎng)絡(luò)產(chǎn)生的時空冗余信息；之后，對該粗糙的中間幀特征圖進(jìn)行可變形卷積得到精確的中間幀特征圖，以自參考的方式降低誤差；最后，將所述精確的中間幀特征圖輸入到重建網(wǎng)絡(luò)中生成中間幀，以供確定是否停止訓(xùn)練并得到視頻插幀模型。該方法仍存在如下技術(shù)問題：

7、該方法通過對兩個輸入幀進(jìn)行操作，導(dǎo)致參考信息有限，難以充分體現(xiàn)長距離運(yùn)動情況下幀間的運(yùn)動信息；該方法使用非局部神經(jīng)網(wǎng)絡(luò)來建立全局時空依賴關(guān)系，該網(wǎng)絡(luò)的全局特征提取能力有限，無法充分利用幀間和幀內(nèi)的長距離運(yùn)動特征。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于transformer和可變形卷積的視頻插幀方法、系統(tǒng)、終端及介質(zhì)。

2、根據(jù)本發(fā)明的一個方面，提供一種基于transformer和可變形卷積的視頻插幀方法，包括：

3、將視頻轉(zhuǎn)化為幀序列；

4、利用transformer，對所述第一幀序列進(jìn)行時空特征提取，并利用可變形卷積，基于提取的所述時空特征進(jìn)行幀合成，生成目標(biāo)幀

5、利用所述目標(biāo)幀對所述第一幀序列進(jìn)行插幀處理提高視頻幀率，得到第二幀序列；

6、將所述第二幀序列轉(zhuǎn)化為新視頻。

7、優(yōu)選地，所述將視頻轉(zhuǎn)化為幀序列，包括：

8、針對常見的多種視頻格式如mp4、avi、mov等格式將視頻轉(zhuǎn)化為幀序列，將視頻切分為單幀保存，得到第一幀序列。

9、優(yōu)選地，利用transformer，對所述第一幀序列進(jìn)行時空特征提取，并利用可變形卷積，基于提取的所述時空特征進(jìn)行幀合成，生成目標(biāo)幀，包括：

10、對輸入的連續(xù)幀進(jìn)行特征嵌入，得到淺層特征；

11、對淺層特征分別進(jìn)行空間維度特征的提取和時間維度的特征提取；

12、通過將提取到的特征進(jìn)行融合，然后生成可變形卷積所需要的參數(shù)，進(jìn)行目標(biāo)幀合成。

13、優(yōu)選地，所述對輸入的連續(xù)幀進(jìn)行特征嵌入，包括：

14、對于已經(jīng)轉(zhuǎn)化好的連續(xù)時間幀，在通道維度進(jìn)行疊加，保持固有的時間序列信息，進(jìn)行特征嵌入。

15、優(yōu)選地，所述對淺層特征分別進(jìn)行空間維度特征的提取和時間維度的特征提取，包括：

16、在空間維度上進(jìn)行特征提取，分別進(jìn)行水平窗口和垂直窗口的自注意力機(jī)制計(jì)算，建立空間長距離依賴關(guān)系，得到空間維度的特征；

17、在時間維度上進(jìn)行特征提取，利用自注意力機(jī)制建立像素在時間維度的長距離依賴關(guān)系，得到時間維度的特征。

18、優(yōu)選地，所述通過將提取到的特征進(jìn)行融合，然后生成可變形卷積所需要的參數(shù)，進(jìn)行目標(biāo)幀合成，包括：

19、針對提取到的時空特征進(jìn)行特征融合；

20、利用融合后的特征分別生成可變形卷積所需要的參數(shù)；

21、利用可變形卷積針對原始輸入幀進(jìn)行可變形卷積操作，生成中間目標(biāo)幀。

22、優(yōu)選地，所述利用所述目標(biāo)幀對所述第一幀序列進(jìn)行插幀處理，得到第二幀序列，將所述第二幀序列轉(zhuǎn)化為新視頻，包括：

23、對已經(jīng)生成的目標(biāo)幀進(jìn)行整理，按照所述第一幀序列中的時間位置進(jìn)行對應(yīng)插入，得到第二幀序列；

24、將第二幀序列轉(zhuǎn)化為所需要的視頻格式如mp4,avi,mov等格式保存。

25、根據(jù)本發(fā)明的第二個方面，提供一種視頻插幀系統(tǒng)，包括：

26、視頻和幀轉(zhuǎn)化模塊，該模塊用于將原視頻轉(zhuǎn)化為第一幀序列，以及將所述第二幀序列轉(zhuǎn)化為新視頻；

27、時空特征提取模塊，該模塊利用transformer，對所述第一幀序列進(jìn)行時空特征提取；

28、目標(biāo)幀合成模塊，該模塊利用可變形卷積，基于提取的所述時空特征進(jìn)行幀合成，生成目標(biāo)幀；

29、視頻插幀模塊，該模塊利用所述目標(biāo)幀對所述第一幀序列進(jìn)行插幀處理，得到第二幀序列。

30、優(yōu)選地，所述時空特征提取模塊，包括：

31、基于空間維度水平窗口自注意力機(jī)制的特征提取模塊；

32、基于空間維度垂直窗口自注意力機(jī)制的特征提取模塊；

33、空間特征融合模塊，對上述提取的兩個空間特征進(jìn)行融合；

34、基于時間維度垂直窗口自注意力機(jī)制的特征提取模塊；

35、前饋神經(jīng)網(wǎng)絡(luò)模塊，對時空自注意力機(jī)制的計(jì)算結(jié)果進(jìn)一步進(jìn)行特征的處理。

36、優(yōu)選地，所述目標(biāo)幀合成模塊，包括：

37、特征融合模塊，將上述進(jìn)一步處理的特征進(jìn)行融合；

38、參數(shù)生成模塊，生成可變形卷積需要的參數(shù)；

39、幀合成模塊，基于所述參數(shù)利用可變形卷積操作生成目標(biāo)幀。

40、優(yōu)選地，所述參數(shù)生成模塊，生成可變形卷積需要的參數(shù)，包括：

41、水平位移參數(shù)生成；

42、垂直位移參數(shù)生成；

43、水平卷積核參數(shù)生成；

44、垂直卷積核參數(shù)生成；

45、調(diào)制系數(shù)生成。

46、根據(jù)本發(fā)明的第三個方面，提供一種計(jì)算機(jī)終端，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中任一項(xiàng)所述的系統(tǒng)。

47、根據(jù)本發(fā)明的第四個方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時可用于執(zhí)行本發(fā)明上述中任一項(xiàng)所述的方法，或，運(yùn)行本發(fā)明上述中任一項(xiàng)所述的系統(tǒng)。

48、由于采用了上述技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有如下至少一項(xiàng)的有益效果：

49、本發(fā)明提供的視頻插幀方法、系統(tǒng)、終端及介質(zhì)，利用transformer的自注意力機(jī)制來捕獲時間維度和空間維度上的長距離依賴關(guān)系，利用可變形卷積幀合成方法來隱式地生成目標(biāo)幀，提升了在視頻幀間大運(yùn)動和復(fù)雜運(yùn)動情況下的性能表現(xiàn)，在量化指標(biāo)與可視化指標(biāo)上均有較大提高。

50、本發(fā)明提供的視頻插幀方法、系統(tǒng)、終端及介質(zhì)，為了能夠在盡可能發(fā)揮transformer結(jié)構(gòu)的潛力時避免時間復(fù)雜度的劇烈增加，通過將時空特征進(jìn)行分離，分別進(jìn)行空間維度的特征提取和時間維度的特征提取，減少時間復(fù)雜度的同時為模型帶來了正則化效果。

51、本發(fā)明提供的視頻插幀方法、系統(tǒng)、終端及介質(zhì)，借助可變形卷積具有靈活高效的特點(diǎn)，充分利用了由自注意力機(jī)制獲得的時空長距離特征，對于幀間存在的復(fù)雜運(yùn)動情況有較好的改善效果。