一種縮時處理視頻圖像的方法
【技術(shù)領域】
[0001] 本發(fā)明設及延時/縮時攝影技術(shù)領域，具體地，設及一種縮時處理視頻圖像的方 法。
【背景技術(shù)】
[0002] 延時/縮時攝影技術(shù)是一種將時間進行壓縮的拍攝技術(shù)，即通過照片串聯(lián)或者視 頻抽帖的方式，將拍攝得到的、記錄時長為幾小時或者幾天的一組照片或視頻壓縮成一個 可在較短時間內(nèi)播放的照片集錦或視頻，從而展示出平時無法注意到的現(xiàn)象。通常延時/ 縮時攝影技術(shù)需要使用特殊器材和設備才能完成，例如使用=角架將拍攝設備固定，從而 獲取高穩(wěn)定性的照片或視頻。然而對于由移動端設備（例如手機攝像頭、DV攝像機、平板 攝像頭、可穿戴式設備攝像頭和機載/車載攝像頭等）拍攝的視頻，由于攝像設備穩(wěn)定性 差，視頻存在抖動明顯和清晰度差的問題，因此還需要對其進行防抖處理和縮時處理，才能 得到高穩(wěn)定性的縮時視頻。
[0003] 現(xiàn)有通過移動端設備進行延時/縮時攝影的技術(shù)過程如下：在得到視頻圖像后， 先利用=維重建技術(shù)對拍攝場景進行=維建模，然后再根據(jù)=維模型對場景進行重新擅 染，最后通過等間距抽帖的方式得到延時/縮時攝影視頻。但是由于=維建模的計算量極 大，對硬件設備的要求甚高，因此難W在移動端設備中實現(xiàn)，不能及時輸出縮時視頻，缺乏 普遍適用性，同時還存在魯棒性差的問題。
[0004] 針對上述延時/縮時攝影技術(shù)的問題，有必要提供一種新的縮時處理視頻圖像的 方法，不但可節(jié)省因=維建模帶來的巨大計算量，降低配置需求，從而提升縮時攝像的普適 性和魯棒性，快速輸出縮時視頻，還能基于視頻帖的二維圖像進行有選擇性的迭代式抽帖 處理，使最后得到的縮時視頻具有高清晰度和低抖動性的優(yōu)點。

【發(fā)明內(nèi)容】

[0005] 針對前述延時/縮時攝影技術(shù)的問題，本發(fā)明提供了一種縮時處理視頻圖像的方 法，不但可節(jié)省因=維建模帶來的巨大計算量，降低配置需求，從而提升縮時攝像的普適性 和魯棒性，快速輸出縮時視頻，還能基于視頻帖的二維圖像進行有選擇性的迭代式抽帖處 理，使最后得到的縮時視頻具有高清晰度和低抖動性的優(yōu)點。
[0006] 本發(fā)明采用的技術(shù)方案，提供了一種縮時處理視頻圖像的方法，包括如下步驟： SlOL輸入待處理視頻；S102.獲取所述待處理視頻中每個帖的清晰度值、扭曲度值和匹配 度值，然后根據(jù)所述清晰度值、扭曲度值和匹配度值計算每帖對應的抽帖參考值；S103.設 置一個窗口大小為N的滑動窗，然后通過移動滑動窗逐步選擇所述處理視頻中的M個連續(xù) 帖，并剔除每步所選連續(xù)帖中抽帖參考值最小的帖，所述M值等于N值；S104.若所述待處 理視頻的總剩余帖數(shù)大于目標數(shù)值，則重新獲取所述待處理視頻中各個剩余帖對應的扭曲 度值和匹配度值，然后返回執(zhí)行步驟S103,否則對所述待處理視頻的剩余帖做視頻防抖處 理，輸出縮時視頻圖像。在所述縮時處理視頻圖像的方法中，一方面避免了=維建模，可大 幅度減少計算量，降低硬件設備的配置需求，使得能夠在低配置的移動端設備上及時輸出 縮時視頻，從而提升縮時攝像的普適性和魯棒性，快速輸出縮時視頻；另一方面由于基于視 頻帖的二維圖像，通過從清晰度、扭曲度和匹配度=個角度對視頻帖的圖像質(zhì)量進行了評 估打分，從而可實現(xiàn)有選擇性的迭代式抽帖處理，使最后得到的縮時視頻具有高清晰度和 低抖動性的優(yōu)點。
[0007] 具體的，在所述獲取所述待處理視頻中每個帖的清晰度值的步驟中包括如下步 驟：S201.根據(jù)每個帖的二維圖像，分別獲取各個帖對應的X方向梯度值和Y方向梯度值； S202.按照如下公式分別計算各個帖對應的梯度模值MGi:
式中，GXi為第i個帖對應的X方向梯度值，GY1為第i個帖對應的Y方向梯度值；S203. 分別對各個帖的梯度模值進行歸一化處理，并將結(jié)果值作為對應帖的清晰度值。前述步驟 提供了一種標準化的機制來量化視頻帖的清晰度，由于梯度模值越大，對應的圖像清晰度 越高，梯度模值越小，對應的圖像清晰度越小，因此利用梯度模值作為圖像清晰度的打分標 準，可使視頻帖在清晰度上的打分客觀數(shù)字化，便于計算機實現(xiàn)W及后續(xù)抽帖處理。
[0008]具體的，在所述獲取所述待處理視頻中每個帖的扭曲度值的步驟中包括如下步 驟：S301.獲取所述待處理視頻中所有帖的圖像特征點；S302.根據(jù)所述圖像特征點，獲取 各個兩兩帖之間的第一單應性變換矩陣Ft,然后依次級聯(lián)各個第一單應性變換矩陣Ft,得 到所述待處理視頻的第一矩陣集合： F=化，F(xiàn)A,F1F2F3,F1F2F3F4, ? ? ?，F(xiàn)A...Ft...Fs2&1，F(xiàn)A...Ft...Fs村 式中，S為所述待處理視頻中帖的總數(shù)，F(xiàn)t為第t個帖與第t+1個帖之間的第一單應性 變換矩陣，F(xiàn)s為單位矩陣；S303.對所述第一矩陣集合中的每個元素進行平滑處理，得到所 述處理視頻的第二矩陣集合： H=化，邸2,邸2&，H1H2H3H4, ? ? ?，H化…H品化} 式中，S為所述待處理視頻中帖的總數(shù)；S304.通過依次對比所述第一矩陣集合與所述 第二矩陣集合的對應元素，獲取對應帖的第二單應性變換矩陣BTi;S305.分別在各個帖對 應的所述第二單應性變換矩陣中抽取左上角的四個元素，組成對應的第一矩陣： -4馬― 名巧_ 矩陣中，Al,Bi,Ci和D1分別為第i個帖對應的第二單應性變換矩陣BT沖左上角的四 個元素，然后對對應的第一矩陣進行奇異值分解，獲得對應的第二矩陣： % 〇-_〇 矩陣中，AIi和A21為第i個帖對應的第二矩陣中主對角線上的兩個參數(shù)值；S306.分 別對各個帖的比值Ki=AIi/A21進行歸一化處理，并將結(jié)果值作為對應帖的扭曲度值。前 述步驟提供了一種標準化的機制來量化視頻帖的扭曲度，由于比值K越接近于1，對應的 圖像扭曲度越小，圖像質(zhì)量越高，比值K越遠離于1，對應的圖像扭曲度越大，圖像質(zhì)量越 低，因此利用比值K作為圖像扭曲度的打分標準，可使視頻帖在扭曲度上的打分客觀數(shù)字 化，便于計算機實現(xiàn)W及后續(xù)抽帖處理。
[0009] 具體的，在所述獲取所述待處理視頻中每個帖的匹配度值的步驟中包括如下步 驟：S401.針對每個帖，對當前帖和對應相鄰帖進行圖像特征點提取和匹配處理，獲取當前 帖與各個對應相鄰帖的匹配特征點；S402.針對每個帖，統(tǒng)計獲取當前帖與各個對應相鄰 帖的匹配特征點總數(shù)；S403.分別對各個帖的所述匹配特征點總數(shù)進行歸一化處理，并將 結(jié)果值作為對應帖的匹配度值。前述步驟提供了一種標準化的機制來量化視頻帖的匹配 度，由于剩余匹配特征點總數(shù)越多，則表示對應帖與對應相鄰帖的公共信息越多，對應的圖 像匹配度越高，剩余匹配特征點總數(shù)越少，則表示對應帖與對應相鄰帖的公共信息越少，對 應的圖像匹配度低，因此利用剩余匹配特點總數(shù)作為圖像匹配度的打分標準，可使視頻帖 在匹配度上的打分客觀數(shù)字化，便于計算機實現(xiàn)W及后續(xù)抽帖處理。進一步具體的，所述對 應相鄰帖處于所述當前帖的一個半徑不小于2且不大于8的領域帖范圍內(nèi)。
[0010] 具體的，在所述根據(jù)所述清晰度值、扭曲度值和匹配度值計算每帖對應的抽帖參 考值的步驟中包括如下步驟：按照如下公式計算各個帖對應的抽帖參考值41: 接=巧+為+巧 式中，鷄為第i個帖的清晰度值，S1為第i個帖的扭曲度值，y1為第i個帖的匹配度 值。所述抽帖參考值為清晰度值、扭曲度值和匹配度值的=者等比之和，因此可按照如下方 式表征圖像質(zhì)量：所述抽帖參考值越大，圖像質(zhì)量越高，所述抽帖參考值越低，圖像質(zhì)量越 低，從而可使視頻帖在綜合清晰度、扭曲度和匹配度評估圖像質(zhì)量的打分客觀數(shù)值化，便于 后續(xù)抽帖處理。
[0011] 具體的，所述滑動窗在移動過程中的步進單位不小于1且不大于所述窗口大小N 的一半。
[0012] 具體的，所述滑動窗的窗口大小N為不小于3且不大于8的整數(shù)。
[0013] 進一步具體的，在所述重新獲取所述待處理視頻中各個剩余帖對應的匹配度值的 步驟中包括如下步驟：針