重構(gòu)視頻序列的圖像的方法和重構(gòu)視頻序列的圖像的設(shè)備的制作方法
【專利摘要】重構(gòu)應(yīng)用基于視頻源內(nèi)容裁剪視頻源的子部分。重構(gòu)應(yīng)用包含產(chǎn)生顯著性圖的視覺關(guān)注模型、和基于顯著性圖推斷裁剪窗口的專用重構(gòu)算法。裁剪后，只有每個視頻圖像的重構(gòu)部分保持可見。處理視頻序列的圖像的方法包括以下步驟：確定（21）視頻序列的參數(shù)、視頻序列的先前解碼的子序列的參數(shù)和用戶設(shè)置，根據(jù)所確定的參數(shù)確定（22）要裁剪的部分，在重構(gòu)步驟剪裁（23）所確定的部分以供顯示。本發(fā)明的優(yōu)點是提供了基于視頻內(nèi)容自動調(diào)整重構(gòu)參數(shù)的先進(jìn)自動方法。
【專利說明】重構(gòu)視頻序列的圖像的方法和重構(gòu)視頻序列的圖像的設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種處理視頻序列的圖像的方法和設(shè)備，尤其是重構(gòu)視頻序列的圖像。
【背景技術(shù)】
[0002]例如從EP1956550A已知的重構(gòu)應(yīng)用最初被設(shè)計來基于視頻源內(nèi)容裁剪視頻源的子部分。裁剪后，只有每個視頻圖像的重構(gòu)部分仍然可見。重構(gòu)應(yīng)用包含視覺關(guān)注模型(visual attention model)和專用的重構(gòu)算法。視覺關(guān)注模型產(chǎn)生顯著性圖，而重構(gòu)算法基于該顯著性圖推算出裁剪窗口。裁剪窗口的位置和大小根據(jù)視頻內(nèi)容是可變的。重構(gòu)算法與編碼或解碼過程是互補(bǔ)的。根據(jù)使用情況，可以不同地使用重構(gòu)應(yīng)用。例如，重構(gòu)應(yīng)用可以被用作在移動視頻編碼前的預(yù)處理。在另一個例子中，重構(gòu)應(yīng)用在視頻解碼后執(zhí)行。
[0003]問題是目前還沒有基于視頻內(nèi)容自動地調(diào)整重構(gòu)參數(shù)的可用的先進(jìn)的或自動的解決方案。

【發(fā)明內(nèi)容】

[0004]本發(fā)明通過利用在解碼視頻源數(shù)據(jù)時可用的信息來自動調(diào)整重構(gòu)應(yīng)用的設(shè)置或輸入?yún)?shù)。所公開的用于自動調(diào)整已解碼視頻序列的設(shè)置或輸入?yún)?shù)的解決方案利用了先前解碼序列的特性。
[0005]根據(jù)本發(fā)明，一種處理視頻序列的圖像的方法包括以下步驟:確定視頻序列的參數(shù)、視頻序列的先前解碼的GOP (畫面組)的參數(shù)，確定用戶設(shè)置，根據(jù)所確定的參數(shù)確定要裁減的部分，剪裁所剪裁的部分以供顯示。
[0006]視頻序列的不同參數(shù)可以被確定和使用，如GOP大小，時間子采樣因子，最小和最大縮放因子或邊界框速度。這些參數(shù)可以單獨(dú)或組合使用。例如，在一個實施例中，所確定的和使用的參數(shù)僅僅包括(從上述參數(shù)中)邊界框速度。
[0007]在一個實施例中，所確定和使用的參數(shù)包括最小和最大縮放因子。
[0008]在一個實施例中，所確定和使用的參數(shù)包括GOP大小、時間子采樣因子、最小和最大縮放因子，以及邊界框速度。
[0009]在本發(fā)明的一個實施例中，一種處理視頻序列的圖像的方法包括以下步驟:在前一圖像中確定作為前一圖像的最突出部分的像素子區(qū)域或像素子集以供包含在重構(gòu)窗口中，圍繞所述像素子區(qū)域或像素子集確定第一邊界框；在當(dāng)前圖像中確定作為當(dāng)前圖像的最突出部分的像素子區(qū)域或像素子集以供包含在重構(gòu)窗口中，并且圍繞所述區(qū)域確定第二邊界框；在連續(xù)圖像之間確定邊界框移動的最大邊界框速度；依據(jù)第一和第二邊界框以及所確定的邊界框的最大速度來確定新的邊界框；在當(dāng)前圖像中根據(jù)所確定的新邊界框裁剪子區(qū)域以供顯示。
[0010]最大邊界框速度可以根據(jù)視頻序列的先前解碼的GOP的參數(shù)確定。最大邊界框速度也可以是可從寄存器或存儲器取得的預(yù)定義值，這也對于視頻序列的先前解碼的GOP有效。
[0011 ] 使用該方法的設(shè)備包括:圖像分析裝置，用于確定視頻序列的參數(shù)，確定視頻序列的先前解碼的GOP (畫面組)的參數(shù)，并確定用戶設(shè)置(例如，用戶接口裝置);和圖像處理裝置，用于根據(jù)所確定的參數(shù)來確定要裁剪的部分，并裁剪所確定的部分以供顯示。如上所述，視頻序列的各種參數(shù)可單獨(dú)使用或組合使用。
[0012]在本發(fā)明的一個實施例中，一種處理視頻序列的圖像的設(shè)備包括:在前一圖像中確定作為前一圖像的最突出部分的像素子區(qū)域或像素子集以供包含在重構(gòu)窗口中的裝置；圍繞所述像素子區(qū)域或像素子集確定第一邊界框的裝置；在當(dāng)前圖像中確定作為當(dāng)前圖像的最突出部分的像素子區(qū)域或像素子集以供包括在重構(gòu)窗口中、并且圍繞所述區(qū)域確定第二邊界框的裝置；依據(jù)視頻序列的先前解碼的GOP的參數(shù)，在連續(xù)圖像之間確定邊界框移動的最大邊界框速度的裝置；依據(jù)第一和第二邊界框以及所確定的邊界框的最大速度確定新的邊界框的裝置；以及在當(dāng)前圖像中根據(jù)所確定的新邊界框裁剪子區(qū)域以供顯示的裝置。
[0013]一方面，本發(fā)明涉及一種計算機(jī)可讀介質(zhì)，其上存儲使計算機(jī)執(zhí)行上述方法的可執(zhí)行指令。在一個實施例中，使得計算機(jī)執(zhí)行用于處理視頻序列的圖像的方法，該方法包括以下步驟:確定視頻序列的參數(shù)，確定視頻序列的先前解碼的GOP的參數(shù)，并確定用戶設(shè)置，根據(jù)所確定的參數(shù)確定要裁剪的部分，裁減所確定的部分以供顯示。
[0014]在從屬權(quán)利要求、下列描述和附圖中公開了本發(fā)明的優(yōu)選實施例。
【專利附圖】

【附圖說明】
[0015]參考附圖來描述本發(fā)明的示例性實施例，在附圖中:
[0016]圖1是具有重構(gòu)應(yīng)用的視頻解碼器的結(jié)構(gòu)；
[0017]圖2是處理視頻序列的圖像的方法的流程圖；
[0018]圖3是緩沖區(qū)大小的演變作為GOP大小的函數(shù)的圖表；
[0019]圖4是考慮計算上下文和實時性要求而選擇最佳時間子采樣模式/因子；
[0020]圖5是考慮到GOP排列、大小和環(huán)境限制的模式選擇的流程圖；
[0021]圖6是在不同比特率下1-幀的示例性MB成本圖；
[0022]圖7是邊界框速度的演變作為對于完整GOP的幀之間的幀內(nèi)圖相關(guān)性的函數(shù)的圖表;
[0023]圖8是說明有限邊界框速度的圖；
[0024]圖9是說明有限邊界框縮放因子的圖；以及
[0025]圖10是處理視頻序列的圖像的設(shè)備的結(jié)構(gòu)。
【具體實施方式】
[0026]圖1示出具有自動重構(gòu)單元AR的視頻解碼器DEC的結(jié)構(gòu)。解碼器DEC接收編碼的輸入視頻序列11，并對其進(jìn)行解碼以獲得解碼后的視頻序列12。參數(shù)提取器PE從解碼后的視頻序列和/或解碼器設(shè)置13中提取參數(shù)和/或重構(gòu)設(shè)置14。自動重構(gòu)單元AR從解碼后的視頻12和所提取的參數(shù)和/或重構(gòu)設(shè)置14中生成重構(gòu)(即裁剪)視頻序列16。
[0027]重構(gòu)應(yīng)用具有一定數(shù)量的設(shè)置S，根據(jù)本發(fā)明，設(shè)置S是根據(jù)解碼后的流或解碼過程自動調(diào)整的。在一個實施例中，設(shè)置包括緩沖區(qū)大小、時間子采樣因子、兩個縮放系數(shù)Zmin與Zmax、邊界框速度。設(shè)置S1, S2, S3, S4如下所述。
[0028]
【權(quán)利要求】
1.一種處理視頻序列的圖像的方法，包括以下步驟: 確定視頻序列的參數(shù)，視頻序列的先前解碼的子序列的參數(shù)和用戶設(shè)置； 根據(jù)所確定的參數(shù)確定要裁剪的部分，其中要裁剪的部分是通過具有可變位置和可變大小中至少一個的邊界框定義的，其中可變位置取決于視頻序列中相鄰幀的幀內(nèi)編碼宏塊間的相關(guān)性，其中對于所述相關(guān)性的第一相關(guān)值的邊界框位置變化比對于高于或低于第一相關(guān)值的相關(guān)值的邊界框位置變化更快，其中可變大小取決于根據(jù)當(dāng)前GOP或場景的第一幀的宏塊成本圖的參數(shù)計算得到的最大縮放因子，其中如果具有成本等于零的宏塊的百分比比較低，則允許更高的最大縮放因子；以及在重構(gòu)步驟中裁剪所確定的部分以供顯示。
2.如權(quán)利要求1所述的方法，其中所述子序列是GOP或場景，場景由場景變化檢測器檢測。
3.如權(quán)利要求1或2所述的方法，其中視頻序列的參數(shù)或先前解碼的子序列的參數(shù)至少包括GOP大小、場景長度、時間子采樣因子、最小和最大縮放因子和邊界框速度中的至少一個。
4.如權(quán)利要求1或2所述的方法，所述確定視頻序列的參數(shù)包括，對于當(dāng)前圖像: 在前一圖像(iiVi)中確定作為前一圖像的最突出部分的像素子區(qū)域或像素子集(Sai)； 確定圍繞所述前一圖像的所述像素子區(qū)域或像素子集的第一邊界框(bbj ； 在當(dāng)前圖像(imn)中確定作為當(dāng)前圖像的最突出部分的像素子區(qū)域或像素子集(Sa2)；確定圍繞所述當(dāng)前圖像的所述區(qū)域的第二邊界框(bb2)，第二邊界框具有所述可變邊界框位置； 依據(jù)第一邊界框(bbj和第二邊界框(bb2)的位置計算邊界框移位(ddrt)，或依據(jù)第一邊界框(bbj和第二邊界框(bb2)的位置、視頻幀速率，計算邊界框移位(ddrt)和邊界框速度； 將所確定的邊界框移位(ddrt)或邊界框速度和在連續(xù)圖像間最大允許的邊界框移位或邊界框速度進(jìn)行比較； 如果所確定的邊界框移位大于最大允許的邊界框移位，或者如果所確定的邊界框速度大于最大允許的邊界框速度，那么確定新邊界框(bbdrt)的位置和/或大小，并且在當(dāng)前圖像中裁剪根據(jù)所確定的新邊界框的子區(qū)域以供顯示； 否則，如果所確定的邊界框移位(ddrt)或邊界框速度等于或小于最大允許的邊界框移位或最大允許的邊界框速度，那么在當(dāng)前的圖像中裁剪根據(jù)所確定的第二邊界框(bb2)的子區(qū)域以供顯示。
5.如權(quán)利要求1或2所述的方法，其中，依據(jù)視頻序列的先前解碼的子序列的參數(shù)確定最大允許的邊界框移位或邊界框速度。
6.如權(quán)利要求1或2所述的方法，其中最大允許的邊界框速度根據(jù)下式計算:
7.如權(quán)利要求1或2所述的方法，還包括隨時間平滑裁剪窗口參數(shù)的步驟，其中在重構(gòu)步驟中使用緩沖區(qū)以隨時間平滑裁剪窗口參數(shù)，根據(jù)GOP大小調(diào)整緩沖區(qū)大小Sl。
8.如權(quán)利要求1或2所述的方法，其中時間子采樣因子或時間子采樣方案是根據(jù)時間子采樣模式設(shè)置的，其中在第一子采樣模式(FM)中，重構(gòu)步驟應(yīng)用于所有幀；在第二子采樣模式(頂)中，重構(gòu)步驟應(yīng)用于所有1-幀和P-幀，而不應(yīng)用于零或更多的B-幀；在第三子采樣模式(LM)中，重構(gòu)步驟應(yīng)用于所有1-幀，而不應(yīng)用于任何B-幀，也不應(yīng)用于零或更多的P-幀。
9.如權(quán)利要求8所述的方法，其中根據(jù)比特率要求和圖像質(zhì)量要求中的至少一個選擇子米樣模式之一。
10.如權(quán)利要求1或2所述的方法，其中通過裁減窗口定義要裁剪的部分，還包括以下步驟:確定最大或最小允許的縮放因子或縮放因子對，最大或最小允許的縮放因子定義裁剪窗口隨時間變化可以達(dá)到的邊界，或縮放因子對定義裁剪窗口隨時間可以在其間變化的兩個邊界。
11.如權(quán)利要求10所述的方法，其中依據(jù)當(dāng)前GOP或場景的第一幀的宏塊成本圖的參數(shù)來計算縮放因子對。
12.如權(quán)利要求1或2所述的方法，其中最小允許的縮放因子是根據(jù)
13.—種處理視頻序列的圖像的設(shè)備，包括 圖像分析裝置，用于確定視頻序列的參數(shù)，確定視頻序列的先前解碼的子序列的參數(shù)，以及確定用戶設(shè)置；以及 圖像處理裝置，用于根據(jù)所確定的參數(shù)確定要裁剪的部分，并且裁剪所確定的部分以供顯示，其中通過具有可變位置和可變大小中至少一個的邊界框定義要裁剪的部分，可變位置取決于在視頻序列內(nèi)相鄰幀的幀內(nèi)編碼宏塊間的相關(guān)性，對于所述相關(guān)性的第一相關(guān)值的邊界框位置比對于高于或低于第一相關(guān)值的相關(guān)值的邊界框位置變化更快，變化大小取決于依據(jù)當(dāng)前GOP或場景的第一幀的宏塊成本圖的參數(shù)計算得來的縮放因子，如果成本等于零的宏塊的百分比比較低，則允許更高的最大縮放因子。
14.如權(quán)利要求13所述的設(shè)備，還包括場景變化檢測模塊，其中所述子序列是GOP或場景，通過場景變化檢測模塊檢測場景。
15.如權(quán)利要求13或14所述的設(shè)備，還包括: 在前一圖像(iiVi)中確定作為前一圖像的最突出部分的像素子區(qū)域或像素子集(Sa1)的裝置； 確定圍繞前一圖像的所述像素子區(qū)域或像素子集的第一邊界框(bbi)的裝置； 在當(dāng)前圖像(imn)中確定作為當(dāng)前圖像的最突出部分的像素子區(qū)域或像素子集(Sa2)的裝置； 確定圍繞當(dāng)前圖像的所述區(qū)域的第二邊界框(bb2)的裝置； 依據(jù)第一邊界框(bbj和第二邊界框(bb2)的位置計算邊界框移位(ddrt)，或依據(jù)第一邊界框(bbP和第二邊框(bb2)位置、以及視頻幀速率計算邊界框速度的裝置； 將所確定的邊界框移位(ddrt)或邊界框速度和在連續(xù)圖像間最大允許的邊界框移位或邊界框速度進(jìn)行比較的裝置； 如果所確定的邊界框移位大于最大允許的邊界框移位、或者如果所確定的邊界框速度大于最大允許的邊界框速度，則確定新邊界框(bbdrt)位置和/或大小、并在當(dāng)前圖像中裁剪根據(jù)所確定的新邊界框的子區(qū)域的裝置，否則，如果所確定的邊界框移位(ddrt)或邊界框速度等于或小于最大允許的邊界框移位或邊界框速度，則在當(dāng)前的圖像中裁剪根據(jù)所確定的第二邊界框(bb2)的子區(qū)域以供顯`示的裝置。
【文檔編號】G06T7/00GK103533370SQ201310270910
【公開日】2014年1月22日 申請日期:2013年7月1日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】C.查馬雷特, F.厄本, C.謝萬斯 申請人:湯姆遜許可公司