專利名稱：內(nèi)容感知的視頻穩(wěn)定的制作方法
技術(shù)領(lǐng)域：
本申請涉及視頻處理領(lǐng)域，以及更特別地，涉及穩(wěn)定視頻。
背景技術(shù)：
當攝影機用戶使用不像專業(yè)電影制作公司使用的設(shè)備那么復雜的設(shè)備捕捉視頻 序列時，所獲得的視頻序列通常包括一定量的“抖動”，這種“抖動”是由所不希望的攝影機 運動造成。例如，用戶的手臂運動或者走動，用戶所乘坐的交通工具的振動，或者安裝攝影 機的裝置的振動或不完美運動，都是攝影機的不希望運動的可能來源。攝影機在三維(3D) 空間中的運動也能夠成為不希望的攝影機運動的來源，例如，由于用戶行走在不完美的路 線上，或者正在乘坐不是直線移動的交通工具。一些攝影機具有內(nèi)置特征，其用于嘗試在捕捉視頻時對不穩(wěn)定的攝影機運動進行 補償。一般地，這些攝影機嘗試識別視頻幀中的多個點，并且逐幀跟蹤這些點。攝影機使運 動模型與這些點擬合，并且基于該運動模型對視頻施加仿射彎曲(affine warp)。攝影機還 經(jīng)常對視頻施加低通濾波以便嘗試平滑該結(jié)果。當能夠通過這樣的技術(shù)來控制攝影機運動 時，所得視頻仍然包括明顯不希望的攝影機運動。另外，仿射彎曲不遵守幀的內(nèi)容，常常引 起圖像中的失真，并且特別是在視頻中的大部分可視感興趣對象中引起失真。Buehler 等 人 的 “Non-Metric Image-Based Rendering for VideoStabilization”提出了用于視頻穩(wěn)定的機制，其包括將來自視頻的多個幀進行混合 以生成輸出幀。Buehler機制對于靜態(tài)場景效果顯著，但是由于混合了多個幀，導致在場景 中包括動態(tài)運動的視頻出現(xiàn)重影和模糊。

發(fā)明內(nèi)容
在一個實施例中，一種方法包括接收源視頻序列；確定對于將要被穩(wěn)定的源視 頻序列的穩(wěn)定攝影機路徑；以及生成穩(wěn)定的視頻序列，其中穩(wěn)定的視頻序列中的每個幀由 輸入序列的相應(yīng)幀的內(nèi)容感知彎曲來生成。在一個實施例中，一種方法包括接收源視頻序列；生成來自于源視頻序列的原始 攝像機路徑的度量重構(gòu)；確定對于將要被穩(wěn)定的源視頻序列的穩(wěn)定攝像機路徑；以及生成 穩(wěn)定的視頻序列，其中在穩(wěn)定的視頻中的每個給定時間點處的幀僅從在源視頻序列中該給 定時間點處的相應(yīng)幀導出。


圖1示出用于視頻序列的示例性實際攝像機路徑以及示例性穩(wěn)定的攝像機路徑。
圖2是圖1的擴展視圖，示出來自實際攝像機路徑的幀和來自實際幀的在穩(wěn)定的 攝像機路徑上的穩(wěn)定幀的生成。圖3是示出一個視頻穩(wěn)定實施例的流程圖。圖4是示出來自圖3的塊的一個更詳細的實施例的流程圖。圖5是為原始圖像定義的網(wǎng)格(mesh)的示例。圖6是用于相應(yīng)的穩(wěn)定圖像的彎曲的網(wǎng)格的示例。圖7是來自示例源視頻的示例圖像。圖8是與圖6所示網(wǎng)格一起彎曲的圖像的示例。圖9是不具有顯著性(salience)加權(quán)彎曲的圖像的示例。圖10是具有顯著性加權(quán)彎曲的圖像的示例。圖11示出在一個實施例中使用的各種等式。圖12示出可以用于實施例的示例性計算機系統(tǒng)。盡管在此本申請以多個實施例以及示意性附圖示例的方式描述，但是本領(lǐng)域技術(shù) 人員應(yīng)該認識到，本發(fā)明不限于所描述的實施例或附圖。應(yīng)該理解，在此描述的附圖和對 其進行的詳細描述并非意圖將本發(fā)明限制在所公開的特定形式，而是與此相反，其目的在 于覆蓋落在本發(fā)明精神與范圍內(nèi)的所有修改、等價物以及備選。在此使用的標題僅用于組 織目的，而并非意圖限制說明書的范圍。貫穿本申請所使用的詞語“可以”表示許可的意思 (即，意味著具有潛在可能性)，而不是強制的意思(即，意味著必須)。類似地，詞語“包 括”、“包含”意味著包含，但并非限制。
具體實施例方式在以下詳細描述中，闡明大量特定細節(jié)以提供對所要求主題的全面理解。然而， 本領(lǐng)域技術(shù)人員應(yīng)該理解，在不具有特定細節(jié)的情況下可以實現(xiàn)所要求的主題。在其他實 例中，并沒有詳細描述本領(lǐng)域技術(shù)人員已知的方法、裝置或者系統(tǒng)，以便不混淆所要求的主 題。以下細節(jié)描述的一些部分以算法形式或者特定裝置或?qū)Ｓ糜嬎阍O(shè)備或平臺中的存儲器 內(nèi)存儲的二進制數(shù)字信號的操作的符號表示來呈現(xiàn)。在該特定說明書的背景下，形式特定 的裝置等包括通用計算機，一旦其被編程，則其依照來自程序軟件中的指令執(zhí)行特定功能。 算法描述或者符號表示是信號處理或者相關(guān)技術(shù)領(lǐng)域或者相關(guān)領(lǐng)域的普通技術(shù)人員所使 用技術(shù)的示例，以便將他們工作的內(nèi)容傳播到本領(lǐng)域的其他技術(shù)人員。一般認為算法是得 到期望結(jié)果的自相容操作或者類似信號處理的序列。在該背景下，操作或處理包括物理量 的物理處理。一般地，盡管不是必須，這些物理量可以采用可存儲、可轉(zhuǎn)換、可組合、可比較 或者其他處理的電或者磁信號的形式。有時是出于方便使用，主要出于一般應(yīng)用的原因，將 其稱為諸如位、數(shù)字、值、元素、符號、字符、項、號碼、數(shù)字等。然而，應(yīng)該理解的是，所有這些 術(shù)語或者類似術(shù)語與適當?shù)奈锢砹肯嚓P(guān)，并且僅僅是方便的標簽。除非特別聲明，從以下討 論中顯而易見的是，應(yīng)該注意貫穿于本說明書討論中所用的術(shù)語諸如“處理”、“計算”、“求 解”、“確定”等等表示特定裝置的動作或過程，諸如專用計算機或者類似的專用電子計算設(shè) 備。因此，在本說明書背景下，專用計算機或類似的專用電子計算設(shè)備能夠處理或轉(zhuǎn)換信 號，一般地表示為存儲器、寄存器、其他信息存儲設(shè)備、傳輸設(shè)備或者專用計算機或類似專 用電子計算設(shè)備的顯示裝置的物理電量或磁量。
描述了用于執(zhí)行視頻穩(wěn)定的方法和裝置的各種實施例。特定地，實施例可以以內(nèi) 容感知方式執(zhí)行視頻穩(wěn)定。實際攝像機獲得的輸入視頻可以包括不希望的攝像機抖動，例 如，由于用戶手臂移動或者走動、用戶乘坐的交通工具的振動，或者攝像機所安裝的裝置的 振動或不完美的移動。輸入視頻中不希望的移動還可以是由于在三維(3D)空間中的不完 美的攝像機路徑捕獲視頻而造成，例如，由于用戶沿不完美的線路行走，或者乘坐非直線行 進的交通工具。還可以存在不完美的攝像機運動的其他來源。在此可以認為實際攝像機獲 得的輸入視頻是源視頻。為了校正攝像機運動不規(guī)則性的影響，視頻穩(wěn)定處理可以對源視頻來執(zhí)行。視頻 穩(wěn)定處理可以嘗試在3D空間中創(chuàng)建穩(wěn)定攝像機路徑。穩(wěn)定路徑可以使穩(wěn)定的視頻看起來 具有更“專業(yè)”的攝像機運動，其通常需要特殊的攝像機安裝設(shè)備或者其他設(shè)計用于提供平 滑攝像機運動的裝置。在此，將視頻穩(wěn)定處理的輸出視頻稱作“穩(wěn)定視頻”。在一個實施例中，穩(wěn)定視頻中的每個幀可以嚴格地從源視頻中的一個幀導出。具 體地，穩(wěn)定視頻中的時間“t”的穩(wěn)定幀從源視頻中時間“t”的源幀導出。由此，在一個實施 例中，穩(wěn)定視頻可以主要包括任何數(shù)量的未出現(xiàn)重影或者模糊效果的動態(tài)內(nèi)容?？梢酝ㄟ^ 將時間“t”的場景投影到穩(wěn)定攝像機中而執(zhí)行源幀的內(nèi)容感知彎曲，其基于相同時間“t” 的場景投影到源攝像機的投影。彎曲是內(nèi)容感知的，其嘗試保存場景中對象的盡可能多的 原始特性，該對象對于觀看者而言很可能是顯而易見的。測量幀圖像中每個點的“顯著性” 的各種方法可以用于確定應(yīng)當盡可能多地保留的點。也即，具有高顯著性的點可能承載了 對觀看者而言更多的信息、或者對觀看者而言比具有低顯著性的點更易見的信息。一般地，視頻(或者視頻序列)可以包括彼此具有時間關(guān)系的幀序列。每個幀包 括在與其他幀相關(guān)的在特定時間拍攝的3D場景圖像。當按時間順序觀看時，視頻序列描述 了從相應(yīng)于第一幀的時間、到相應(yīng)于第n+1幀的時間tn的活動場景。如果實時觀看(例 如，在每個幀相應(yīng)的相對時間顯示它，以每秒例如30幀或更高的速度)，則視頻示出了如下 場景，該場景是在場景中真實存在的人從與源攝像機具有相同方向并沿相同路徑觀看到的 場景?，F(xiàn)在轉(zhuǎn)向圖1，所示框圖示出示例性實際攝像機路徑10和相應(yīng)的擬合于實際攝像 機路徑10的穩(wěn)定路徑12。實際攝像機路徑10以實線顯示，而穩(wěn)定路徑12以虛線顯示。如 同在圖1中所看到的，實際攝像機路徑10可以包括各種不希望的移動，相對于較平滑的穩(wěn) 定路徑12，該實際攝像機路徑10可能導致由實際攝像機所拍攝的真實視頻序列表現(xiàn)出不 希望的不穩(wěn)定。注意實際攝像機路徑10和穩(wěn)定路徑12可以是3D空間中的路徑。在一些 實施例中，路徑10和12還可以包括除沿路徑的攝像機3D平移外的攝像機的其他運動(例 如，攝像機的朝向或旋轉(zhuǎn))。穩(wěn)定路徑12可以是3D空間中最佳擬合于實際攝像機路徑10的具有期望的方程 的路徑。在圖1中，3D空間中的線擬合于真實攝像機路徑。穩(wěn)定路徑12可以是滿足期望的 方程并表現(xiàn)出與實際攝像機路徑10具有最小方差的路徑。當在該示例中示出線時，其他示 例可以使用曲線作為穩(wěn)定路徑12。例如，可以用二次方程定義穩(wěn)定路徑12?？梢杂萌魏纹?望的方程定義擬合于實際攝像機路徑10的穩(wěn)定路徑12。圖2是示出實際攝像機路徑10和穩(wěn)定路徑12的視圖，其從圖1視圖中擴展出以 夸張路徑之間的差別從而示出沿路徑的幀。在沿獲得幀的路徑12的點上示出源視頻的幀(例如，圖2中源幀14A、14B等至14N)。基于幀率(例如，每秒30幀或更多)以及實際攝 像機路徑12所經(jīng)過的時間長度，源視頻中可以包括任何數(shù)量的幀。沿穩(wěn)定路徑12示出穩(wěn) 定視頻中的相應(yīng)穩(wěn)定幀(例如，圖2中幀16A、16B等至16N)。如來自每個源幀14A-14N以 及相應(yīng)穩(wěn)定幀16A-16N的水平箭頭所示，每個穩(wěn)定幀可以從在源視頻中與穩(wěn)定視頻中的穩(wěn) 定幀具有相同時間點的源幀導出。由于穩(wěn)定路徑擬合于實際攝像機路徑，源幀和穩(wěn)定幀之 間的空間差異對于大多數(shù)幀來說是小的。由此，對于大多數(shù)幀，生成穩(wěn)定幀的源幀中的改變 的數(shù)量相對較小。通過進行內(nèi)容感知形式的源幀的改變(或“彎曲”)，除了穩(wěn)定視頻可以 展示較為平緩的攝像機運動外，改變對于觀看者而言可能更不易見。接下來轉(zhuǎn)向圖3，示出了顯示視頻穩(wěn)定方法/過程的一個實施例的流程圖。在一些 實施例中，視頻穩(wěn)定過程的一部分或者全部可以由在一個或多個計算機上執(zhí)行的指令來實 現(xiàn)。因此，圖3中的一個或多個框可以由在一個或多個計算機上執(zhí)行的指令來實現(xiàn)。視頻穩(wěn)定處理可以包括確定捕捉源視頻的源攝像機的度量重構(gòu)(框20)。也就是 說，基于源視頻中的圖像，源攝像機的參數(shù)可以被重建。攝像機的參數(shù)可以包括在捕捉每個 圖像時的攝像機在3D空間中所處位置(從中可以推斷實際攝像機路徑10，攝像機的幀率的 粒度)。度量重構(gòu)還可以包括其他攝像機參數(shù)，諸如攝像機的朝向、其旋轉(zhuǎn)、焦距等等。與非 度量重構(gòu)相反，度量重構(gòu)中的攝像機參數(shù)可以作為度量重構(gòu)中的單獨數(shù)字實體提供。在非 度量重構(gòu)中，至少一些攝像機參數(shù)不能直接確定，并且因此一些攝像機信息對于后續(xù)處理 是不能直接利用的。度量重構(gòu)可以進一步包括一組特征點，該組特征點基于幀圖像在3D空間中重構(gòu)。 一般來說，特征可以包括圖像中的任意可識別結(jié)構(gòu)。例如，在各種實施例中，特征可以包括 一個或多個點、線、曲線、面等等。重構(gòu)可以包括多個圖像之間的特征匹配，以及在圖像之間 生成特征對應(yīng)。特征對應(yīng)可以識別檢測出對應(yīng)的圖像，以及每個圖像中匹配特征的位置。特 征對應(yīng)可以進一步包括關(guān)于特征的其他信息(例如，顏色、描述特征附近的圖像中的梯度 的數(shù)據(jù)等)。從多個圖像之間的特征對應(yīng)中，可以重構(gòu)3D點和攝像機參數(shù)。一組特征點可 以與源視頻中的每個圖像相關(guān)聯(lián)。視頻中相鄰圖像之間的特征點組可以重疊，但是特征點 還可以逐圖像的出現(xiàn)或者不出現(xiàn)?？梢砸匀我馄谕姆绞酱_定度量重構(gòu)。例如，可以用來自運動算法的任何結(jié)構(gòu)獲 得度量重構(gòu)。在一個實施例中，例如，可以使用從Hannover大學信息技術(shù)實驗室可獲得的 VooDoo攝像機跟蹤器。其他實施例可以使用來自運動工具的任何結(jié)構(gòu)，包括來自各種供應(yīng) 商的任何商業(yè)可獲得的工具。如上所述，度量重構(gòu)提供3D空間中的一組攝像機位置，其表明幀率粒度內(nèi)的實際 攝像機路徑。視頻穩(wěn)定處理可以使穩(wěn)定路徑擬合于實際攝像機路徑(框22)。如上所述，各 種實施例可以使用線性或者曲線的穩(wěn)定路徑。在一些實施例中，視頻穩(wěn)定處理可以使多個 穩(wěn)定攝像機路徑擬合于實際攝像機路徑，并且可以在擬合于實際攝像機路徑選擇中具有最 小誤差的穩(wěn)定路徑。對于每個圖像，視頻穩(wěn)定處理可以進一步包括，根據(jù)穩(wěn)定圖像定位從源圖像中識 別出的特征點(框24)。即，基于從實際攝像機路徑中攝像機被重構(gòu)的位置向穩(wěn)定路徑中相 應(yīng)點移動攝像機位置，相應(yīng)圖像中的特征點的位置可以改變。有效的是，位置改變是3D點 投影到實際攝像機以及投影到穩(wěn)定攝像機中的差。
視頻穩(wěn)定處理進一步包括源視頻中圖像的內(nèi)容感知彎曲，以生成穩(wěn)定視頻中的穩(wěn) 定圖像(框26)。將源視頻中時間、處的源圖像用于生成穩(wěn)定視頻中的時間&處的相應(yīng) 的穩(wěn)定(結(jié)果)圖像。彎曲可以表示圖像中像素的位置的任何修改圖4是更詳細示出內(nèi)容感知彎曲操作的一個實施例的流程圖(圖2中框26)。在 一些實施例中，圖4中的一個或多個框的一部分或者全部可以由在計算機上執(zhí)行的一個或 多個指令實現(xiàn)。如前所述，在重構(gòu)中識別并在視頻穩(wěn)定處理中使用的特征點組可以逐幀改變，其 包括組中出現(xiàn)或未出現(xiàn)的點。即，在先前幀的特征點組中未包括的特征點可以包括在“出 現(xiàn)”在組中的特定幀的特征點組中。類似地，包括在先前幀的特征點組中的特征點可以不包 括在從組中“消失”的特定幀中?？赡艽嬖谌缦虑闆r，突然出現(xiàn)或消失的特征點在圖像彎曲 中引入立即改變，其可以在穩(wěn)定視頻中引起跳躍。為了降低或防止這種影響，在一些實施例 中，視頻穩(wěn)定處理可以包括對在序列中出現(xiàn)或消失的點提供時間淡化(框30)。S卩，在序列 中特定幀處出現(xiàn)的點可以在該特定幀臨近的幾個幀中淡入到序列中(或者在特定幀之前、 之后，或在特定幀的前后的幀的組合)。類似地，在特定幀處消失的特征點可以在該特定幀 臨近的幾個幀中淡出序列。通過所述點的淡入及淡出，對于視頻穩(wěn)定處理的效果可以分別 逐漸提高或者降低，這將降低或消除由于加入或刪除特征點而在穩(wěn)定視頻中造成的任何跳 躍。視頻穩(wěn)定處理可以進一步包括在源圖像上構(gòu)建nXm網(wǎng)格(其中η和m都是整數(shù)， 并且可以直至等于圖像的像素分辨率)(框32)。網(wǎng)格中的每個單元可以包括由網(wǎng)格涵蓋的 源圖像中的一組像素。圖5是能夠應(yīng)用于圖像的示例性網(wǎng)格的框圖。一些網(wǎng)格單元將包括在度量重構(gòu)中識別出的特征點。因此，視頻穩(wěn)定處理可以對 彎曲施加約束，該約束是將包含特征點的網(wǎng)格單元移動到將特征點放置在穩(wěn)定幀中的正 確位置上的位置(根據(jù)穩(wěn)定攝像機參數(shù))，如上描述的框24中所計算的(框34)。由于一 般來說，特征點可以不在網(wǎng)格頂點，約束中可以使用包含特征點的網(wǎng)格頂點的雙線性內(nèi)插。此外，通過對具有高顯著性的網(wǎng)格單元執(zhí)行變換到遵守網(wǎng)格單元的結(jié)構(gòu)的穩(wěn)定幀 的約束，來實現(xiàn)彎曲內(nèi)容感知(框36)。例如，約束可以是相似性變換，其中單元(水平和/ 或垂直運動)被平移以及可能被縮放和/或旋轉(zhuǎn)。其他實施例可以將具有高顯著性的單元 約束到剛性變換(平移以及可能的旋轉(zhuǎn)，沒有縮放)或者平移變換(僅平移)。具有低顯著 性的單元可以經(jīng)歷更復雜的變換(例如，單元形狀可以變形)。顯著性可以通過多種方式測量。一般地，期望的是，對于場景中吸引觀看者注意力 的對象的一部分的單元賦予較高的顯著性。從另一個角度來看，具有較高顯著性的單元可 以比具有較低顯著性的單元攜帶更多的可視信息。例如，在一個實施例中，測量單元之間的 顏色變化。具有高顏色變化的單元可以包括重要的可視信息，并且因此可以被認為更顯著。 具有較低顏色變化的單元(即，那些單元之間的顏色接近相同的單元)可以具有更少的可 視信息，并且可在彎曲時存在較多失真而不易在視覺上引起注意。測量顯著性的其他方法 可以用在其他實施例中。例如，圖像中心的對象經(jīng)常是視覺上最感興趣的(例如，通常拍攝 的視頻是以接近圖像中心的場景為最關(guān)注部分)。由此，對接近中心的網(wǎng)格單元賦予的顯著 性高于圖像邊緣附近的網(wǎng)格單元。還可以使用各種顯著性測量的組合。然后，視頻穩(wěn)定處理可以跨越約束來求解網(wǎng)格單元，從而生成穩(wěn)定視頻的彎曲圖像(框38)。在圖6中示出彎曲結(jié)果網(wǎng)格的示例。該約束不能夠被嚴格地滿足。一般地，視 頻穩(wěn)定處理可以“促使”滿足約束。即，該處理可以基于該約束而嘗試在最小方次方面為圖 像中的點找到最佳擬合。
圖7和8示出基于以上描述的處理之前和之后的圖像的示例。圖7是處理“之前” 的來自于源視頻的幀圖像。圖8是穩(wěn)定視頻中的相同幀。在圖8中，彎曲處理中使用的多 種特征點用白色點示出，并且白色點不是結(jié)果圖像的部分。應(yīng)該注意，圖8的圖像在邊緣周 圍具有黑色區(qū)域，并且并非圖7中的源圖像那樣的矩形。在一個實施例中，可以剪修(crop) 圖像以生成穩(wěn)定視頻中所使用的圖像。例如，視頻穩(wěn)定處理可以將圖像剪修到最大尺寸的 矩形，以擬合于彎曲圖像的邊界。其他實施例可以使用多種填孔算法或者其他圖像擴展技 術(shù)來填充彎曲造成的黑色區(qū)域。圖9是彎曲的示例，在該示例中網(wǎng)格單元沒有通過顯著性來加權(quán)，并且沒有對較 高顯著性的網(wǎng)格單元施加相似性變換。圖像左側(cè)的矩形(附圖標記40)示出具有豎直條的 兩個窗口，該豎直條以易見的形式彎曲，而實際上并不存在所述彎曲。在圖10中，在彎曲中 使用顯著性加權(quán)的示例，窗口條更直(矩形由附圖標記42標明)。應(yīng)該注意，一般地，將幀的觀察點從源攝像機移動到穩(wěn)定攝像機可以包括顯示在 源視頻中沒有捕捉到的原始場景的特征。將這些顯示稱為修復(disocclusion)。在一個實 施例中，視頻穩(wěn)定處理可以嘗試不處理修復，但是替代地嘗試以自然外觀的方式來彎曲所 捕獲的圖像。圖11示出在一個實施例中為實現(xiàn)圖3中框26所示的內(nèi)容感知彎曲而使用的一組 方程。如上所知，來自穩(wěn)定視頻中特征點的位置是已知的(包括實施淡入或淡出的點，如關(guān) 于框30所描述的)。由此，彎曲的目的可以是變換每個源視頻幀，以便將特征點移動至其 期望的位置，同時引入最小的可視失真。在方程中，將給定時間處的源幀表示為I，而將穩(wěn)定幀表示為？。如果需要，則 可以利用時間參考擴充I和？，以便表示不同時間處的幀。以上描述的網(wǎng)格頂點集合 可以表示為V= lvid，其中i是[l;n]中的元素，并且j是[l;m]中的元素}。使用 該柵格網(wǎng)格參數(shù)化，可以減少彎曲問題從而找到穩(wěn)定視頻幀；？中的網(wǎng)格，表示為方程
f = ,其中/是[1; ]中的元素’并且y是[1; m]中的元素j>。也就是說，彎曲問題可以是用
于找到最符合彎曲目標的^>柵格的優(yōu)化問題(通過顯著性和從源攝像機觀察點到穩(wěn)定攝像 機觀察點的變換進行內(nèi)容感知)。方程1至3示出將源觀察點變換為穩(wěn)定觀察點的彎曲目標。方程1是需要求解的 能量方程。方程2和3根據(jù)特征點到周圍柵格頂點的雙線性內(nèi)插而定義變量Pk和>4。即，
Pk和>4分別是I和？的第k個特征點，Pj是根據(jù)穩(wěn)定路徑的特征點，F(xiàn)是特征點集合，而Ck 是包括Pk的柵格單元，而Wi ;J是雙線性內(nèi)插系數(shù)。為了避免視覺失真，可以對每個網(wǎng)格單元應(yīng)用相似性變換。可以使用兩個相鄰點 來計算每個網(wǎng)格單元的頂點。例如，如方程4所示，可以使用V2和V3(相同網(wǎng)格單元的左下 頂點和右下頂點)來定義V1 (單元的左上頂點)。相似性變換后，可以通過相同的方法使用f 2和。來計算。然而，由于還需要滿足其他約束，可以不在理想的位置。在方程5中定 義理想位置表示為νΛ類似地，定義網(wǎng)格單元的其他3個頂點的理想位置。為了符合相似 性變換約束，如方程6所示，可以使得實際頂點^>逼近理想位置，其中Ck是第k個柵格單元， hj是Ck的四個頂點中的一個，而Vi ;Jd是根據(jù)相似性變換的頂?shù)睦硐胛恢?。在所示實施例中，測量單元內(nèi)的顏色變化以作為顯著性，并且用于為每個單元的 相似性變換約束進行加權(quán)。其由方程7和8示出，其中 ，是。的顯著性測量，而I(Pi)是 Pi的顏色，而csize是單元的尺寸。方程8中的印sil0n(O是常數(shù)，具有缺省值(例如， 0.5)以保證每個單元都受制于相似性約束?；谝陨?，彎曲可以被表達為優(yōu)化的問題，目的在于最小化方程9，其中 alpha (α )和beta ( β )是參數(shù)，分別具有例如100和1的缺省值。alpha對平移約束進行 加權(quán)，而beta對相似性約束進行加權(quán)。其他實施例可以使用其他加權(quán)(例如，用戶可以使 用加權(quán)，并且選擇視覺上最吸引人的結(jié)果)。在該實施例中，將被最小化的能量項是二次項 (最小方次)。由此，執(zhí)行二次最小化以求解優(yōu)化問題。二次最小化可以用任何形式求解。 例如，在一個實施例中，二次最小化可以通過求解單次、稀疏線性系統(tǒng)來達到全局最小化。 通過對單一矩陣施加約束而形成線性系統(tǒng)，并且然后形成“普通方程”用于最小方次分析。 可以使用任何線性系統(tǒng)求解器。方程10示出在時間T期間(例如，可以選擇為幀率的倍數(shù))的淡入和淡出點的一 個實施例。在方程10中，ta可以是特征點出現(xiàn)的幀的時間，而、是特征點消失的幀的時間。 僅出現(xiàn)的點和僅消失的那些點可以是方程10的子集。使用方程10，可以如方程11中所示 重寫方程1。示例性系統(tǒng)用于內(nèi)容感知視頻穩(wěn)定化的方法和裝置的實施例的各種組件以及其他應(yīng)用可以 在一個或多個計算機系統(tǒng)上執(zhí)行，其可以與各種其他設(shè)備相交互。由圖12示出一個這樣的 系統(tǒng)。在所示實施例中，計算機系統(tǒng)700包括通過輸入/輸出(I/O)接口 730耦合到系統(tǒng) 存儲器720的一個或多個處理器710。計算機系統(tǒng)700進一步包括耦合到I/O接口 730的 網(wǎng)絡(luò)接口 740，以及一個或多個輸入/輸出設(shè)備750，諸如光標控制設(shè)備760、鍵盤770、音頻 設(shè)備790以及顯示器780。在一些實施例中，可預期的是，實施例可以使用計算機系統(tǒng)700 的單個實例來實現(xiàn)，而在其他實施例中，多個這樣的系統(tǒng)或者節(jié)點構(gòu)成計算機系統(tǒng)700，其 可以配置為主控實施例的主機的不同部分或者實例。例如，在一個實施例中，可以通過與實 現(xiàn)其他元件的節(jié)點不同的計算機系統(tǒng)700的一個或多個節(jié)點來實現(xiàn)一些元件。在各種實施例中，計算機系統(tǒng)700可以是包括一個處理器710的單處理器系統(tǒng)， 或者包括多個(例如，兩個，四個，八個，或者其他適合的數(shù)量)處理器710的多處理器系 統(tǒng)。處理器710可以是能夠執(zhí)行指令的任何適合的處理器。例如，在各種實施例中，處理器 710可以是通用處理器或者實現(xiàn)任何一種指令集體系結(jié)構(gòu)(ISA)嵌入式處理器，諸如，x86、 PowerPC、SPARC或者MIPS ISA，或者任何其他適合的ISA。在多處理器系統(tǒng)中，每個處理器 710通?？梢?，但不是必須地，實現(xiàn)相同的ISA。系統(tǒng)存儲器720可以配置為存儲程序指令和/或可由處理器710訪問的數(shù)據(jù)。在 多個實施例中，系統(tǒng)存儲器720可以用任何適合的存儲器技術(shù)實現(xiàn)，諸如靜態(tài)隨機存儲器(SRAM)、同步動態(tài)RAM(SDRAM)、非易失性存儲器/Flash類型存儲器或者其他任何類型的存 儲器。在所示實施例中，實現(xiàn)期望操作的程序指令和數(shù)據(jù)(諸如以上所述的那些)分別顯 示為存儲在系統(tǒng)存儲器720中的程序指令725和數(shù)據(jù)存儲735。在其他實施例中，可以在 與系統(tǒng)存儲器720或計算機系統(tǒng)700不同類型的計算機可訪問介質(zhì)或者類似介質(zhì)上接收、 發(fā)送或者存儲程序指令和/或數(shù)據(jù)。一般而言，計算機可訪問介質(zhì)可以包括存儲介質(zhì)或者 存儲器介質(zhì)諸如磁或者光學介質(zhì)，例如，磁盤或者通過I/O接口 730耦合到計算機系統(tǒng)700 的⑶/DVD-ROM。通過計算機可訪問介質(zhì)存儲的程序指令和數(shù)據(jù)可以通過傳輸介質(zhì)或者諸 如電、電磁或者數(shù)字信號的信號來傳輸，其可以通過通信介質(zhì)傳送，諸如網(wǎng)絡(luò)和/或無線鏈 接，這些例如可以通過網(wǎng)絡(luò)接口 740實現(xiàn)。在一個實施例中，I/O接口 730可以配置為協(xié)調(diào)處理器710、系統(tǒng)存儲器720和該 設(shè)備中的任何外圍設(shè)備之間的I/O流量，包括網(wǎng)絡(luò)接口 740，或者其他外圍接口，諸如輸入/ 輸出設(shè)備750。在一些實施例中，I/O接口 730可以執(zhí)行任何必需的協(xié)議，定時或其他數(shù)據(jù) 變換，以將數(shù)據(jù)信號從一個組件(例如系統(tǒng)存儲器720)轉(zhuǎn)換為適合另一個組件(例如，處 理器710)使用的格式。在一些實施例中，I/O接口 730可以包括支持通過各種類型的外圍 總線附接的設(shè)備，諸如外圍組件互連(PCI)總線標準或者通用串行總線(USB)標準的各種 變換。在一些實施例中，I/O接口 730的功能可以分為兩個或者更多單獨的組件，例如，諸 如北橋和南橋。此外，在一些實施例中，I/O接口 730的一些或全部的功能(諸如到系統(tǒng)存 儲器720的接口)可以直接合并到處理器710。網(wǎng)絡(luò)接口 740可以配置為允許數(shù)據(jù)在計算機系統(tǒng)700和連接到網(wǎng)絡(luò)的其他設(shè)備 (諸如其他計算機系統(tǒng))之間或者計算機系統(tǒng)700的節(jié)點之間交換。在多個實施例中，網(wǎng)絡(luò) 接口 740可以支持通過有線或者無線普通數(shù)據(jù)網(wǎng)絡(luò)通信，例如，諸如任何適合類型的以太 網(wǎng)；通過遠程通信/電話網(wǎng)絡(luò)諸如模擬聲音網(wǎng)絡(luò)或者數(shù)字光纖通信網(wǎng)絡(luò)；通過存儲區(qū)域網(wǎng) 絡(luò)，諸如Fibre Channel SANs，或者通過任何其他合適類型的網(wǎng)絡(luò)和/或協(xié)議。在一些實施例中，輸入/輸出設(shè)備750可以包括一個或多個顯示終端、鍵盤、鍵區(qū)、 觸摸板、掃描設(shè)備、聲音或者光學識別設(shè)備，或者任何其他適合于從一個或多個計算機系統(tǒng) 700中輸入或獲取數(shù)據(jù)的設(shè)備。多輸入/輸出設(shè)備750可以存在于計算機系統(tǒng)700中，或者 可以分布在計算機系統(tǒng)700的各個節(jié)點上。在一些實施例中，類似的輸入/輸出設(shè)備可以 獨立于計算機系統(tǒng)700，并且可以與計算機系統(tǒng)700的一個或多個節(jié)點通過有線或者無線 連接(諸如通過網(wǎng)絡(luò)接口 740)來交互。如圖12所示，存儲器720可以包括程序指令725，其配置為實現(xiàn)以上所描述的方 法和裝置的實施例；以及數(shù)據(jù)存儲設(shè)備735，其包括可以由程序指令725訪問的各種數(shù)據(jù)。 在一個實施例中，程序指令725可以包括以上描述的方法和設(shè)備的軟件元件。數(shù)據(jù)存儲設(shè) 備735可以包括實施例中可以使用的數(shù)據(jù)。在一些實施例中，可以包括其他或者不同的軟 件組件和數(shù)據(jù)。在一些實施例中，計算機系統(tǒng)700還可以包括圖形處理單元(GPU)。GPU可以優(yōu)化 圖形處理(例如，用于生成在連接到計算機系統(tǒng)700的顯示屏幕上顯示的圖像)。GPU可以 是根據(jù)GPU實現(xiàn)的指令集(例如，由諸如NVIDIA或者ATI圖形制造商開發(fā)的指令集)，通過 程序指令可編程的。在一些實施例中，GPU可以具有私有的、僅對GPU是可訪問的專用存儲 器。在一個實施例中，程序指令可以存儲在私有存儲器中。在一個實施例中，GPU可以執(zhí)行
11程序指令以實現(xiàn)在此所描述的一些或全部方法。本領(lǐng)域技術(shù)人員可以理解，計算機系統(tǒng)700僅僅是示例性的，且并非意圖限制在 此所描述的方法和裝置范圍。特別地，計算機系統(tǒng)和設(shè)備可以包括可以執(zhí)行所示功能的任 何硬件或軟件的組合，包括計算機、網(wǎng)絡(luò)設(shè)備、互聯(lián)網(wǎng)應(yīng)用、PDA、無線電話、尋呼機等等。計 算機系統(tǒng)700還可以連接到其他沒有顯示的設(shè)備上，或者可替代地作為單機系統(tǒng)操作。此 外，在一些實施例中，所示組件提供的功能可以組合在更少的組件中，或者分布在其他組件 中。類似地，在一些實施例中，可以利用所示組件沒有提供的和/或其他附加功能。本領(lǐng)域技術(shù)人員還將理解，盡管各項示出為在使用時被存儲在存儲器或者存儲設(shè) 備中，出于存儲器管理以及數(shù)據(jù)完整性的目的，這些項或者其中的一部分還可以在存儲器 和其他存儲器設(shè)備之間傳輸。備選地，在其他實施例中，軟件組件的一些或全部可以在其他 設(shè)備的存儲器中執(zhí)行，并且可以通過計算機內(nèi)通信來與所示計算機系統(tǒng)通信。一些或全部 系統(tǒng)組件以及數(shù)據(jù)結(jié)構(gòu)還可以存儲在(例如作為指令或者結(jié)構(gòu)化數(shù)據(jù))計算機可訪問介質(zhì) 上或者其他便攜裝置上，以便通過適當?shù)尿?qū)動器讀出，上文描述了各種示例。在一些實施例 中，存儲在獨立于計算機系統(tǒng)700的計算機可訪問介質(zhì)上的指令可以通過傳輸介質(zhì)或者諸 如電、電磁或者數(shù)字信號的信號，來傳輸?shù)接嬎銠C系統(tǒng)700，通過諸如網(wǎng)絡(luò)和/或無線鏈接 的通信介質(zhì)傳遞。各種實施例可以進一步包括接收、發(fā)送或存儲根據(jù)計算機可訪問介質(zhì)上 實現(xiàn)的前述內(nèi)容的指令和/或數(shù)據(jù)。由此，本發(fā)明可以使用其他計算機系統(tǒng)配置來實現(xiàn)。結(jié)論附圖中所示出以及在此描述的各種方法表示示例性的方法實施例。所述方法可以 通過軟件、硬件或它們的組合來實現(xiàn)。可以改變方法的順序，并且可以對各種組件進行增 加、重新排序、組合、刪除、修改等等。對于受益于本公開的本領(lǐng)域技術(shù)人員來說，作出各種修改和改變是易見的。本發(fā) 明意圖涵蓋所有這些修改和改變，并且由此，認為以上的描述是示例性的而非限制性的。
權(quán)利要求
一種方法，包括接收源視頻序列；確定對于將被穩(wěn)定的源視頻序列的穩(wěn)定攝像機路徑；以及生成穩(wěn)定視頻序列，其中所述穩(wěn)定視頻序列的每個幀由所述源視頻序列中相應(yīng)的幀的內(nèi)容感知彎曲來生成。
2.如權(quán)利要求1所述的方法，進一步包括相應(yīng)于捕獲源視頻序列的攝像機來生成原 始攝像機路徑的度量重構(gòu)。
3.如權(quán)利要求2所述的方法，其中生成所述穩(wěn)定視頻序列包括將每個源視頻序列幀 劃分為網(wǎng)格單元，并且其中內(nèi)容感知彎曲包括(i)將包含在度量重構(gòu)中識別的特征點的 單元移動到所述穩(wěn)定攝像機路徑上該幀中的特征點的位置上；以及(ii)將具有顯著內(nèi)容 的單元執(zhí)行變換，變換為遵守單元結(jié)構(gòu)的所述穩(wěn)定攝像機路徑上的幀。
4.如權(quán)利要求3所述的方法，其中變換是相似性變換。
5.如權(quán)利要求4所述的方法，進一步包括為每個單元確定顯著性測量以識別具有顯 著內(nèi)容的單元。
6.如權(quán)利要求5所述的方法，其中顯著性測量是基于單元的顏色變化，其中高顏色變 化表明高顯著性，而低顏色變化表明低顯著性。
7.如權(quán)利要求1所述的方法，其中確定所述穩(wěn)定攝像機路徑包括使期望的攝像機路 徑擬合于原始攝像機路徑。
8.如權(quán)利要求7所述的方法，其中期望的攝像機路徑是直線。
9.如權(quán)利要求7所述的方法，其中期望的攝像機路徑是曲線。
10.如權(quán)利要求1所述的方法，其中生成所述穩(wěn)定視頻序列包括剪修內(nèi)容感知彎曲后 續(xù)的至少一個幀。
11.如權(quán)利要求1所述的方法，其中生成所述穩(wěn)定視頻序列包括使用一個或多個圖像 擴展技術(shù)，擴展內(nèi)容感知彎曲后續(xù)的至少一個幀。
12.—種系統(tǒng)，包括用于接收源視頻序列的裝置；用于確定對于將被穩(wěn)定的源視頻序列的穩(wěn)定攝像機路徑的裝置；以及用于生成穩(wěn)定的視頻序列的裝置，其中所述穩(wěn)定視頻序列的每個幀由所述源視頻序列 中相應(yīng)的幀的內(nèi)容感知彎曲來生成。
13.如權(quán)利要求12所述的系統(tǒng)，進一步包括用于相應(yīng)于捕獲源視頻序列的攝像機來 生成原始攝像機路徑的度量重構(gòu)的裝置。
14.如權(quán)利要求13所述的系統(tǒng)，其中生成所述穩(wěn)定視頻序列包括將每個源視頻序列幀 劃分為網(wǎng)格單元，并且其中所述內(nèi)容感知彎曲包括(i)將包含在度量重構(gòu)中識別的特征 點的單元移動到所述穩(wěn)定攝像機路徑上該幀中的特征點的位置上；以及(ii)將具有顯著 內(nèi)容的單元執(zhí)行變換，變換為遵守單元結(jié)構(gòu)的所述穩(wěn)定攝像機路徑上的幀。
15.如權(quán)利要求14所述的系統(tǒng)，其中所述變換是相似性變換。
16.如權(quán)利要求15所述的系統(tǒng)，進一步包括用于為每個單元確定顯著性測量以識別 具有顯著內(nèi)容的單元的裝置。
17.如權(quán)利要求16所述的系統(tǒng)，其中顯著性測量是基于單元的顏色變化，其中高顏色變化表明高顯著性，而低顏色變化表明低顯著性。
18.如權(quán)利要求12所述的系統(tǒng)，其中確定所述穩(wěn)定攝像機路徑包括使期望的攝像機 路徑擬合于所述原始攝像機路徑。
19.如權(quán)利要求18所述的系統(tǒng)，其中所述期望的攝像機路徑是直線。
20.如權(quán)利要求18所述的系統(tǒng)，其中所述期望的攝像機路徑是曲線。
21.如權(quán)利要求12所述的系統(tǒng)，其中生成所述穩(wěn)定視頻序列包括剪修內(nèi)容感知彎曲 后續(xù)的至少一個幀。
22.如權(quán)利要求12所述的系統(tǒng)，其中生成所述穩(wěn)定視頻序列包括使用一個或多個圖 像擴展技術(shù)，來擴展內(nèi)容感知彎曲后續(xù)的至少一個幀。
全文摘要
本申請公開了一種用于內(nèi)容感知的視頻穩(wěn)定的方法。在一個實施例中，方法包括接收源視頻序列；確定對于將被穩(wěn)定的源視頻序列的穩(wěn)定攝像機路徑；以及生成穩(wěn)定的視頻序列，其中穩(wěn)定視頻序列中的每個幀由輸入序列中的相應(yīng)幀的內(nèi)容感知彎曲來生成。
文檔編號H04N5/14GK101969527SQ200910205749
公開日2011年2月9日 申請日期2009年8月28日 優(yōu)先權(quán)日2008年8月28日
發(fā)明者A·O·阿加瓦拉, 劉豐, 金海琳 申請人:奧多比公司