水平和垂直變換的并行處理的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻譯碼，且更明確地說，涉及用于在譯碼視頻數(shù)據(jù)時執(zhí)行變換的技術(shù)。
【背景技術(shù)】
[0002]數(shù)字視頻能力可并入到廣泛范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置及其類似物。數(shù)字視頻裝置實施視頻壓縮技術(shù)，例如通過MPEG-2、MPEG-4、ITU-T H.263,ITU-T
H.264/MPEG-4第10部分、高級視頻譯碼(AVC)、目前正在開發(fā)的高效視頻譯碼(HEVC)標(biāo)準(zhǔn)和此類標(biāo)準(zhǔn)的擴展部分定義的標(biāo)準(zhǔn)中描述的技術(shù)，以便更有效地發(fā)射、接收和存儲數(shù)字視頻?目息O
[0003]視頻壓縮技術(shù)包含空間預(yù)測及/或時間預(yù)測，以減少或移除視頻序列中所固有的冗余。對于基于塊的視頻譯碼，一視頻幀或片段可以分割成多個塊。每一塊可被進一步分害J。通過相對于同一圖片或片段的相鄰塊中的參考樣本使用空間預(yù)測來對經(jīng)幀內(nèi)譯碼(I)的圖片或片段中的塊進行編碼。經(jīng)幀間譯碼(P或B)圖片或片段中的塊可相對于同一圖片或片段中的相鄰塊中的參考樣本使用空間預(yù)測，或相對于其它參考圖片中的參考樣本使用時間預(yù)測?？臻g或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測性塊。殘差數(shù)據(jù)表示待譯碼原始塊與預(yù)測性塊之間的像素差。
[0004]經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向量和指示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘差數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘差數(shù)據(jù)而編碼。為了進一步壓縮，可將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差變換系數(shù)，接著可以對殘差變換系數(shù)進行量化。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的技術(shù)大體上涉及視頻譯碼過程中的視頻數(shù)據(jù)的變換。視頻譯碼器可在兩個級中將二維(2D)變換應(yīng)用于視頻數(shù)據(jù)。緩沖器通常定位于第一級與第二級之間，這允許視頻譯碼器在第二級的執(zhí)行之前對來自第一級的經(jīng)處理數(shù)據(jù)進行重新排序。根據(jù)本發(fā)明的方面，視頻譯碼器可應(yīng)用2D變換，而不對第一級與第二級之間的數(shù)據(jù)進行重新排序。以此方式，本發(fā)明的技術(shù)可減少或消除與視頻數(shù)據(jù)的變換相關(guān)聯(lián)的延遲。
[0006]在一實例中，一種在視頻譯碼中變換視頻數(shù)據(jù)的方法包含:將二維變換的第一級應(yīng)用于時頻數(shù)據(jù)值塊，以產(chǎn)生第一級結(jié)果塊；以及將二維變換的第二級應(yīng)用于第一級結(jié)果塊，而不對第一級結(jié)果進行重新排序，以產(chǎn)生第二級結(jié)果塊。
[0007]在另一個實例中，一種用于在視頻譯碼中變換視頻數(shù)據(jù)的設(shè)備包含一或多個處理器，其經(jīng)配置以:將二維變換的第一級應(yīng)用于時頻數(shù)據(jù)值塊，以產(chǎn)生第一級結(jié)果塊;且將二維變換的第二級應(yīng)用于第一級結(jié)果塊，而不對第一級結(jié)果進行重新排序，以產(chǎn)生第二級結(jié)果塊。
[0008]在另一個實例中，一種用于在視頻譯碼中變換視頻數(shù)據(jù)的設(shè)備包含:用于將二維變換的第一級應(yīng)用于時頻數(shù)據(jù)值塊以產(chǎn)生第一級結(jié)果塊的裝置；以及用于將二維變換的第二級應(yīng)用于第一級結(jié)果塊而不對第一級結(jié)果進行重新排序以產(chǎn)生第二級結(jié)果塊的裝置。
[0009]在另一實例中，一種上面存儲有指令的非暫時性計算機可讀媒體，所屬指令在被執(zhí)行時，致使一或多個處理器:將二維變換的第一級應(yīng)用于視頻數(shù)據(jù)值塊，以產(chǎn)生第一級結(jié)果塊;且將二維變換的第二級應(yīng)用于第一級結(jié)果塊，而不對第一級結(jié)果進行重新排序，以產(chǎn)生第二級結(jié)果塊。
[0010]在附圖和以下描述中闡述本發(fā)明的一或多個方面的細(xì)節(jié)。本發(fā)明中所描述的技術(shù)的其他特征、目標(biāo)和優(yōu)點將從描述及圖式且從權(quán)利要求書而顯而易見
【附圖說明】
[0011]圖1是說明可實施本發(fā)明的技術(shù)的實例視頻編碼和解碼系統(tǒng)的框圖。
[0012]圖2是說明可實施本發(fā)明的技術(shù)的實例視頻編碼器的框圖。
[0013]圖3是說明可實施本發(fā)明的技術(shù)的實例視頻解碼器的框圖。
[0014]圖4是說明可實施本發(fā)明的技術(shù)的實例視頻譯碼器的一部分的框圖。
[0015]圖5說明根據(jù)本發(fā)明的技術(shù)的一系列矩陣運算。
[0016]圖6是說明可實施本發(fā)明的技術(shù)的實例視頻譯碼器的一部分的框圖。
[0017]圖7說明根據(jù)本發(fā)明的技術(shù)的一系列矩陣運算。
[0018]圖8是說明根據(jù)本發(fā)明的技術(shù)的用于在視頻譯碼中變換殘差數(shù)據(jù)的實例過程的流程圖。
[0019]圖9是說明根據(jù)本發(fā)明的技術(shù)的用于在視頻譯碼中變換殘差數(shù)據(jù)的另一實例過程的流程圖。
【具體實施方式】
[0020]視頻譯碼裝置(例如視頻編碼裝置或視頻解碼裝置)可通過應(yīng)用空間(幀內(nèi))預(yù)測和/或時間(幀間)預(yù)測技術(shù)減少或去除視頻序列中固有的冗余來實現(xiàn)視頻壓縮。舉例來說，視頻譯碼器可通過幀內(nèi)(I)預(yù)測(即空間預(yù)測)或幀間(P或B)預(yù)測(即時間預(yù)測)來導(dǎo)出預(yù)測值。在識別預(yù)測值后，視頻譯碼器可確定原始視頻數(shù)據(jù)塊與其預(yù)測值之間的差。此差可被稱為預(yù)測殘差，且指示待譯碼塊與參考塊(即，預(yù)測值)之間的像素差。
[0021]為實現(xiàn)較好壓縮，通常應(yīng)用變換(離散余弦變換(DCT)、整數(shù)變換、卡亨南-洛維(Karhunen-Loeve，K-L)變換或其它變換)來變換所述預(yù)測殘差。變換將空間域中的像素差值轉(zhuǎn)換為變換域(例如，頻域)中的變換系數(shù)。
[0022]預(yù)測殘差通常包含具有三個樣本陣列的視頻數(shù)據(jù)的亮度樣本(Y)連同對應(yīng)的色度樣本(Cb，Cr)。如下文更詳細(xì)地描述，變換單元可指一亮度變換塊和兩個對應(yīng)的色度變換塊。對于變換單元中的每一變換塊，變換系數(shù)通常布置成二維(2D)陣列。因此，視頻譯碼器通常將2D變換應(yīng)用于預(yù)測殘差。
[0023]視頻譯碼器通常在兩個級中應(yīng)用2D變換。舉例來說，視頻譯碼器可將水平定向的第一級應(yīng)用于殘差值。視頻譯碼器可接著將垂直定向的第二級應(yīng)用于第一級的結(jié)果(或反之亦然)。緩沖器通常定位于第一級與第二級之間，這允許視頻譯碼器在第二級的執(zhí)行之前對來自第一級的經(jīng)處理數(shù)據(jù)進行重排序。舉例來說，當(dāng)在垂直定向的第二級之前執(zhí)行水平定向的第一級時，視頻譯碼器可轉(zhuǎn)置級之間的數(shù)據(jù)(從行序到列序)，使得數(shù)據(jù)經(jīng)合適布置以用于第二級運算。也就是說，視頻譯碼器可在第二級運算之前，轉(zhuǎn)置所述數(shù)據(jù)，使得數(shù)據(jù)行布置成列。
[0024]上述緩沖可在變換過程中引入延遲。舉例來說，為了以上文所描述的方式轉(zhuǎn)置來自第一級的值，視頻譯碼器在開始第二級運算之前必須等待整個第一級完成。轉(zhuǎn)置過程本身也可引入延遲。這些延遲可隨著塊大小而增加。舉例來說，變換相對較大的塊(例如高效視頻譯碼(HEVC)標(biāo)準(zhǔn)中的32X32)可導(dǎo)致較大的相關(guān)聯(lián)延遲。
[0025]本發(fā)明的方面通常涉及2D變換的高效應(yīng)用。舉例來說，根據(jù)本發(fā)明的方面視頻譯碼器(例如視頻編碼器或視頻解碼器)可應(yīng)用2D變換，而不對第一級與第二級之間的數(shù)據(jù)進行重新排序，如上文所描述。重新排序數(shù)據(jù)可通常指代改變數(shù)據(jù)的布置，其可包含轉(zhuǎn)置數(shù)據(jù)，使得數(shù)據(jù)行重新布置以形成數(shù)據(jù)列。因此，視頻譯碼器可與和第二級相關(guān)聯(lián)的運算并行地執(zhí)行與第一級相關(guān)聯(lián)的運算。以此方式，視頻譯碼器可減少或消除與變換相關(guān)聯(lián)的延遲。
[0026]在一個實例中，視頻譯碼器可以第二級所確定的次序來將值從2D變換的第一級直接饋送到2D變換的第二級(下文稱為“先轉(zhuǎn)置”過程)。在另一實例中，視頻譯碼器可以第一級的次序執(zhí)行第二級運算，從而產(chǎn)生局部第二級值。視頻譯碼器可集合所述局部第二級值，直到整個第二級完成為止(下文稱為“后轉(zhuǎn)置”過程)。
[0027]圖1是說明可利用用于在視頻譯碼中執(zhí)行變換的技術(shù)的實例視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12，所述源裝置提供將在稍后時間由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說，源裝置12經(jīng)由計算機可讀媒體16將視頻數(shù)據(jù)提供到目的地裝置14。源裝置12和目的地裝置14可包括多種多樣的裝置中的任一者，包含桌上型計算機、筆記型(即，膝上型)計算機、平板計算機、機頂盒、電話手持機(例如所謂的“智能”電話)、所謂的“智能”平板電腦、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流式傳輸裝置或類似者。在一些情況下，源裝置12和目的地裝置14可能經(jīng)裝備以用于無線通信。
[0028]目的地裝置14可經(jīng)由計算機可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機可讀媒體16可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型的媒體或裝置。在一個實例中，計算機可讀媒體16可包括使得源裝置12能夠?qū)崟r地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)來調(diào)制，并且發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理傳輸線。通信媒體可形成基于包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全球網(wǎng)絡(luò))的部分。通信媒體可包含路由器、交換器、基站或可用于促進從源裝置12到目的地裝置14的通信的任何其它設(shè)備。
[0029]在一些實例中，經(jīng)編碼數(shù)據(jù)可從輸出接口22輸出到存儲裝置。類似地，經(jīng)編碼數(shù)據(jù)可由輸入接口從存儲裝置存取。存儲裝置可包含多種分布式或本地存取的數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動器、藍光光盤、DVD、⑶-R0M、快閃存儲器、易失性或非易失性存儲器或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在另一實例中，存儲裝置可對應(yīng)于文件服務(wù)器或另一可存儲源裝置12產(chǎn)生的經(jīng)編碼視頻的中間存儲裝置。
[0030]目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置存取經(jīng)存儲的視頻數(shù)據(jù)。文件服務(wù)器可為任何類型的能夠存儲經(jīng)編碼的視頻數(shù)據(jù)且將經(jīng)編碼的視頻數(shù)據(jù)發(fā)射到目的地裝置14的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)連接存儲(NAS)裝置或本地磁盤驅(qū)動器。目的地裝置14可經(jīng)由任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。這可包含無線通道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)。，或適合于存取存儲在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的傳輸可為流式傳輸、下載傳輸或其組合。
[0031]本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼以支持多種多媒體應(yīng)用中的任一者，例如，空中協(xié)議電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、因特網(wǎng)流式視頻傳輸(例如，動態(tài)自適應(yīng)HTTP流式傳輸(DASH))、編碼到數(shù)據(jù)存儲媒體上的數(shù)字視頻、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼或其它應(yīng)用。在一些實例中，系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻傳輸，以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應(yīng)用。
[0032]在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的地裝置14包括輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻編碼器20可經(jīng)配置以應(yīng)用用于在視頻譯碼中執(zhí)行變換的技術(shù)。在其它實例中，源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18(例如外部相機)接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成顯示裝置。
[0033]圖1的所說明系統(tǒng)10僅為一個實例。用于執(zhí)行變換的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置來執(zhí)行。盡管本發(fā)明的技術(shù)通常由視頻編碼裝置執(zhí)行，但所述技術(shù)還可通過視頻編碼器/解碼器(通常被稱作“編解碼器”)執(zhí)行。此外，本發(fā)明的技術(shù)還可由視頻預(yù)處理器來執(zhí)行。源裝置12和目的地裝置14僅為此類譯碼裝置的實例，其中源裝置12產(chǎn)生用于發(fā)射到目的地裝置14的經(jīng)譯碼視頻數(shù)據(jù)。在一些實例中，裝置12、14可以實質(zhì)上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻傳輸，以例如用于視頻流式傳輸、視頻重放、視頻廣播或視頻電話。
[0034]源器件12的視頻源18可包含視頻捕獲裝置，例如攝像機、含有先前所捕獲視頻的視頻存檔和/或用于接收來自視頻內(nèi)容提供者的視頻的視頻饋送接口。作為另一替代方案，視頻源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或直播視頻、存檔視頻與計算機產(chǎn)生的視頻的組合。在一些情況下，如果視頻源18為攝像機，那么源裝置12和目的地裝置14可形成所謂的相機電話或視頻電話。然而，如上所提到，本發(fā)明中所描述的技術(shù)一般可適用于視頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。在每一種情況下，可由視頻編碼器20編碼所捕獲、經(jīng)預(yù)先捕獲或計算機產(chǎn)生的視頻。經(jīng)編碼視頻信息可接著由輸出接口 22輸出到計算機可讀媒體16上。
[0035]計算機可讀媒體16可包含瞬時媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射，或存儲媒體(也就是說，非暫時性存儲媒體)，例如硬盤、快閃驅(qū)動器、壓縮光盤、數(shù)字視頻光盤、藍光光盤或其它計算機可讀媒體。在一些實例中，網(wǎng)絡(luò)服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)，且例如經(jīng)由網(wǎng)絡(luò)發(fā)射將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地，媒體生產(chǎn)設(shè)施(例如光盤沖壓設(shè)施)的計算裝置可從源裝置12接收經(jīng)編碼的視頻數(shù)據(jù)，并且生產(chǎn)含有經(jīng)編碼的視頻數(shù)據(jù)的光盤。因此，在各種實例中，計算機可讀媒體16可理解為包含各種形式的一或多個計算機可讀媒體。
[0036]目的地裝置14的輸入接口28從計算機可讀媒