專利名稱：具有細(xì)粒度可調(diào)節(jié)性的視頻編碼器的制作方法
這是一個(gè)非臨時(shí)申請(qǐng)，要求享有2001年1月9日提交的題為“Providing Prediction Mode Fine Granularity Scalability”的臨時(shí)申請(qǐng)的權(quán)益。
背景視頻信號(hào)主要是一個(gè)接一個(gè)地快速演替的一系列靜態(tài)圖片，從而使觀看者產(chǎn)生運(yùn)動(dòng)的幻覺。模擬視頻信號(hào)可能需要轉(zhuǎn)換或“編碼”成數(shù)字形式之后，才能通過通信信道進(jìn)行傳輸。在數(shù)字形式時(shí)，視頻數(shù)據(jù)由稱為“比特流”的一系列比特構(gòu)成。當(dāng)比特流到達(dá)接收位置時(shí)，視頻數(shù)據(jù)被“解碼”，即重新轉(zhuǎn)換成可視形式。由于通信信道的帶寬限制，視頻數(shù)據(jù)在通信信道上傳輸之前常常“經(jīng)過壓縮”。壓縮可能導(dǎo)致接收端圖片質(zhì)量的劣化。
一種對(duì)質(zhì)量損失(劣化)進(jìn)行部分補(bǔ)償?shù)膲嚎s技術(shù)包括在傳輸之前將視頻數(shù)據(jù)分成“基層”和一個(gè)或多個(gè)“增強(qiáng)層”?；鶎影曨l序列的粗略版本，可以用相對(duì)較小的帶寬來傳輸。每個(gè)增強(qiáng)層也只需要很小的帶寬，一個(gè)或多個(gè)增強(qiáng)層可以與基層同時(shí)傳輸。在接收端，在解碼過程中基層可以與增強(qiáng)層重新組合。增強(qiáng)層提供對(duì)基層的校正，從而提高輸出圖像的質(zhì)量。傳輸越多的增強(qiáng)層，就生成更好的輸出圖像，但是要求更多的帶寬。
一些壓縮方法和文件格式已經(jīng)被標(biāo)準(zhǔn)化，如國(guó)際標(biāo)準(zhǔn)化組織的活動(dòng)圖像專家組(MPEG)標(biāo)準(zhǔn)。例如，一種廣泛應(yīng)用的視頻壓縮標(biāo)準(zhǔn)稱作MPEG-2。MPEG標(biāo)準(zhǔn)中采用的壓縮技術(shù)對(duì)各個(gè)圖片之間的變化進(jìn)行編碼，而不對(duì)圖片本身進(jìn)行編碼。該處理得到明顯的帶寬節(jié)省。
附圖簡(jiǎn)介本發(fā)明是舉例說明的，不限于附圖中的各圖，圖中相似的參考數(shù)字表示相似的部件，其中

圖1是說明視頻信號(hào)的路徑的功能框圖。
圖2是說明視頻編碼和壓縮的框圖。
圖3是比特流中增強(qiáng)層數(shù)據(jù)的層次表示。
圖4是說明服務(wù)器采取的步驟的流程圖。
圖5是說明視頻解碼的框圖。
圖6是說明根據(jù)一個(gè)實(shí)施例的視頻編碼和壓縮的框圖。
圖7是說明根據(jù)一個(gè)實(shí)施例的視頻解碼的框圖。
發(fā)明的詳細(xì)說明圖1是說明在網(wǎng)絡(luò)上分發(fā)的視頻數(shù)據(jù)所采取的一般路徑的框圖。輸入視頻信號(hào)10被饋送到編碼器12，而編碼器將信號(hào)10轉(zhuǎn)換成機(jī)器可讀的一系列比特或比特流形式的視頻數(shù)據(jù)。然后，視頻數(shù)據(jù)被存儲(chǔ)在服務(wù)器14，等待對(duì)該視頻數(shù)據(jù)的請(qǐng)求。當(dāng)服務(wù)器14接收到對(duì)視頻數(shù)據(jù)的請(qǐng)求時(shí)，它將數(shù)據(jù)發(fā)送到發(fā)射機(jī)16，由發(fā)射機(jī)沿網(wǎng)絡(luò)上的通信信道18發(fā)送數(shù)據(jù)。接收機(jī)20接收數(shù)據(jù)，并以比特流的形式將其發(fā)送到解碼器22。解碼器22將接收到的比特流轉(zhuǎn)換為即可觀看的輸出視頻信號(hào)24。
編碼器12所執(zhí)行的編碼可能包含有損壓縮技術(shù)、如MPEG-4，結(jié)果產(chǎn)生一個(gè)基層，即，足以允許生成比源視頻序列所表示的質(zhì)量要差的可視視頻序列的數(shù)據(jù)體?；鶎影曨l序列的低帶寬版本。如果要進(jìn)行解碼和觀看，感覺基層就象原始視頻的劣質(zhì)版本。正如下文要討論的，接收端的增強(qiáng)技術(shù)對(duì)丟失的數(shù)據(jù)進(jìn)行補(bǔ)償，并生成平滑且較為悅目的輸出視頻。
增強(qiáng)層可以捕捉量化/刪節(jié)的基層視頻圖片與未量化的原始輸入視頻圖片之間的差值。增強(qiáng)層改進(jìn)了由基層產(chǎn)生的可視視頻序列的質(zhì)量。在接收端將基層與單個(gè)增強(qiáng)層進(jìn)行組合，產(chǎn)生對(duì)視頻數(shù)據(jù)的校正和改善的輸出視頻圖像。組合附加的增強(qiáng)層則提供附加的校正和附加的改善效果。在接收端將基層與所有增強(qiáng)層組合將得到質(zhì)量幾乎等于原始輸入視頻的視頻輸出。
通常，每個(gè)增強(qiáng)層就是一個(gè)“比特片”的差值數(shù)據(jù)。在此安排中，每個(gè)圖片的每個(gè)增強(qiáng)層由一系列比特構(gòu)成。增強(qiáng)層按如下方式排序，第一增強(qiáng)層包含最重要的比特，第二增強(qiáng)層包含第二重要的比特，依此類推。這意味著，最重要的校正由第一增強(qiáng)層完成。組合越多的增強(qiáng)層會(huì)不斷提高輸出質(zhì)量。這樣，輸出視頻質(zhì)量可以通過將不同數(shù)量的增強(qiáng)層與基層組合來“調(diào)節(jié)”。利用更少或更多的增強(qiáng)層來調(diào)節(jié)輸出視頻質(zhì)量的過程稱為“細(xì)粒度可調(diào)節(jié)性”或FGS?？梢圆捎肍GS來產(chǎn)生一定質(zhì)量范圍的輸出視頻。
雖然在解碼過程中組合基層和所有增強(qiáng)層會(huì)得到圖片質(zhì)量幾乎等于輸入視頻的輸出視頻，但是通信信道的帶寬限制可能導(dǎo)致這一結(jié)果難以實(shí)現(xiàn)。帶寬限制可允許一些而非所有的增強(qiáng)層與基層一起傳輸。FGS允許將基層和增強(qiáng)層存儲(chǔ)在服務(wù)器的存儲(chǔ)器中。這樣，基層就可以與適合于特定信道帶寬的一定數(shù)量的增強(qiáng)層一起傳輸。一般，信道的帶寬越大，越多的增強(qiáng)層就可以與基層一起傳輸，從而輸出視頻的質(zhì)量越好。
與沿較小帶寬的信道接收含較少增強(qiáng)層的數(shù)據(jù)的觀看者相比，沿較大帶寬的信道接收含較多增強(qiáng)層的數(shù)據(jù)的觀看者將能夠看到更好質(zhì)量的輸出視頻。這里所述實(shí)施例的優(yōu)點(diǎn)在于，視頻數(shù)據(jù)可以容易地適應(yīng)不同帶寬的不同信道。
圖2說明對(duì)一系列輸入圖片30進(jìn)行編碼和壓縮的一個(gè)實(shí)施例，該實(shí)施例得到視頻數(shù)據(jù)的一個(gè)基層比特流32，加上一個(gè)或多個(gè)增強(qiáng)層的比特流34?；鶎颖忍亓?2和增強(qiáng)層比特流34可以通過復(fù)用器(Mux)38組合成單個(gè)輸出比特流36。
基層可以通過標(biāo)準(zhǔn)視頻編碼和壓縮技術(shù)40來創(chuàng)建。圖2所示的編碼和壓縮技術(shù)40僅是說明性的，并非實(shí)現(xiàn)編碼和壓縮的唯一方式。編碼和壓縮可以采用離散余弦變換(DCT)42、量化(Q)44以及可變長(zhǎng)度編碼(VLC)48。圖2還包括對(duì)各個(gè)圖片之間變化進(jìn)行編碼的技術(shù)，其中包括逆量化(IQ)50、離散余弦反變換(IDCT)52、利用從運(yùn)動(dòng)估算中獲得的運(yùn)動(dòng)矢量({M.V.})59進(jìn)行的運(yùn)動(dòng)補(bǔ)償(MC)54、幀存儲(chǔ)56以及從輸入圖片流30減去60先前圖片62以分出一個(gè)圖片與下一個(gè)圖片的差異。
圖2還說明導(dǎo)致增強(qiáng)層創(chuàng)建的減法運(yùn)算64，這些增強(qiáng)層包含量化基層視頻(也稱為重構(gòu)圖片)和未量化的輸入視頻之間差異的各種比特。在圖2中，每個(gè)圖片所對(duì)應(yīng)的增強(qiáng)層表示對(duì)各個(gè)圖片之間變化的增強(qiáng)，而非對(duì)各圖片本身的增強(qiáng)。當(dāng)增強(qiáng)層數(shù)據(jù)被安排在各個(gè)增強(qiáng)層中，第一增強(qiáng)層包含最重要的增強(qiáng)數(shù)據(jù)比特，第二增強(qiáng)層包含第二重要的增強(qiáng)數(shù)據(jù)比特，依此類推。這些比特的安排可稱為“位面”，它們可以由位面切片器70產(chǎn)生。在創(chuàng)建位面時(shí)，可以將一個(gè)或多個(gè)開始代碼作為標(biāo)記插入比特流。圖2表示插入兩個(gè)開始代碼72和76。稱為“視頻對(duì)象平面”的一組位面可以用開始代碼72來標(biāo)記，開始代碼76還可在位面VLC 74插入以標(biāo)記每個(gè)位面的開始。插入開始代碼來標(biāo)記位面實(shí)際上表示比特流中增強(qiáng)層的標(biāo)記。
開始代碼在對(duì)視頻數(shù)據(jù)進(jìn)行解碼時(shí)是有用的。開始代碼可以是唯一的、字節(jié)對(duì)齊的字節(jié)序列。例如，開始代碼可以由四個(gè)字節(jié)構(gòu)成，前三個(gè)字節(jié)標(biāo)識(shí)圖片數(shù)據(jù)的開始(圖片代碼的開始)，最后一個(gè)字節(jié)標(biāo)識(shí)該數(shù)據(jù)(標(biāo)識(shí)碼)。通常，基層中每個(gè)圖片所對(duì)應(yīng)的每個(gè)增強(qiáng)層都可以用開始代碼標(biāo)記。在一個(gè)實(shí)施例中，每個(gè)增強(qiáng)層中的每個(gè)圖片也可以用開始代碼標(biāo)記。字節(jié)對(duì)齊的開始代碼讓剖析器或其它處理器可以容易地搜索比特流，以便識(shí)別開始代碼和容易地剖析比特流。利用開始代碼，可以將比特流剖析為視頻數(shù)據(jù)的基層和兩個(gè)或兩個(gè)以上增強(qiáng)數(shù)據(jù)層。
圖3說明可以插入增強(qiáng)層比特流中的開始代碼。雖然比特流可以具有若干開始代碼以標(biāo)識(shí)比特流內(nèi)視頻數(shù)據(jù)的存在，但是特定視頻序列的開始可以用“視頻對(duì)象層”(VOL)開始代碼80來標(biāo)識(shí)。VOL開始代碼80之后是圖片序列，可以稱為“視頻對(duì)象平面”或VOP。VOP可以表示實(shí)際的圖片數(shù)據(jù)，或者它可以表示一個(gè)圖片與下一個(gè)圖片之間的變化。每個(gè)圖片或VOP可以用VOP開始代碼82標(biāo)記。VOP開始代碼82可以在圖2中位面切片器70中插入。此外，每個(gè)圖片的每個(gè)增強(qiáng)層稱為“視頻對(duì)象位面”(VOBP)，可以設(shè)有其自己的VOBP開始代碼84。VOBP開始代碼84可以在圖2中的位面VLC74中插入。
每個(gè)圖片又可以由稱為“切片”的更小單元構(gòu)成，每個(gè)切片可以設(shè)有其自己的切片開始代碼86。切片，通常為圖片中的水平條形區(qū)，而切片又可以由諸如宏塊之類的單元構(gòu)成。宏塊通常由256個(gè)按16×16的方塊排布的圖像元素或像素構(gòu)成。每個(gè)宏塊也可用開始代碼標(biāo)記。
若每個(gè)增強(qiáng)層中的每個(gè)圖片沒有開始代碼，則各個(gè)增強(qiáng)層的數(shù)據(jù)可能不容易復(fù)原。計(jì)算機(jī)處理器通常無法通過檢查數(shù)據(jù)的字節(jié)來判斷某個(gè)特定字節(jié)是否是特定圖片的第一數(shù)據(jù)字節(jié)。相比之下，字節(jié)對(duì)齊的開始代碼可讓計(jì)算機(jī)處理器快速判斷某個(gè)特定圖片的數(shù)據(jù)在何處開始以及該特定圖片的數(shù)據(jù)在何處結(jié)束。由此，開始代碼可讓增強(qiáng)層容易地剖析。
所有壓縮視頻數(shù)據(jù)可以存儲(chǔ)在存儲(chǔ)裝置中，如等待處理客戶機(jī)對(duì)數(shù)據(jù)的請(qǐng)求的服務(wù)器中。通?？蛻魴C(jī)是向服務(wù)器請(qǐng)求諸如視頻數(shù)據(jù)之類的資源的應(yīng)用。
服務(wù)器可能向客戶機(jī)提供視頻數(shù)據(jù)的步驟如圖4所示。視頻數(shù)據(jù)包括基層和增強(qiáng)層，存儲(chǔ)在服務(wù)器的存儲(chǔ)器中(90)。當(dāng)客戶機(jī)沿通信信道向服務(wù)器發(fā)出對(duì)視頻數(shù)據(jù)的請(qǐng)求時(shí)(92)，服務(wù)器中的處理器確定客戶機(jī)的通信信道上的帶寬量(94)。有許多方式可供服務(wù)器確定可用帶寬量。一種方式是讓客戶機(jī)提供帶寬信息。服務(wù)器中的處理器還確定沿該信道在可用帶寬內(nèi)可以可靠地傳輸?shù)脑鰪?qiáng)層的數(shù)量(96)。
確定可以發(fā)送的增強(qiáng)層數(shù)量之后，服務(wù)器可準(zhǔn)備要傳送到客戶機(jī)的視頻數(shù)據(jù)的比特流(98)。要傳輸?shù)谋忍亓骺砂ɑ鶎雍鸵粋€(gè)或多個(gè)增強(qiáng)層，具體取決于可用信道的帶寬。服務(wù)器發(fā)送的增強(qiáng)層的數(shù)量不一定是整數(shù)。這樣，根據(jù)客戶機(jī)的帶寬調(diào)整發(fā)送到客戶機(jī)的增強(qiáng)層數(shù)量，從而增加視頻傳輸?shù)撵`活性。
為了準(zhǔn)備比特流，服務(wù)器可使用去復(fù)用器將基層數(shù)據(jù)與增強(qiáng)層數(shù)據(jù)分離，然后可將增強(qiáng)層數(shù)據(jù)剖析成適當(dāng)數(shù)量的增強(qiáng)層的比特流。編碼過程中插入的開始代碼可用于剖析。增強(qiáng)層位面通常按照重要性最大到最小的順序來安排，服務(wù)器將按照其重要程度發(fā)送這些增強(qiáng)層。被發(fā)送的增強(qiáng)層將代表對(duì)基層的較為重要的校正，未傳送的增強(qiáng)層代表較次重的校正。在傳輸之前，基層和剖析出的增強(qiáng)層可以復(fù)用到單個(gè)比特流中。
圖5表示對(duì)服務(wù)器通過通信信道發(fā)送并由客戶機(jī)接收的視頻數(shù)據(jù)進(jìn)行解碼和復(fù)原的方法。在接收端，解碼器的輸入包括視頻數(shù)據(jù)100的比特流。視頻數(shù)據(jù)的比特流100可以被分成基層數(shù)據(jù)的比特流102和增強(qiáng)層數(shù)據(jù)的比特流104。去復(fù)用器(Demux)106可以用于分離比特流。
基層和增強(qiáng)層可經(jīng)過不同解碼處理或“管線”116、118。正如基層和增強(qiáng)層的編碼可能并不包含完全相同的步驟，在解碼過程中同樣可能有一些差異。
在基層解碼管線118中，基層可經(jīng)過可變長(zhǎng)度解碼(VLD)120、逆量化(IQ)122、逆向掃描(IS)124以及離散余弦反變換(IDCT)126。VLD120、IQ 122、IS 124和IDCT 126的操作基本是圖2所示的編碼過程中執(zhí)行的VLC 48、Q 44、S 46和DCT 42操作的逆向操作。然后，在運(yùn)動(dòng)補(bǔ)償器(MC)130處理解碼的基層數(shù)據(jù)，運(yùn)動(dòng)補(bǔ)償器可根據(jù)一個(gè)圖片與下一個(gè)圖片之間的變化來重構(gòu)各個(gè)圖片。前一圖片或“參考”圖片134的數(shù)據(jù)會(huì)存儲(chǔ)在稱為“幀緩沖器”的臨時(shí)存儲(chǔ)單元136中，并會(huì)被用作參考。來自IDCT 126的解碼數(shù)據(jù)被MC 130用來確定序列中下一圖片與前一圖片之間的變化。因?yàn)镮DCT 126可能導(dǎo)致無效視頻數(shù)據(jù)的產(chǎn)生，所以采用“剪輯”功能132來調(diào)整該數(shù)據(jù)。例如，有效視頻數(shù)據(jù)可能是0到255之間、包含0和255的任何數(shù)字，0表示黑色像素，而255表示白色像素。如果IDCT操作126返回?zé)o效的負(fù)數(shù)，則剪輯操作132可以將該數(shù)據(jù)設(shè)置為0，并使其有效。同樣，如果IDCT操作126返回大于255的數(shù)字，則剪輯功能132可將該數(shù)據(jù)設(shè)置為255。基層管線118的輸出是基層視頻數(shù)據(jù)138。圖5所示的解碼技術(shù)是說明性的，而非實(shí)現(xiàn)解碼的唯一方式。
增強(qiáng)層116的解碼管線不同于基層118的解碼管線。增強(qiáng)層比特流104還會(huì)進(jìn)一步分成增強(qiáng)層數(shù)據(jù)108、110、112的各個(gè)比特流，一個(gè)比特流對(duì)應(yīng)于一個(gè)增強(qiáng)層。預(yù)剖析器114可用于將增強(qiáng)層比特流分成增強(qiáng)層數(shù)據(jù)108、110、112的各個(gè)比特流。預(yù)剖析器114可以采用編碼過程中插入的位面開始代碼76來完成預(yù)剖析。預(yù)剖析可以使各增強(qiáng)層108、110、112的數(shù)據(jù)并行解碼。
在圖5中，可能需要解碼單個(gè)圖片的多個(gè)增強(qiáng)層108、110、112。如果傳送了部分增強(qiáng)層，則會(huì)形成分離的到解碼器的并行輸入。在圖5中，M個(gè)增強(qiáng)層將以并行方式解碼。第M個(gè)或最后一層112在傳輸之前被服務(wù)器刪節(jié)，因此不一定是完整的層。每個(gè)增強(qiáng)層可經(jīng)過VLD處理140和IS處理142。因?yàn)樵诰幋a時(shí)量化可能并非必需的，所以解碼過程中可能不需要對(duì)增強(qiáng)層進(jìn)行IQ處理。
在IS處理142之后，這些增強(qiáng)層在位面累加器144中進(jìn)行累加。位面累加器144將每個(gè)位面的最重要比特放置在其正確位置，然后將每個(gè)位面的次重要比特放置于其位置，依此類推。如果服務(wù)器傳送的增強(qiáng)層比全部數(shù)量少，則位面可能未完全填充，位面中的某些數(shù)據(jù)可能是不確定的。則可采用一些填充位面的例程。例如，可以簡(jiǎn)單地以隨機(jī)噪聲填充最次要比特的位置。然后，位面會(huì)經(jīng)過IDCT操作146的處理。
增強(qiáng)層管線116的輸出150表示隨后與基層視頻138相加152的校正。加法操作156的輸出會(huì)經(jīng)過剪輯功能148的處理，以消除出界數(shù)據(jù)。剪輯功能148的輸出154是圖片的最終版本，最終版本被增強(qiáng)到信道帶寬所允許的程度，已經(jīng)可供觀看。該圖片會(huì)被存儲(chǔ)在幀緩沖器136中，并且可作為下一幅圖片的參考134。一般觀看者從幀緩沖器136中讀取數(shù)據(jù)，幀緩沖器可以為觀看者提供穩(wěn)定的視頻圖片數(shù)據(jù)流。
圖5所示的解碼器是示范性的。圖5所示的一些操作是線形的，當(dāng)然可以不同順序進(jìn)行。例如，將基層和增強(qiáng)層相加的操作152可以在IDCT操作126、146之前執(zhí)行。再者，在替代實(shí)施例中，增強(qiáng)層中的許多操作可以順序而非并行的方式進(jìn)行。
在一個(gè)實(shí)施例中，利用替代FGS生成增強(qiáng)層。與上述FGS類似，替代FGS編碼方案也將視頻數(shù)據(jù)幀編碼成視頻質(zhì)量相對(duì)較低的基層和視頻質(zhì)量遞增的多個(gè)可隨機(jī)調(diào)節(jié)的增強(qiáng)位面層。一個(gè)差別在于，替代FGS采用更高質(zhì)量的參考(例如前一增強(qiáng)幀)來進(jìn)行一些增強(qiáng)層編碼，從而增加編碼效率。更高質(zhì)量參考可以提供更精確的運(yùn)動(dòng)預(yù)測(cè)。
在圖6所示的實(shí)施例中，將預(yù)測(cè)模式678加到較低的增強(qiáng)層680。具體來講，利用預(yù)測(cè)模式678，可以預(yù)測(cè)增強(qiáng)層中輸入視頻的子部分(例如宏塊)，即生成輸入視頻與先前根據(jù)多個(gè)參考之一處理的視頻(例如量化視頻)之間的差值。
在圖6所示的實(shí)施例中，有三種不同的預(yù)測(cè)模式1)根據(jù)當(dāng)前重構(gòu)的基層預(yù)測(cè)682(利用當(dāng)前重構(gòu)的基層可以減少差錯(cuò)漂移)；2)根據(jù)前一增強(qiáng)幀預(yù)測(cè)684(對(duì)于某些場(chǎng)景，更高質(zhì)量的參考數(shù)據(jù)來源于運(yùn)動(dòng)預(yù)測(cè)的增強(qiáng)層，因此我們采用這種模式來降低殘差以及提高編碼效率)；3)根據(jù)前一增強(qiáng)幀與當(dāng)前重構(gòu)的基層的組合來預(yù)測(cè)686(例如，這兩個(gè)參考的平均值或這兩個(gè)獨(dú)立參考的其它一些組合)。
在一個(gè)實(shí)施例中，預(yù)測(cè)模式的選擇是自適應(yīng)地通過以下方式進(jìn)行的將輸入視頻的子部分(例如宏塊)與前一增強(qiáng)幀684、當(dāng)前重構(gòu)的基層682的子部分進(jìn)行比較；和/或與前一增強(qiáng)幀和當(dāng)前重構(gòu)的基層的組合進(jìn)行比較。基于這種比較，可以選擇預(yù)測(cè)模式。在一個(gè)實(shí)施例中，選擇最接近輸入視頻的參考，因?yàn)橐幋a的差值會(huì)較小。在一個(gè)實(shí)施例中，接近的標(biāo)準(zhǔn)是基于像素塊之間的絕對(duì)差值之和。在一個(gè)實(shí)施例中，總是周期性地根據(jù)當(dāng)前重構(gòu)的基層來選擇預(yù)測(cè)模式，以便減少差錯(cuò)漂移。
再者，在一個(gè)實(shí)施例中，重構(gòu)數(shù)據(jù)體的選擇在從編碼器傳送到解碼器的比特流語法中予以指示?；蛘?，可以分別從重構(gòu)的基層和重構(gòu)的增強(qiáng)層，把該預(yù)測(cè)模式下重構(gòu)數(shù)據(jù)體的選擇從編碼器發(fā)送到解碼器。再者，采用一組第一運(yùn)動(dòng)矢量來生成數(shù)據(jù)的第一重構(gòu)體，以及還采用該組第一運(yùn)動(dòng)矢量來生成數(shù)據(jù)的第二重構(gòu)體。
此外，如圖6所示，在一個(gè)實(shí)施例中，在前一個(gè)增強(qiáng)幀684經(jīng)過空間域重構(gòu)和剪輯690(如上所述)之后，通過預(yù)測(cè)模式接收它。同樣，當(dāng)前重構(gòu)的基層682也在經(jīng)過空間域重構(gòu)和剪輯688之后，通過預(yù)測(cè)模式接收它。由于利用了剪輯，可以降低編碼器和解碼器的復(fù)雜性。
圖7所示的是具有預(yù)測(cè)模式的解碼器，該預(yù)測(cè)模式確定將哪個(gè)參考添加到解碼的增強(qiáng)層。如圖所示，可以根據(jù)當(dāng)前解碼的基層782、解碼的前一個(gè)增強(qiáng)幀784和/或前一個(gè)解碼的增強(qiáng)幀與當(dāng)前解碼的基層的組合786來選擇預(yù)測(cè)模式。
如圖7所示，在一個(gè)實(shí)施例中，在解碼的前一個(gè)增強(qiáng)幀784經(jīng)過空間域重構(gòu)和剪輯790(如上所述)之后，通過解碼器預(yù)測(cè)模式778接收。同樣，解碼的當(dāng)前重構(gòu)的基層782也在經(jīng)過空間域重構(gòu)和剪輯788之后，通過該預(yù)測(cè)模式接收。
上述的方法、編碼器和解碼器可以作為要執(zhí)行的一組指令存儲(chǔ)在計(jì)算機(jī)系統(tǒng)(例如，機(jī)頂盒、錄像機(jī)等)的存儲(chǔ)器中。此外，實(shí)現(xiàn)上述方法、編碼器和解碼器的指令也可以存儲(chǔ)在其它形式的機(jī)器可讀媒體中，包括磁盤和光盤。例如，本發(fā)明的方法可以存儲(chǔ)在機(jī)器可讀媒體、如磁盤或光盤中，它們都可以通過盤驅(qū)動(dòng)器(或計(jì)算機(jī)可讀媒體驅(qū)動(dòng)器)存取。再者，可以通過數(shù)據(jù)網(wǎng)將該指令以編譯和鏈接的形式下載到計(jì)算設(shè)備中。
或者，實(shí)現(xiàn)上述方法、編碼器和解碼器的邏輯可以在以下各項(xiàng)中實(shí)現(xiàn)附加的計(jì)算機(jī)和/或機(jī)器可讀媒體，諸如分立硬件部件、大規(guī)模集成電路(LSI)、專用集成電路(ASIC)、如電可擦可編程只讀存儲(chǔ)器(EEPROM)之類的固件；以及電、光、聲以及其它傳播信號(hào)的形式(例如，載波、紅外線信號(hào)、數(shù)字信號(hào)等)；等等。再者，上述編碼器和解碼器可以在同一個(gè)硬件部件上實(shí)現(xiàn)，如可以或不可以集成在芯片組裝置中的圖形控制器。
雖然參考具體的示范性實(shí)施例說明了本發(fā)明，但是顯然在不違背本發(fā)明更為廣義的精神和范圍的前提下可以對(duì)這些實(shí)施例進(jìn)行各種修改和更改。因此，本說明書和附圖只是出于說明目的，而非限定。
權(quán)利要求
1.一種方法，它包括生成第一數(shù)據(jù)體，所述第一數(shù)據(jù)體足以允許生成比源視頻序列表示的質(zhì)量低的可視視頻序列；以及生成第二數(shù)據(jù)體，所述第二數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的所述可視視頻序列的質(zhì)量，所述第二數(shù)據(jù)體是通過從所述源視頻序列的子部分中減去重構(gòu)數(shù)據(jù)體來生成的，其中所述重構(gòu)數(shù)據(jù)體是從一組的至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體中選擇的。
2.如權(quán)利要求1所述的方法，其特征在于，所述至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體的組是從第一重構(gòu)數(shù)據(jù)體、第二重構(gòu)數(shù)據(jù)體或所述第一重構(gòu)數(shù)據(jù)體和所述第二重構(gòu)數(shù)據(jù)體的組合之中選擇的，其中所述第一重構(gòu)數(shù)據(jù)體足以允許生成比所述源視頻序列表示的質(zhì)量低的可視視頻序列，所述第二重構(gòu)數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的可視視頻序列的質(zhì)量。
3.如權(quán)利要求2所述的方法，其特征在于還包括在通過從所述源視頻序列的子部分中減去所述重構(gòu)數(shù)據(jù)體而生成所述第二數(shù)據(jù)體之前，在空間上重構(gòu)和剪輯所述第一重構(gòu)數(shù)據(jù)體以及在空間上重構(gòu)和剪輯所述第二重構(gòu)數(shù)據(jù)體。
4.如權(quán)利要求2所述的方法，其特征在于，所述第二數(shù)據(jù)體是通過從所述源視頻序列的宏塊中減去重構(gòu)數(shù)據(jù)體來生成的。
5.如權(quán)利要求2所述的方法，其特征在于還包括將所述至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體與所述源視頻序列進(jìn)行比較，從而自適應(yīng)地從所述第一重構(gòu)數(shù)據(jù)體、所述第二重構(gòu)數(shù)據(jù)體或者所述第一和第二重構(gòu)數(shù)據(jù)體的組合中選擇。
6.如權(quán)利要求2所述的方法，其特征在于，在從編碼器發(fā)出的比特流的語法中指示重構(gòu)數(shù)據(jù)體的選擇。
7.如權(quán)利要求2所述的方法，其特征在于，采用第一組運(yùn)動(dòng)矢量來生成所述第一數(shù)據(jù)體，以及采用所述第一組運(yùn)動(dòng)矢量來生成所述第二數(shù)據(jù)體。
8.如權(quán)利要求2所述的方法，其特征在于，所述第一數(shù)據(jù)體和所述第二數(shù)據(jù)體是由單個(gè)硬件部件生成的。
9.一種包括存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀媒體的產(chǎn)品，所述指令使計(jì)算機(jī)生成第一數(shù)據(jù)體，所述第一數(shù)據(jù)體足以允許生成比源視頻序列表示的質(zhì)量低的可視視頻序列；以及生成第二數(shù)據(jù)體，所述第二數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的可視視頻序列的質(zhì)量，所述第二數(shù)據(jù)體是通過從所述源視頻序列的子部分中減去重構(gòu)數(shù)據(jù)體而生成的，其中所述重構(gòu)數(shù)據(jù)體是從一組的至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體中選擇的。
10.如權(quán)利要求9所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于，所述至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體的組是從第一重構(gòu)數(shù)據(jù)體、第二重構(gòu)數(shù)據(jù)體或者所述第一和第二重構(gòu)數(shù)據(jù)體的組合之中選擇的，其中所述第一重構(gòu)數(shù)據(jù)體足以允許生成比所述源視頻序列所表示的質(zhì)量低的可視視頻序列，所述第二重構(gòu)數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的所述可視視頻序列的質(zhì)量。
11.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于還包括附加的指令，這些指令使計(jì)算機(jī)在通過從所述源視頻序列的子部分中減去所述重構(gòu)數(shù)據(jù)體來生成所述第二數(shù)據(jù)體之前，在空間上重構(gòu)和剪輯所述第一重構(gòu)數(shù)據(jù)體以及在空間上重構(gòu)和剪輯所述第二重構(gòu)數(shù)據(jù)體。
12.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于，所述第二數(shù)據(jù)體是通過從所述源視頻序列的宏塊中減去重構(gòu)數(shù)據(jù)體來生成的。
13.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于還包括附加的指令，這些指令使計(jì)算機(jī)將所述至少兩個(gè)獨(dú)立的重構(gòu)數(shù)據(jù)體與所述源視頻序列進(jìn)行比較，從而自適應(yīng)地從所述第一重構(gòu)數(shù)據(jù)體、所述第二重構(gòu)數(shù)據(jù)體或者所述第一和第二重構(gòu)數(shù)據(jù)體的組合之中選擇。
14.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于，在從編碼器發(fā)送的比特流的語法中指示重構(gòu)數(shù)據(jù)體的選擇。
15.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于，采用第一組運(yùn)動(dòng)矢量來生成所述第一數(shù)據(jù)體，以及采用所述第一組運(yùn)動(dòng)矢量來生成所述第二數(shù)據(jù)體。
16.如權(quán)利要求10所述的包括計(jì)算機(jī)可讀媒體的產(chǎn)品，其特征在于，所述第一數(shù)據(jù)體和所述第二數(shù)據(jù)體是由單個(gè)硬件部件生成的。
17.一種系統(tǒng)，它包括用于生成第一數(shù)據(jù)體的第一單元，所述第一數(shù)據(jù)體足以允許生成比源視頻序列所表示的質(zhì)量低的可視視頻序列；以及用于生成第二數(shù)據(jù)體的第二單元，所述第二數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的可視視頻序列的質(zhì)量，所述第二數(shù)據(jù)體是通過從所述源視頻序列的子部分中減去重構(gòu)數(shù)據(jù)體來生成的，其中所述重構(gòu)數(shù)據(jù)體是從至少兩個(gè)獨(dú)立重構(gòu)數(shù)據(jù)體的組中選擇的。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述至少兩個(gè)獨(dú)立重構(gòu)數(shù)據(jù)體的組是從第一重構(gòu)數(shù)據(jù)體、第二重構(gòu)數(shù)據(jù)體或所述第一和第二重構(gòu)數(shù)據(jù)體的組合之中選擇的，其中所述第一重構(gòu)數(shù)據(jù)體足以允許生成比所述源視頻序列所表示的質(zhì)量低的可視視頻序列，所述第二重構(gòu)數(shù)據(jù)體足以增強(qiáng)從所述第一數(shù)據(jù)體生成的所述可視視頻序列的質(zhì)量。
19.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述第一單元通過從所述源視頻序列的子部分中減去所述重構(gòu)數(shù)據(jù)體而生成所述第二數(shù)據(jù)體之前，在空間上重構(gòu)和剪輯所述第一重構(gòu)數(shù)據(jù)體，并且所述第二單元在空間上重構(gòu)和剪輯所述第二重構(gòu)數(shù)據(jù)體。
20.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述第二數(shù)據(jù)體是通過從所述源視頻序列的宏塊中減去重構(gòu)數(shù)據(jù)體來生成的。
21.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述第二單元將所述至少兩個(gè)獨(dú)立重構(gòu)數(shù)據(jù)體與所述源視頻序列進(jìn)行比較，自適應(yīng)地從所述第一重構(gòu)數(shù)據(jù)體、所述第二重構(gòu)數(shù)據(jù)體或所述第一和第二重構(gòu)數(shù)據(jù)體的組合之中選擇。
22.如權(quán)利要求18所述的系統(tǒng)，其特征在于，在從所述系統(tǒng)發(fā)送的比特流的語法中指示所述重構(gòu)數(shù)據(jù)體的選擇。
23.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述第一單元采用第一組運(yùn)動(dòng)矢量來生成所述第一數(shù)據(jù)體，以及所述第二單元采用所述第一組運(yùn)動(dòng)矢量來生成所述第二數(shù)據(jù)體。
24.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述第一單元和所述第二單元包含于單個(gè)硬件部件上。
全文摘要
在編碼過程中，視頻數(shù)據(jù)被表示為量化的基層和至少兩個(gè)增強(qiáng)層的比特流，其中每層中的每個(gè)圖片由開始代碼標(biāo)識(shí)。在通信信道上傳輸基層加上按通信信道帶寬能夠傳輸?shù)囊欢〝?shù)量的增強(qiáng)層。
文檔編號(hào)H04N7/50GK1515118SQ02806200
公開日2004年7月21日 申請(qǐng)日期2002年1月7日 優(yōu)先權(quán)日2001年1月10日
發(fā)明者Y·-K·陳, Y -K 陳, W·-H·彭, づ 申請(qǐng)人:英特爾公司