專利名稱：差分編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用預(yù)測編碼對圖像塊進行差分編碼的方法和設(shè)備。更具體地，本發(fā)明涉及一種利用“直接”方式的編碼方法或設(shè)備。如稍后所解釋的，“直接”方式是利用運動補償?shù)碾p向預(yù)測方式，根據(jù)用于對后續(xù)的預(yù)測編碼圖像的相同位置的宏塊進行編碼的運動矢量的分量，獲得其運動矢量的分量。
背景技術(shù)：
該領(lǐng)域為視頻壓縮領(lǐng)域，更具體地，該領(lǐng)域是MPEG 4部分2或部分10、H.263和H.26I型的視頻編碼領(lǐng)域。
在諸如MPEG型的數(shù)據(jù)壓縮標(biāo)準(zhǔn)中，要編碼的圖像通常是幀內(nèi)型和幀間型的圖像，并且在幀間型的圖像的情況下，利用P型的預(yù)測編碼或利用B型的雙向預(yù)測編碼。這里采用了其廣義上的術(shù)語圖像，并且所述圖像還涵蓋了構(gòu)成圖像的視頻對象平面，更眾所周知的是名稱VOP，代表視頻對象平面。
通常，首先，激活在編碼器中所包含的運動估計器，從而提取P型圖像的運動字段。隨后，在對該P圖像進行編碼之后，針對傳統(tǒng)的前向、后向和雙向預(yù)測方式，再次為每一個B圖像調(diào)用運動估計器。在完成了每一個B圖像的各種運動估計之后，通過根據(jù)在編碼器中的有效標(biāo)準(zhǔn)，從包括“時間直接”方式的所有可用的方式中選擇最佳方式，來進行該編碼。例如在ISO/IEC 14496-2標(biāo)準(zhǔn)的段落7.6.9.5中所解釋的該“時間直接”方式使用了最近解碼后的P型圖像中的共同位置的宏塊的運動矢量，以進行B型圖像中的宏塊的雙向預(yù)測。共同位置宏塊是位于相同位置處的宏塊，即，具有與P圖像的當(dāng)前宏塊相同的垂直和水平索引。
圖1示出了利用直接方式的運動預(yù)測。
按照顯示的順序示出了四個連續(xù)的圖像，即，在重新排序之前，類型I或P的第一參考圖像、類型B的第二和第三圖像和類型P的第四參考圖像。
針對P型的第四圖像的參考符號為1的當(dāng)前宏塊MBp的預(yù)測是類型I或P的第一圖像的參考符號為2的宏塊。相應(yīng)的運動矢量MVp參考符號為3。
與針對第二圖像的宏塊MBp相對應(yīng)的共同位置的宏塊參考符號為4。針對屬于B圖像的該宏塊的直接型預(yù)測在第一圖像中給出了第一宏塊MBfw，在最后圖像中給出了第二宏塊MBbck，參考符號為5和6的這些宏塊分別對應(yīng)于在圖中參考符號為7和8的前向運動矢量MVF和后向運動矢量MVB。
盡管在MPEG標(biāo)準(zhǔn)中，通常給宏塊分配了運動矢量，但是該方法可以應(yīng)用于簡單的圖像塊，因此，此后，將不在圖像塊和宏塊之間進行區(qū)分。
作為示例，通過按照如下公式使圖像間差值的絕對值的和最小，在可以提取P圖像的塊的矢量的運動估計期間所使用的傳統(tǒng)方法可以基于搜索窗中的塊匹配技術(shù)，所述公式為SADdx,dyP=(Σi,j=0i,j=L|Pcur(i,j)-IPprev(i+dx,j+dy)|)]]>SADDx,DyP=Min(SADdx,dyP)dx,dy=-Ndx,dy=N]]>其中-i，j在大小為L*L的塊中所包含的像素的行和列索引，-Pcur(i，j)類型P的當(dāng)前圖像的塊，-IPprev(i，j)類型I或P的前一個(從時間的觀點來看)圖像的塊，-SADdx，dyPP型當(dāng)前圖像的塊和I型或P型的前一個圖像的位移為dx、dy的塊的像素的亮度值之間的差值的絕對值的和(代表絕對差值的和的首字母縮寫)。
-SADDx，DyP在大小為2N+1、2N+1的搜索窗中并對應(yīng)于位移Dx、Dy的圖像塊的集合上的SADdx，dyP的最小值。
對于所關(guān)心的B圖像的共同位置的塊，按照如下方式，利用MVF和MVB的矢量，根據(jù)直接方式來預(yù)測所述塊，所述方式為MBprddrc=(MBbck+MBfw2),]]>即，塊MBbck和MBfw，逐像素的和的一半，其中-按照后向預(yù)測方式，MBbck＝Pnext(xbck，ybck)。
從時間的觀點來看，Pnext(xbck，ybck)表示屬于下一個P圖像的預(yù)測塊，其位置對應(yīng)于以分量xbck、ybck為矢量位移的共同位置的塊的位置。
-按照前向預(yù)測方式，MBfw＝IPprev(xfor，yfor)。
IPprev(xfor，yfor)表示屬于前一個I/P圖像的預(yù)測塊，其位置對應(yīng)于以分量xfor、yfor為矢量位移的共同位置的塊的位置。
-xbck、ybck，根據(jù)共同位置的塊MBp的矢量MVp的分量獲得的矢量MVB的分量。
-xfor、yfor，根據(jù)共同位置的塊MBp的矢量MVp的分量獲得的矢量MVF的分量。
分配給共同位置的塊的運動矢量MVB和MVF是與運動矢量MVp線性對應(yīng)的矢量，分別指向P型的下一個圖像和I型和P型的前一個圖像，共同位置的塊源自其中。
MBprddrc是根據(jù)前向和后向預(yù)測塊計算出的直接方式的B圖像的預(yù)測塊。
按照這樣的方法，從時間的觀點來看，執(zhí)行P圖像的塊MB的運動估計和預(yù)測方式選擇，與前一個B圖像的內(nèi)容無關(guān)。因此，該編碼，即數(shù)據(jù)壓縮，對于雙向型的這些圖像并不是最佳的。

發(fā)明內(nèi)容
本發(fā)明的目的是緩解前述的缺陷。本發(fā)明的主題是一種根據(jù)第二參考圖像中的預(yù)測圖像塊對第一參考圖像中的當(dāng)前圖像塊進行差分編碼的方法，所述參考圖像與其差分編碼可以考慮這些參考圖像的塊的雙向型或B型的一個或多個圖像側(cè)面相接，所述方法包括步驟作為當(dāng)前塊和分配給當(dāng)前塊的、具有分量dx、dy的運動矢量Vp所指定的候選塊之間的差值DPdx，dy的函數(shù)，從候選塊中選擇預(yù)測塊，其特征在于所述選擇還取決于B型圖像中的當(dāng)前圖像塊的共同位置的塊和參考圖像中的塊之間的差值DBdrx，dry，由分配給相同位置的塊并與運動矢量Vp線性對應(yīng)的、具有分量drx、dry的運動矢量來指定所述參考圖像中的塊。
根據(jù)特定的特征，具有分量drx、dry的運動矢量是在B型圖像和第一參考圖像之間的后向運動矢量、或者在B型圖像和第二參考圖像之間的前向運動矢量。
根據(jù)特定的特征，所述選擇考慮了B型圖像和第二參考圖像之間與具有分量drxfw，、dryfw的線性對應(yīng)的運動矢量相對應(yīng)的差值DBdrxfw，dryfw，以及B型圖像和第一參考圖像之間與具有分量drxbck、drybck的運動矢量相對應(yīng)的差值DBdrxbck，drybck。
根據(jù)特定的特征，所述選擇取決于B型第一圖像Bo和參考圖像之間與線性對應(yīng)的運動矢量相對應(yīng)的差值DBodrx，dry，以及B型第二圖像B1和參考圖像之間與線性對應(yīng)的運動矢量相對應(yīng)的差值DB1drx，dry。
根據(jù)特定的特征，從候選塊中選擇的塊對應(yīng)于針對這些候選塊計算的差值DPdx，dy、DBdrxfw，dryfw，和DBdrxbck，drybck的函數(shù)的最小值。
根據(jù)特定的實現(xiàn)，根據(jù)塊的像素的亮度值之間的差值的絕對值的和(SAD)來計算差值。
本發(fā)明的優(yōu)點涉及改進調(diào)節(jié)通過量的圖像的質(zhì)量、以及在恒定質(zhì)量時的更低成本。在選擇P圖像的矢量期間，在多個類型的SAD之間的選擇實質(zhì)上增加了運動場的均勻性。
根據(jù)本發(fā)明的方法通過不僅考慮在位移矢量固有的圖像間差值(SADp)，而且考慮由于位于兩個I/P、P圖像之間的每一個B型圖像中的每一個共同位置的塊的直接預(yù)測方式而造成的預(yù)測誤差，在P圖像塊級進行運動估計。當(dāng)選擇P型圖像的共同位置的塊的運動矢量時，考慮了直接方式下的B型圖像的塊的編碼成本。
在對B圖像進行編碼期間，該方法能夠有利于直接方式，所述直接方式通常表示在編碼成本上對于該類型的圖像最為經(jīng)濟的方式。在一定的條件下，該直接方式可能會導(dǎo)致“跳躍(skipped)宏塊”方式(例如，在ISO 13818-2標(biāo)準(zhǔn)的§7.6.6中所描述的)，這是與零殘余相對應(yīng)的編碼方式，幾乎為零成本。


通過結(jié)合附圖提供、并作為非限定性示例給出的以下描述，本發(fā)明的其他特征和優(yōu)點將變得清楚明顯，其中-圖1示出了根據(jù)直接方式的塊預(yù)測；-圖2示出了利用直接方式的圖像B0和圖像B1的塊的預(yù)測。
具體實施例方式
圖2示出了P圖像的當(dāng)前塊MBp的預(yù)測，屬于B型的圖像、被稱為B0的第一圖像、以及被稱為B1的第二圖像的共同位置的塊的直接類型的預(yù)測。
根據(jù)其是與第一圖像Bo還是與第二圖像B1相關(guān)，先前所使用的術(shù)語標(biāo)記為0或1。
因此，關(guān)于圖像Bo，運動矢量7和8標(biāo)記為MVF0和MVB0，并且分別表示參考圖像I/P和P的預(yù)測塊MBfw0，MBbck0。
對應(yīng)于圖像B1的運動矢量標(biāo)記為MVF1和MVB1，并且分別表示參考圖像I/P和P的預(yù)測塊MBfw1，MBbck1。
在B型的兩個圖像位于參考圖像I/P和P之間的情況下，根據(jù)SAD的計算，用于選擇與P圖像的塊相對應(yīng)的運動矢量MVp的可設(shè)想標(biāo)準(zhǔn)變?yōu)镾ADDx,Dy=Min(SADdx,dyP+SADdrx,dryB0+SADdrx,dryB1)dx,dy=-Ndx,dy=N]]>其中-SADdx，dyP，針對對于P圖像的塊位移為dx、dy的差值的絕對值的和，-SADdrx，dryB0，針對B0的直接型預(yù)測方式的差值的絕對值的和。
-SADdrx，dryB1針對B1的直接型預(yù)測方式的差值的絕對值的和。
該標(biāo)準(zhǔn)被稱作基于多個SAD，從而使用于P圖像的矢量選擇基于考慮多個預(yù)測誤差、在P圖像的宏塊的預(yù)測中固有的預(yù)測誤差、以及與B圖像的宏塊相關(guān)的預(yù)測誤差。
對于B型的第一圖像B0，在其中兩個B圖像位于兩個I/P、P圖像之間的圖2所示的示例的框架內(nèi)，具有分量drx、dry的矢量分別取與直接方式的前向和后向預(yù)測有關(guān)的值drxfw0=dx/3]]>dryfw0=dy/3]]>drxbck0=-2dx/3]]>drybck0=-2dy/3]]>以及，MBprddrc0=(MBbck0+MBfw02),]]>其中-按照后向預(yù)測方式，MBbck0=Pnext(drxbck0,drybck0).]]>按照前向預(yù)測方式，MBfw0=I/Pprev(drxfw0,dryfw0).]]>于是，針對圖像Bo的SAD的值為SADdrx,dryBo=(Σi,j=0i,j=L|Bcuro(i,j)-MBprddrco(i,j)|)]]>Bcuro(i，j)是與當(dāng)前塊MBp相對應(yīng)的圖像Bo的共同位置的塊4。
類似地，對于B型的第二圖像B1，利用以下矢量，通過直接方式來獲得SADdrx，dryB1的值-drxfw1=2dx/3]]>dryfw1=2dy/3]]>-drxbck1=-dx/3]]>drybck1=-dy/3]]>SADdrx,dryB1=(Σi,j=0i,j=L|Bcur1(i,j)-MBprddrc1(i,j)|)]]>MBcur1是與當(dāng)前塊MBp1相對應(yīng)的圖像B1的共同位置的塊9。
能夠示出本方法的上述示例提出了利用3個SAD的值來進行矢量Dx、Dy的選擇；
SADDx,Dy=Min(SADdx,dyP+SADdrx,dryB0+SADdrx,dryB1)dx,dy=-Ndx,dy=N]]>其中，給每一個SAD賦予了相同的加權(quán)，即，1。
第一變體在于根據(jù)圖像的類型，對SAD不同地進行加權(quán)，從而使所考慮的矢量主要與P圖像相關(guān)SADDx,Dy=Min(α.SADdx,dyP+β.(SADdrx,dryB0+SADdrx,dryB1))dx,dy=-Ndx,dy=N]]>α和β為加權(quán)系數(shù)，例如α＝0.5β＝(1-α)/(m-1)，其中m表示P圖像的周期，即，在兩個P圖像之間的圖像周期或間隔的數(shù)量。對于m，圖1和2的示例對應(yīng)于值3。
第二變體在于考慮在B圖像中出現(xiàn)的瞬時對象的位移，并且可能需要與P和I/P圖像的相應(yīng)塊不同的這些B圖像的共同位置的塊的運動。
在與參考圖像側(cè)面相接的三個B型圖像的示例中，SAD的計算可以為SADDx,Dy=Min(αSADdx,dyP+βMedian(SADdrx,dryB0,SADdrx,dryB1,SADdrx,dryB2))dx,dy=-Ndx,dy=N]]>，其中例如，β＝(1-α)“Median”對應(yīng)于中值函數(shù)，因此，舍棄了B型圖像的SAD的極限值。
該標(biāo)準(zhǔn)基于以下事實SADP必須較小，而且，能夠搜索到使大多數(shù)SADB最小的矢量。目標(biāo)在于選擇與P圖像的宏塊的較好預(yù)測和B圖像的共同位置的宏塊的較差程度的較好預(yù)測之間的折中相對應(yīng)的矢量，并且該標(biāo)準(zhǔn)在于以下事實舍棄屬于不能夠通過時間預(yù)測在B圖像中預(yù)測的圖像區(qū)的宏塊，從而不偏離決策標(biāo)準(zhǔn)。在B圖像內(nèi)，之后，利用其他的編碼方式，例如，幀內(nèi)型的編碼方式，對該不可預(yù)測區(qū)域進行編碼。
如果僅存在2個B圖像，則Medin函數(shù)可以由Min函數(shù)來代替，從而舍棄了最高的SADB。
上述示例和提出的變體與對應(yīng)于SAD的值的塊差值相關(guān)。其還與這些SAD的值的和相關(guān)。
當(dāng)然，可以設(shè)想使用任何類型的塊間差值，事實上表示這些塊之間的相關(guān)性的任何值，而不會脫離本發(fā)明的范圍。對于根據(jù)現(xiàn)有技術(shù)的運動估計，我們可以處理在塊相關(guān)性計算期間所使用的值。我們可以在塊上，逐像素地處理亮度值的差值的平方和。
使用變量SAD或差值的任何函數(shù)f，其最低限度對應(yīng)于編碼成本的降低，也形成了本發(fā)明的領(lǐng)域的一部分。
為了一般化的目的，因此，該塊間的差值之后被稱為DDPdx，dy是P圖像的當(dāng)前塊和由具有分量dx、dy的運動矢量預(yù)測的塊之間的差值。
DBdrx，dry是B圖像的共同位置的塊和由具有分量drx、dry的直接方式矢量預(yù)測的塊之間的差值，更具體地，當(dāng)利用具有分量drxfw，dryfw，的前向直接矢量來處理時，為DBdrxfw，dryfw，當(dāng)利用具有分量drxbck，drybck的后向矢量來處理時，為DBdrxbck，drybck。
然后，作為P圖像的當(dāng)前塊和與具有分量dx、dy的被稱為DPdx，dy的運動矢量相對應(yīng)的I/P圖像的預(yù)測塊之間的差值的函數(shù)，而且對于這些值中的每一個，作為圖像B0和/或B1的相同位置的塊和根據(jù)與具有分量dx、dy的矢量線性對應(yīng)的、具有分量drxfw、dryfw的運動矢量而在I/P圖像中相匹配的預(yù)測塊之間的差值DBdrxfw，dryfw的函數(shù)，并且作為圖像B0和/或B1的相同位置的塊和根據(jù)與具有分量dx、dy的矢量線性對應(yīng)的、具有分量drxbck、drybck的運動矢量而在P圖像中相匹配的預(yù)測塊之間的差值DBdrxbck，drybck的函數(shù)，進行與具有分量Dx、Dy的運動矢量相對應(yīng)的I/P圖像中的預(yù)測塊的選擇drxbck＝-(dx-drxfwd)，drybck＝-(dy-dryfwd)。
DDx,Dy=Min(f(Ddx,dyP,Ddrxfw,dryfw,BDdrxbck,drybck)B))dx,dy=-Ndx,dy=N]]>f是任何函數(shù)，例如仿射函數(shù)。
這些差值不必直接與圖像的亮度和/或色度有關(guān)。例如，我們可以處理具有差別的像素的傅立葉或哈德馬(Hadamard)變換的系數(shù)的絕對值的和，即，殘余塊。所使用的哈德馬變換是對殘余圖像信號的二維變換，例如，4×4或8×8的像素，該變換的優(yōu)點在于通過更接近DCT域來切換到頻譜域，同時使用值+1和-1的分解系數(shù)。這些系數(shù)能夠更快速地進行整個計算。
可以將偏移添加到這些系數(shù)中，以便在運動估計器內(nèi)考慮待測試的運動矢量的可能編碼成本。
當(dāng)然，本發(fā)明中所實現(xiàn)的運動估計并不局限于塊匹配方法。其可以是在圖像或分級型的像素級處所進行的任何種類的估計，例如，遞歸PEL型的估計，然后，對增加了分辨率的圖像進行估計。其可以利用亮度、色度、梯度函數(shù)等。
塊匹配可以是“全搜索”型的，采用了多個SAD最小化標(biāo)準(zhǔn)。然后，在預(yù)定的搜索窗、搜索窗的每一個新塊內(nèi)進行對相關(guān)塊的搜索，針對所述塊，進行相關(guān)性測量和SAD計算，對應(yīng)于先前處理過的塊中幅度為1的像素的水平或垂直轉(zhuǎn)換。
本發(fā)明的另一變體在于進行P和I/P圖像之間的運動估計，并且針對當(dāng)前的宏塊MBp，選擇提供了諸如SADP的最小值或差值的K個最相關(guān)的運動矢量。之后，根據(jù)這K個矢量，該方法根據(jù)多個SAD或差值，選擇使標(biāo)準(zhǔn)最小化的矢量。例如，K等于8，并且所選擇的矢量是使SAD的和最小的矢量。
可以在B圖像和源I或P圖像之間進行SAD或差值的計算，所述源I或P圖像是當(dāng)考慮編碼次序時的前一個圖像。還可以在B圖像和本地解碼的I或P圖像之間進行SAD或差值的計算。
本發(fā)明涉及利用了這樣的方法的所有運動估計設(shè)備、或利用了這樣的運動估計設(shè)備的所有壓縮或編碼系統(tǒng)。
應(yīng)用尤其涉及利用包括直接預(yù)測方式的視頻編碼的數(shù)字圖像的傳輸，例如，h263、MPEG4或h261標(biāo)準(zhǔn)。
權(quán)利要求
1.一種根據(jù)第二參考圖像中的預(yù)測圖像塊(2)對第一參考圖像中的當(dāng)前圖像塊(1)進行差分編碼的方法，所述參考圖像與其差分編碼考慮了這些參考圖像的塊的雙向型或B型的一個或多個圖像側(cè)面相接，所述方法包括步驟作為當(dāng)前塊和分配給當(dāng)前塊的、具有分量dx、dy的運動矢量Vp所指定的候選塊之間的差值DPdx，dy的函數(shù)，從候選塊中選擇預(yù)測塊(2)，其特征在于所述選擇還取決于B型圖像中的當(dāng)前圖像塊的共同位置的塊和參考圖像中的塊之間的差值DBdrx，dry，由分配給共同位置的塊并與運動矢量Vp線性對應(yīng)的、具有分量drx、dry的運動矢量來指定所述參考圖像中的塊。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于具有分量drx、dry的運動矢量是在B型圖像(4)和第一參考圖像(6)之間的后向運動矢量(8)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于具有分量drx、dry的運動矢量是在B型圖像(4)和第二參考圖像(5)之間的前向運動矢量(7)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述選擇考慮了B型圖像和第二參考圖像之間與具有分量drxfw，、dryfw的線性對應(yīng)的運動矢量相對應(yīng)的差值DBdrxfw，dryfw，以及B型圖像和第一參考圖像之間與具有分量drxbck、drybck的運動矢量相對應(yīng)的差值DBdrxbck，drybck。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于所述選擇取決于B型第一圖像B。和參考圖像之間與線性對應(yīng)的運動矢量相對應(yīng)的差值DB0drx，dry，以及B型第二圖像B1和參考圖像之間與線性對應(yīng)的運動矢量相對應(yīng)的差值DB1drx，dry。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于從候選塊中選擇的塊對應(yīng)于針對這些候選塊計算的差值DPdx，dy、DBdrxfw，dryfw，和DBdrxbck，drybck的函數(shù)的最小值。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于根據(jù)塊的像素的亮度值之間的差值的相對值的和(SAD)，計算差值D。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于根據(jù)作為在塊中的像素的亮度值之間的逐像素的差值的殘余量的變換的系數(shù)的絕對值的和，來計算差值D。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于所述候選塊是具有與從預(yù)定搜索窗中提取的當(dāng)前塊相同的大小的圖像塊。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于根據(jù)MPEG 4標(biāo)準(zhǔn)的時間直接方式來進行B型圖像的編碼。
全文摘要
一種對當(dāng)前塊進行編碼的方法，包括步驟從候選塊中選擇預(yù)測塊(2)，所述選擇取決于位于B型圖像中的當(dāng)前圖像塊的共同位置的塊和參考圖像的塊之間的差值D
文檔編號H04N7/50GK1604653SQ20041001204
公開日2005年4月6日 申請日期2004年9月28日 優(yōu)先權(quán)日2003年10月1日
發(fā)明者多米尼克·托羅, 愛德華·弗朗索瓦, 皮埃爾·呂埃盧 申請人:湯姆森許可貿(mào)易公司