專利名稱：二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于壓縮運(yùn)動圖像數(shù)據(jù)的方法，尤其涉及決定用于運(yùn)動補(bǔ) 償?shù)淖赃m應(yīng)內(nèi)插濾波器的濾波系數(shù)的方法。
背景技術(shù)：
運(yùn)動圖像數(shù)據(jù)被用于不斷增多的應(yīng)用程序，也就是說從電視電話、電
視會議到DVD (Digital Versatile Disk:數(shù)字多用途光盤)、數(shù)字電視都采 用了運(yùn)動圖像數(shù)據(jù)。在運(yùn)動圖像數(shù)據(jù)被發(fā)送之時，相當(dāng)多的數(shù)據(jù)量不得不 通過以往的傳輸信道中有限的頻帶來被發(fā)送，在運(yùn)動圖像數(shù)據(jù)被記錄之時， 相當(dāng)多的數(shù)據(jù)量不得不被記錄在以往的容量有限的記錄介質(zhì)中。在利用以 往的信道以及媒介發(fā)送或記錄數(shù)字?jǐn)?shù)據(jù)的情況下，自然需要壓縮或減少數(shù) 字?jǐn)?shù)據(jù)的量。
為了壓縮運(yùn)動圖像數(shù)據(jù)而開發(fā)了眾多運(yùn)動圖像編碼標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)例 如是以H. 2 6 x來表示的I TU — T標(biāo)準(zhǔn)和以MP E G— x表示的I S 0/IEC標(biāo)準(zhǔn)。目前最新最先進(jìn)的運(yùn)動圖像編碼標(biāo)準(zhǔn)是以H. 2 6 4/ MPEG—4AVC來表示的標(biāo)準(zhǔn)。
成為大部分這些標(biāo)準(zhǔn)的基礎(chǔ)的編碼方法由以下所示的(a)至(d) 的主要階段構(gòu)成。
(a) 為了以塊為單位對各個視頻幀進(jìn)行數(shù)據(jù)壓縮，因而將各個視頻 幀分為由像素構(gòu)成的二維的塊。
(b) 將時間上的預(yù)測技術(shù)適用于各個塊，并通過使預(yù)測誤差從空域 轉(zhuǎn)變?yōu)轭l域，從而使時間和空間的運(yùn)動圖像信息無相關(guān)化。
(c )通過對作為上述的結(jié)果的變換系數(shù)進(jìn)行量化，從而減少數(shù)據(jù)全 體的量。
(d)通過對被量化的變換系數(shù)進(jìn)行熵編碼從而壓縮差分?jǐn)?shù)據(jù)。 被大多數(shù)的最新技術(shù)的運(yùn)動編碼標(biāo)準(zhǔn)所使用的時間上的預(yù)測技術(shù)是運(yùn)
ii動補(bǔ)償。在此預(yù)測技術(shù)中，為了表現(xiàn)由對象以及攝像機(jī)的運(yùn)動而產(chǎn)生的圖 像的運(yùn)動，針對運(yùn)動圖像數(shù)據(jù)的各個塊決定一個以上的運(yùn)動矢量。根據(jù)被 決定的運(yùn)動矢量，塊的圖像內(nèi)容至少作為在此之前被編碼的塊的圖像內(nèi)容 的確實(shí)的延長而被檢測。預(yù)測的內(nèi)容和實(shí)際的圖像內(nèi)容之間殘留的不一致 性被稱為預(yù)測誤差。并且，不是實(shí)際的圖像內(nèi)容，而是上述的預(yù)測誤差與 運(yùn)動矢量一起被編碼。這樣，被編碼的信息的量的大幅度減少是在大部分 的"自然的"運(yùn)動圖像序列中實(shí)現(xiàn)的。
可以明確知道，壓縮效率主要取決于運(yùn)動預(yù)測的精度。像H. 2 6 4 /AV C這樣現(xiàn)代的運(yùn)動圖像編碼標(biāo)準(zhǔn)考慮了具有小數(shù)像素精度的運(yùn)動矢
量。即，該運(yùn)動矢量可以在不受與像素位置相關(guān)聯(lián)的整數(shù)值所限的情況下， 表示兩個像素之間的位置。通常，運(yùn)動矢量以l / 2像素或1 / 4像素精 度來決定。在這種情況下，運(yùn)動圖像的分辨率是最初的運(yùn)動圖像的分辨率 的兩倍或四倍。具有小數(shù)像素精度的運(yùn)動矢量能夠參考參考圖像內(nèi)的各個 采樣所取的位置之間的位置，內(nèi)插用于計算被預(yù)測的圖像。通常，被預(yù)先 規(guī)定的內(nèi)插濾波器被用于計算所需的小數(shù)像素的像素值。
圖1是H. 2 6 4 /AVC中運(yùn)動圖像編碼裝置的一個例子的方框圖。
該運(yùn)動圖像編碼裝置300利用采用了被固定的濾波系數(shù)的二維內(nèi)插濾 波器，以小數(shù)像素精度進(jìn)行運(yùn)動補(bǔ)償。并且，運(yùn)動圖像編碼裝置300包括 減法器310，根據(jù)輸入圖像(輸入信號)的對象塊、和被存儲在存儲器340 中的先被編碼以及解碼的塊(預(yù)測信號)，來決定對象塊和預(yù)測信號的差分。 具體而言，按照H. 2 6 4 / AVC標(biāo)準(zhǔn)，輸入圖像被分為宏塊。運(yùn)動圖 像編碼裝置300利用差分脈沖編碼調(diào)制(D P C M)，該差分脈沖編碼調(diào)制 根據(jù)作為輸入圖像的輸入運(yùn)動圖像序列的對象塊、和先被編碼以及被解碼 的塊(局部被解碼的圖像)，傳輸與預(yù)測信號之間的差分。這些差分由減法 器310來決定。此減法器310接受被編碼的對象塊，并從中減去預(yù)測信號。
被局部解碼的圖像由被組裝到運(yùn)動圖像編碼裝置300中的解碼部(逆 量化/逆變換部330、加法器335以及解塊濾波器337)來提供。解碼部以 相反的方法來執(zhí)行編碼步驟。即，逆量化/逆變換部330對量化系數(shù)進(jìn)行 逆量化，并使逆變換適用于逆量化系數(shù)。加法器335使被解碼的差分加在 預(yù)測信號上，并生成被局部解碼的圖像。并且，解塊濾波器337使被解碼 的圖像的去塊效應(yīng)(blocking artifacts )減少。由運(yùn)動圖像編碼裝置300利用的預(yù)測類型取決于，宏塊是以"幀內(nèi)"模式還是以"幀間"模式來被編碼的。在"幀內(nèi)"模式中，在H. 2 6 4/AVC，為了預(yù)測下一個宏塊，根據(jù)相同圖像中已經(jīng)被編碼的宏塊，來利用預(yù)測模式。在"幀間"模式中，利用連續(xù)的若干個幀所對應(yīng)的塊之間的運(yùn)動補(bǔ)償預(yù)測。
只有幀內(nèi)編碼圖像(I圖像)與以前被解碼的圖像無關(guān)被解碼。I圖像將誤差恢復(fù)力提供給被編碼的運(yùn)動圖像序列。并且，向作為被編碼的數(shù)據(jù)的比特流的入口點(diǎn)，為了能夠隨機(jī)訪問，也就是說在被編碼的運(yùn)動圖像序列的范圍內(nèi)為了訪問I圖像，而由I圖像提供。幀內(nèi)模式(幀內(nèi)預(yù)測部350所進(jìn)行的處理)和幀間模式(運(yùn)動補(bǔ)償預(yù)測部360所進(jìn)行的處理)之間的切換由切換開關(guān)380來控制。
在"幀間"模式中，通過利用運(yùn)動補(bǔ)償，宏塊可以從前面的幀所對應(yīng)的塊來預(yù)測。運(yùn)動檢測由接收對象輸入信號和局部解碼圖像的運(yùn)動檢測部370來實(shí)現(xiàn)。該運(yùn)動檢測可以檢測二維的運(yùn)動矢量。并且，該運(yùn)動矢量表示對象塊和前面的幀所對應(yīng)的塊之間的像素的運(yùn)動。根據(jù)被檢測出的運(yùn)動，運(yùn)動補(bǔ)償預(yù)測部360輸出預(yù)測信號。
為了使預(yù)測精度最佳化，運(yùn)動矢量以小數(shù)像素精度(例如l / 2像素或l / 4像素精度)來決定。具有小數(shù)像素精度的運(yùn)動矢量表示，在前面的幀的范圍內(nèi)像素值不能利用的位置(即小數(shù)像素位置)。因此，為了執(zhí)行運(yùn)動補(bǔ)償需要像素值的空間內(nèi)插。根據(jù)H. 2 6 4 / AVC標(biāo)準(zhǔn)，固定濾波系數(shù)和具有雙線性過濾(Bi-linear Filtering)的6抽頭維納內(nèi)插濾波器被適用于獲得小數(shù)像素位置的像素值。
內(nèi)插的過程如以下所示。
1.1/2像素位置通過利用水平以及垂直方向上的6抽頭濾波器而被算出。
2. 1/4像素位置通過采用了現(xiàn)有的整數(shù)像素值和已經(jīng)被計算出的1/2像素值的雙線性過濾而被算出。
濾波系數(shù)由于是被固定的，因此可以通過運(yùn)動圖像解碼裝置得知。因此，在將濾波系數(shù)發(fā)送到運(yùn)動圖像解碼裝置時不需要開銷額外量數(shù)據(jù)。
在"幀內(nèi)"以及"幀間"的編碼模式中，對象塊和預(yù)測信號的差分由變換/量化部320變換為變換系數(shù)。通常使用的是，像二維的離散余弦變
13換(D C T)這種正交變換或者這種正交變換的整數(shù)形式。
變換系數(shù)是為了減少編碼數(shù)據(jù)的量而被量化的。量化步驟由確定精度
和在編碼各個頻率系數(shù)時所使用的比特數(shù)量化表來控制。通常，比起細(xì)微
的內(nèi)容而言，低的頻率分量對畫質(zhì)而言更為重要，因此，比起高頻成分而
言，對低頻成分進(jìn)行編碼時會更加耗費(fèi)較多的比特。
量化系數(shù)的二維陣列由于要通過熵編碼部390，因此被變換為一維。這
個變換是以事先規(guī)定的序列通過掃描陣列而被執(zhí)行的。通過這種方法而得到的量化系數(shù)的一維序列被壓縮成，由被稱為游程(Run)—等級(Level)的數(shù)的組而組成的列。最后，Run—Level序列被編碼為可變長(可變長編碼(VLC))的二進(jìn)制的代碼名。該代碼名被最佳化，以便以較短的代碼名而被分配到在典型的運(yùn)動圖像中最頻繁出現(xiàn)的Run—Levd的組。作為結(jié)果而產(chǎn)生的比特流或者與運(yùn)動信息一起被多路復(fù)用后被保存到記錄介質(zhì)，或者被發(fā)送到運(yùn)動圖像解碼裝置一側(cè)。
運(yùn)動圖像解碼裝置在為了再構(gòu)成被編碼的圖像情況下，以與編碼方法相反的方法進(jìn)行解碼。
圖2是H. 2 6 4 / AVC中的運(yùn)動圖像解碼裝置的一個例子的方框圖。
在運(yùn)動圖像解碼裝置400，首先將被熵編碼的量化系數(shù)和運(yùn)動矢量在熵解碼部490進(jìn)行熵解碼。該步驟在逆變換中被需要，包括逆掃描，該逆掃描將被熵解碼的量化系數(shù)的序列排列成二維的塊。被解碼的量化系數(shù)的塊被輸出到逆量化/逆變換部420,被解碼的運(yùn)動矢量被輸出到運(yùn)動補(bǔ)償預(yù)測部460。按照運(yùn)動矢量的實(shí)際的值，像素值的內(nèi)插將在執(zhí)行運(yùn)動補(bǔ)償時被需要。逆量化以及逆變換的結(jié)果包括預(yù)測誤差，加法器435將該預(yù)測誤差加到由幀間模式中的運(yùn)動補(bǔ)償預(yù)測部460生成的預(yù)測信號中，或者加到由幀內(nèi)模式中的幀內(nèi)預(yù)測部450生成的預(yù)測信號中。這樣，被再構(gòu)成的圖像被輸出到解塊濾波器437，在解塊濾波器437處理的信號被保存到用于幀內(nèi)預(yù)測部450以及運(yùn)動補(bǔ)償預(yù)測部460的存儲部440。
而且，在H. 2 6 4 / AVC之后的標(biāo)準(zhǔn)中，為了改善預(yù)測精度和壓縮效率，考慮到的是，將預(yù)先規(guī)定的內(nèi)插濾波器(二維固定內(nèi)插濾波器)替換為尤其適用于處理對象的運(yùn)動圖像的統(tǒng)計特性的二維自適應(yīng)內(nèi)插濾波器。g卩，編碼效率對預(yù)測精度的依存性較大，并且，該預(yù)測精度依存于運(yùn)動檢測和運(yùn)動補(bǔ)償?shù)木?。因此，通過將在運(yùn)動補(bǔ)償中所使用的二維固定內(nèi)插濾波器替換為適用于運(yùn)動圖像的統(tǒng)計特性的二維自適應(yīng)內(nèi)插濾波器，從而能夠提高編碼效率。并且，能夠降低被壓縮的運(yùn)動圖像數(shù)據(jù)所特有的假信號效應(yīng)和攝像機(jī)噪聲。
通常，用于圖像處理的二維自適應(yīng)內(nèi)插濾波器被分類為能夠分離的和不能夠分離的。能夠分離的分離型二維自適應(yīng)內(nèi)插濾波器被分離成兩個一維濾波器。兩個一維濾波器的連續(xù)使用相當(dāng)于使用原來的二維自適應(yīng)內(nèi)插濾波器。在不能分離的非分離型二維內(nèi)插濾波器中不存在這種一維濾波器。
分離型二維自適應(yīng)內(nèi)插濾波器與非分離型二維自適應(yīng)內(nèi)插濾波器相
比，由于針對圖像的能夠適用于濾波器的系數(shù)的數(shù)量較少，因此，在計算
負(fù)擔(dān)不大這一點(diǎn)上具有優(yōu)勢。例如，在非分離型的情況下，6X6抽頭二維濾波器合計具有3 6個系數(shù)，而分離型的情況下，2個一維濾波器合計僅具有6+6個系數(shù)。
例如，在非專利文獻(xiàn)1以及非專利文獻(xiàn)2中公開了決定這種分離型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)的方法。在非專利文獻(xiàn)1和2的方法之中，為了使預(yù)測圖像和對象圖像之間的誤差成為最小，從而對水平方向上的一維濾波器的濾波系數(shù)和垂直方向上的一維濾波器的濾波系數(shù)分別進(jìn)行決定。
非專禾U文獻(xiàn)1 : Kimata H. et al "3D adaptive motion vector codingintegrated with block-based adaptive interpolation filter"
非專禾ll文獻(xiàn)2 : Wedi， Thomas "Advanced motion compensated predictionmethods ，，
然而，即使是上述以往的分離型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，也會出現(xiàn)為了決定濾波系數(shù)而計算量增多的問題。即，在上述以往的濾波系數(shù)決定方法中，考慮包括對象圖像(對象塊)的圖片全體，由于為了使預(yù)測圖像和對象圖像之間的誤差成為最小而決定濾波系數(shù)，因此造成計算量增大。

發(fā)明內(nèi)容
因此，本發(fā)明鑒于上述的問題，目的在于提供一種二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，能夠以較少的計算量高效率地決定恰當(dāng)?shù)臑V波系數(shù)。
為了達(dá)成上述的目的，本發(fā)明所涉及的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，根據(jù)被排列成二維的整數(shù)像素的像素值，決定用于算出被內(nèi)插在整數(shù)像素之間的小數(shù)像素的像素值的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，其中包括運(yùn)動檢測步驟，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測該塊的圖像相對于參考圖像的運(yùn)動，以作為運(yùn)動矢量；第一確定步驟，從具有由所述運(yùn)動檢測步驟檢測出的小數(shù)像素精度的運(yùn)動矢量的多個塊中，確定具有第一運(yùn)動矢量的一個以上的塊，該第一運(yùn)動矢量表示，與近旁的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的所述參考圖像上的小數(shù)像素位置；以及第一決定步驟，根據(jù)在所述第一確定步驟確定的
一個以上的塊的圖像，和由所述一個以上的塊的第一運(yùn)動矢量表示的參考圖像上的一個以上的塊的圖像，來決定所述小數(shù)像素位置的濾波系數(shù)。例如，在與鄰近的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的小數(shù)
像素位置為位置(P ， q)的情況下，具有表示參考圖片上的小數(shù)像素位置(P， q)的第一運(yùn)動矢量的多個塊，能夠從對象圖片中被確定。并且，位置(P， q)表示由彼此鄰近的四個整數(shù)像素所圍成的范圍內(nèi)的位置，即表示局部坐標(biāo)上的位置。并且，根據(jù)被確定的多個塊，小數(shù)像素位置(P ，q)的濾波系數(shù)被決定。這樣，在本發(fā)明能夠從構(gòu)成對象圖片的所有塊中篩選具有表示小數(shù)像素位置(P ， q )的運(yùn)動矢量，并僅根據(jù)被篩選的多個塊，來決定小數(shù)像素位置(P ， q )的濾波系數(shù)。因此，設(shè)想構(gòu)成對象圖片的所有塊的運(yùn)動矢量表示參考圖片上的所有小數(shù)像素位置，由于可以不必根據(jù)所有的塊的圖像來決定小數(shù)像素位置(P ， q)的濾波系數(shù)，因此能夠大幅度地降低用于計算濾波系數(shù)的計算量，從而能夠高效率地決定恰當(dāng)?shù)臑V波系數(shù)。并且，在本發(fā)明中由于是在決定濾波系數(shù)之前以小數(shù)像素精度來進(jìn)行運(yùn)動矢量檢測的，因此，不必在濾波系數(shù)決定后重新對小數(shù)像素精度的運(yùn)動矢量進(jìn)行檢測，從而減輕了處理負(fù)擔(dān)。并且，上述的參考圖像可以不僅是一張參考圖片，而可以是多張參考圖片以及構(gòu)成圖片的切片。并且，在第一決定步驟，例如決定小數(shù)像素位置的濾波系數(shù)，以使對象圖片的被確定的各個塊的圖像，和該各個塊的運(yùn)動矢量所表示的參考圖像上的各個塊的圖像的各個差分的平方和成為最小。
并且，也可以是，所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維的多個像素 間的小數(shù)像素位置的、小數(shù)像素的像素值，所述第一方向是指，水平方向 以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于 在第二方向上被排列成一維的多個像素將的小數(shù)像素位置的、小數(shù)像素的
像素值，所述第二方向是指，與所述第一方向不同的水平方向或垂直方向； 在所述第一確定步驟，確定具有表示第一小數(shù)像素位置的所述第一運(yùn)動矢 量的一個以上的塊，所述第一小數(shù)像素位置是指，滿足所述預(yù)先規(guī)定的相 對位置關(guān)系，并且是所述第一方向上的小數(shù)像素位置，而且是所述第二方 向上的整數(shù)像素位置；在所述第一決定步驟，決定所述第一小數(shù)像素位置 上的所述第一一維內(nèi)插濾波器的濾波系數(shù)；所述濾波系數(shù)決定方法進(jìn)一步 包括第二確定步驟，從具有由所述運(yùn)動檢測步驟檢測出的小數(shù)像素精度 的運(yùn)動矢量的多個塊中，確定具有表示所述參考圖像上的第二小數(shù)像素位 置的第二運(yùn)動矢量的一個以上的塊，所述參考圖像上的第二小數(shù)像素位置 是指，與鄰近的整數(shù)像素之間具有其他的被預(yù)先規(guī)定的相對位置關(guān)系，且 在所述第二方向上位于小數(shù)像素位置；以及第二決定步驟，根據(jù)在所述第 二確定步驟確定的一個以上的塊的圖像，和由所述一個以上的塊的第二運(yùn) 動矢量表示的參考圖像上的一個以上的塊的圖像，來決定所述第二小數(shù)像 素位置上的所述第二一維內(nèi)插濾波器的濾波系數(shù)。
這樣，進(jìn)而，由于二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)能夠被分離為第 一以及第二一維內(nèi)插濾波器的濾波系數(shù)并被決定，因此能夠進(jìn)一步降低用 于算出濾波系數(shù)的計算量。并且，通過第一確定步驟以及第一決定步驟， 例如能夠決定針對第一小數(shù)像素位置(P ， 0 )的一維水平內(nèi)插濾波器的 濾波系數(shù)，通過第二確定步驟以及第二決定步驟，例如能夠決定針對第二 小數(shù)像素位置(P ， q )(但是q # 0 )的一維垂直內(nèi)插濾波器的濾波系數(shù)。 這樣，能夠以較少的計算量高效率地決定第一小數(shù)像素位置(P， 0)以 及第二小數(shù)像素位置(P， q)的恰當(dāng)?shù)臑V波系數(shù)。并且，例如，在l /
4像素精度的情況下，通過使P變化為P二1，…，3，從而能夠算出所 有的第一小數(shù)像素位置(P ， 0 )的濾波系數(shù)，通過使P變化為P = 0 ，…，
3，使q變化為q二l，…，3，從而能夠算出所有的第二小數(shù)像素位置
(P ， q )的濾波系數(shù)。
例如，在所述第二確定步驟，確定具有表示所述第二小數(shù)像素位置的所述第二運(yùn)動矢量的一個以上的塊，所述第二小數(shù)像素位置是指，滿足所 述其他的預(yù)先規(guī)定的相對位置關(guān)系，并且是所述第一方向上的整數(shù)像素位 置，而且是第二方向上的小數(shù)像素位置。
據(jù)此，能夠算出第二小數(shù)像素位置(0 ， q )(但是Q # 0 )的濾波系 數(shù)。并且，例如，在l / 4像素精度的情況下，通過使q變化為q二l，…， 3 ，從而能夠算出在第一方向上的整數(shù)像素位置的所有的第二小數(shù)像素位 置(0 ， q )的濾波系數(shù)。
并且，在所述第二確定步驟，確定具有表示所述第二小數(shù)像素位置的 所述第二運(yùn)動矢量的一個以上的塊，所述第二小數(shù)像素位置是指，滿足所 述其他的預(yù)先規(guī)定的相對位置關(guān)系，并且是所述第一方向以及第二方向上 的小數(shù)像素位置；在所述第二決定步驟，使在所述第一決定步驟決定的所 述第一一維內(nèi)插濾波器的濾波系數(shù)適用于所述第一小數(shù)像素位置，并利用 適用后的結(jié)果來決定所述第二小數(shù)像素位置上的濾波系數(shù)。
這樣，能夠算出第二小數(shù)像素位置(P ， q )(但是P # 0以及q # 0 ) 的濾波系數(shù)。并且，例如，在l / 4像素精度的情況下，通過使p變化為 p = 0，…，3，使q變化為q二l，…，3，從而能夠算出在第一方向 以及第二方向上的小數(shù)像素位置的所有的第二小數(shù)像素位置(P， q)的 濾波系數(shù)。并且，此時，通過將第一一維內(nèi)插濾波器的濾波系數(shù)適用于第 一小數(shù)像素位置，從而該第一小數(shù)像素位置的小數(shù)像素的像素值被算出， 利用該小數(shù)像素的像素值來決定第二小數(shù)像素位置的濾波系數(shù)。
并且，在所述第一決定步驟，決定針對所述小數(shù)像素位置的濾波系數(shù)， 以使以下的圖像的差分成為最小，這些圖像是指由所述第一確定步驟確 定的一個以上的塊的圖像，和由所述一個以上的塊的第一運(yùn)動矢量表示的 參考圖像上的一個以上的塊的圖像。例如，在所述第一決定步驟，通過解 使所述差分成為最小的線性方程，從而決定針對所述小數(shù)像素位置的濾波 系數(shù)。
這樣，能夠決定恰當(dāng)?shù)倪m合于參考圖片的圖像的濾波系數(shù)，即能夠決 定恰當(dāng)?shù)倪m合于該圖像的濾波系數(shù)。而且，在利用線性方程的情況下，能 夠進(jìn)一步降低計算量，且高效率地決定恰當(dāng)?shù)臑V波系數(shù)。
并且，本發(fā)明所涉及的運(yùn)動圖像壓縮方法壓縮運(yùn)動圖像，其中可以包 括濾波系數(shù)決定步驟，通過執(zhí)行上述本發(fā)明的二維自適應(yīng)內(nèi)插濾波器的
18濾波系數(shù)決定方法中所包括的所有步驟，從而決定所述二維自適應(yīng)內(nèi)插濾 波器的濾波系數(shù)；運(yùn)動補(bǔ)償步驟，將具有表示所述小數(shù)像素位置的運(yùn)動矢 量的塊作為對象塊，通過針對所述對象進(jìn)行運(yùn)動補(bǔ)償，從而生成所述對象 塊的預(yù)測圖像；以及編碼步驟，對圖像的差分和濾波系數(shù)進(jìn)行編碼，所述 圖像的差分是指由所述運(yùn)動補(bǔ)償步驟生成的預(yù)測圖像和所述對象塊的圖像 的差分，所述濾波系數(shù)是由所述濾波系數(shù)決定步驟決定的；在所述運(yùn)動補(bǔ) 償步驟，通過將在所述濾波系數(shù)決定步驟決定的濾波系數(shù)適用于所述小數(shù) 像素位置，從而算出被內(nèi)插于所述小數(shù)像素位置的小數(shù)像素的像素值，并 生成具有被算出像素值的小數(shù)像素的所述預(yù)測圖像。
這樣，由于通過上述的濾波系數(shù)決定方法決定小數(shù)像素位置的濾波系 數(shù)，并利用該濾波系數(shù)生成對象塊的預(yù)測圖像，因此能夠以較少的計算量 來生成與對象塊的圖像極為接近的預(yù)測圖像。這樣，能夠高效率地降低對 象塊的圖像和預(yù)測圖像的差分的編碼量。而且，由于濾波系數(shù)也被編碼， 因此能夠?qū)⒃摫痪幋a的濾波系數(shù)輸出到解碼裝置，該解碼裝置通過解碼并 利用該被編碼的濾波系數(shù)，從而能夠恰當(dāng)?shù)亟獯a對象塊。
并且，也可以是，在所述濾波系數(shù)決定步驟，在按照每個小數(shù)像素位 置決定針對該小數(shù)像素位置的濾波系數(shù)之時，針對在水平方向上或垂直方 向上與規(guī)定的小數(shù)像素位置對稱的位置上的小數(shù)像素位置，決定與針對所 述規(guī)定的小數(shù)像素位置而決定的濾波系數(shù)相同的濾波系數(shù)。
這樣，只要決定了規(guī)定地小數(shù)像素位置的濾波系數(shù)，其他的小數(shù)像素 位置的濾波系數(shù)也能夠被同時決定。而且，由于其他的小數(shù)像素位置在水 平方向上或垂直方向上與規(guī)定的小數(shù)像素位置成為對稱，因此，即使針對 其他的小數(shù)像素位置，也能夠決定恰當(dāng)?shù)臑V波系數(shù)。這樣，能夠以更少的 計算量來決定恰當(dāng)?shù)臑V波系數(shù)。并且，例如，在濾波系數(shù)決定步驟，即使 在表示應(yīng)該決定濾波系數(shù)的決定對象的小數(shù)像素位置的運(yùn)動矢量沒有被檢 測出的情況下，也能夠利用與該決定對象的小數(shù)像素位置在水平方向或垂 直方向成為對稱的其他的小數(shù)像素位置的濾波系數(shù)，來決定恰當(dāng)?shù)脑摏Q定 對象的小數(shù)像素位置的濾波系數(shù)。
并且，也可以是，針對小數(shù)像素位置的所述二維自適應(yīng)內(nèi)插濾波器的 濾波系數(shù)，由針對以下像素的每一個的系數(shù)構(gòu)成，這些像素是指，在水平 方向或垂直方向上被配置成夾著所述小數(shù)像素位置的多個像素；在所述濾
19波系數(shù)決定步驟，在決定針對所述小數(shù)像素位置的濾波系數(shù)之時，決定所 述濾波系數(shù)，以使在所述多個像素中，針對規(guī)定的像素的系數(shù)和針對其他 的像素的系數(shù)相同，所述其他的像素是指，在以所述小數(shù)像素位置為中心， 在水平方向或垂直方向上與所述規(guī)定的像素對稱位置上的像素。例如，在 所述濾波系數(shù)決定步驟，決定針對所述小數(shù)像素位置的濾波系數(shù)，以使針 對所述多個像素的每一個的系數(shù)在水平方向或垂直方向上成為對稱。
這樣，針對多個像素的每一個的系數(shù)由于在水平方向或垂直方向成為 對稱，因此能夠以更少的計算量來算出恰當(dāng)?shù)臑V波系數(shù)。
并且，本發(fā)明不僅能夠作為這樣的濾波系數(shù)決定方法以及運(yùn)動圖像壓 縮方法來實(shí)現(xiàn)，而且能夠作為通過這些方法來決定濾波系數(shù)，并壓縮運(yùn)動 圖像的裝置或集成電路來實(shí)現(xiàn)，也能夠作為使計算機(jī)執(zhí)行這些方法中所包 括的各個步驟的程序、以及存儲這些程序的記錄介質(zhì)來實(shí)現(xiàn)。
本發(fā)明的二維自適應(yīng)內(nèi)插濾波器能夠以較少的計算量高效率地決定恰 當(dāng)?shù)臑V波系數(shù)。


圖1是以往的運(yùn)動圖像編碼裝置的一個構(gòu)成例子的方框圖。
圖2是以往的運(yùn)動圖像編碼裝置的一個構(gòu)成例子的方框圖。
圖3是本發(fā)明的實(shí)施例中的運(yùn)動圖像編碼裝置的一個例子的方框圖。
圖4示出了在本發(fā)明的實(shí)施例中算出濾波系數(shù)的小數(shù)像素位置。
圖5A示出了針對本發(fā)明的實(shí)施例中的小數(shù)像素位置而被算出的濾波
器系數(shù)的具體例子。
圖5B示出了針對本發(fā)明的實(shí)施例中的小數(shù)像素位置而被算出的濾波
系數(shù)的具體例子。
圖6示出了本發(fā)明的實(shí)施例中的參考圖片中的各個小數(shù)像素位置和運(yùn) 動矢量。
圖7示出了本發(fā)明的實(shí)施例中的對象圖片中的被確定的塊。 圖8是本發(fā)明的實(shí)施例中的運(yùn)動檢測部以及具有自適應(yīng)濾波器的運(yùn)動 補(bǔ)償預(yù)測部的處理工作的流程圖。
圖9是本發(fā)明的實(shí)施例中的運(yùn)動圖像解碼裝置的一個例子的方框圖。 圖10示出了本發(fā)明的實(shí)施例中的1 / 4像素精度的參考圖片的像素位置以及像素值。
圖ll示出了由本發(fā)明的實(shí)施例中的一維水平內(nèi)插濾波器內(nèi)插的小數(shù)像 素以及其濾波系數(shù)。
圖12示出了由本發(fā)明的實(shí)施例中的一維垂直內(nèi)插濾波器內(nèi)插的小數(shù)像
素以及其濾波系數(shù)。
圖13A是示出在規(guī)定的條件中，對本發(fā)明的編碼效率和以往例子的編 碼效率進(jìn)行比較的圖。
圖13B是示出在其他條件中，對本發(fā)明的編碼效率和以往例子的編碼 效率進(jìn)行比較的圖。
圖14是示出對適用于本發(fā)明的分離型二維自適應(yīng)內(nèi)插濾波器時的計算 量和適用于以往的非分離型二維自適應(yīng)內(nèi)插濾波器時的計算量進(jìn)行比較的 圖。
符號說明
100運(yùn)動圖像編碼裝置 120變換/量化部 130逆量化/逆變換部 150幀內(nèi)預(yù)測部
160具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部
170 運(yùn)動檢測部
200運(yùn)動圖像解碼器具
220逆量化/逆變換部 250幀內(nèi)預(yù)測部
260具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部
具體實(shí)施例方式
以下，參照附圖對本發(fā)明的實(shí)施例中的運(yùn)動圖像編碼裝置(運(yùn)動圖像 壓縮裝置)進(jìn)行說明。
本實(shí)施例中的運(yùn)動圖像編碼裝置能夠以較少的計算量高效率地算出恰 當(dāng)?shù)姆蛛x型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)。并且，該運(yùn)動圖像編碼裝 置利用被算出的濾波系數(shù)進(jìn)行運(yùn)動補(bǔ)償，這樣，能夠高效率地且恰當(dāng)?shù)貙\(yùn)動圖像進(jìn)行編碼。圖3是本實(shí)施例中的運(yùn)動圖像編碼裝置的一個例子的方框圖。 在本實(shí)施例中的運(yùn)動圖像編碼裝置100包括減法器110、變換/量化部120、逆量化/逆變換部130、加法器135、解塊濾波器137、存儲器140、 幀內(nèi)預(yù)測部150、具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160、運(yùn)動檢測部170、 切換開關(guān)180、以及熵編碼部190。并且，本實(shí)施例中的運(yùn)動圖像編碼裝置100在運(yùn)動檢測部170以及具 有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160具有特征。也就是說，減法器IIO、 變換/量化部120、逆量化/逆變換部130、加法器135、解塊濾波器137、 存儲器140、幀內(nèi)預(yù)測部150、以及切換開關(guān)180分別具有與以往的運(yùn)動圖 像編碼裝置300的減法器310、變換/量化部320、逆量化/逆變換部330、 加法器335、解塊濾波器337、存儲器340、幀內(nèi)預(yù)測部350、以及切換開 關(guān)380同樣的功能。并且，在本實(shí)施例中，運(yùn)動檢測部170和具有自適應(yīng) 濾波器的運(yùn)動補(bǔ)償預(yù)測部160構(gòu)成濾波系數(shù)決定裝置。減法器IIO獲得表示運(yùn)動圖像的輸入信號。輸入信號由多個圖片構(gòu)成， 這些圖片由多個塊(宏塊)構(gòu)成。即，減法器110按順序獲得這些塊，在 每當(dāng)獲得之時，就將該塊作為對象塊來處理。而且，減法器110按照每個 對象塊獲得從幀內(nèi)預(yù)測部150或具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160 輸出的、表示與該對象塊相對應(yīng)的預(yù)測圖像的預(yù)測信號。并且，減法器IIO 通過從對象塊中減去預(yù)測信號所表示的預(yù)測圖像，從而生成與該對象塊相 對應(yīng)的預(yù)測誤差，并將該預(yù)測誤差輸出到變換/量化部120。變換/量化部120從減法器110獲得預(yù)測誤差，并通過對這些預(yù)測誤 差進(jìn)行離散余弦變換等正交變換，從而生成正交變換系數(shù)。而且，變換/ 量化部120通過對這些正交變換系數(shù)進(jìn)行量化，從而生成量化系數(shù)，并輸 出到逆量化/逆變換部130以及熵編碼部190。逆量化/逆變換部130在從變換/量化部120中獲得量化系數(shù)之后， 通過對這些量化系數(shù)進(jìn)行逆量化，從而生成正交變換系數(shù)。并且，逆量化 /逆變換部130通過針對這些正交變換系數(shù)進(jìn)行逆離散余弦變換等逆正交 變換，從而生成預(yù)測誤差，并將這些預(yù)測誤差輸出到加法器135。加法器135對從逆量化/逆變換部130輸出的預(yù)測誤差和從幀內(nèi)預(yù)測 部150或表示從具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160輸出的預(yù)測信號的預(yù)測圖像進(jìn)行加法運(yùn)算。并且，加法器135將表示這些加法結(jié)果的局部解碼圖像輸出到解塊濾波器137。解塊濾波器137通過對這些局部解碼圖像進(jìn)行解塊濾波，從而去除該 局部解碼圖像中的編碼失真，并將被去除了編碼失真的局部解碼圖像存儲 到存儲器140。局部解碼圖像由解塊濾波器137被依次存儲到存儲器140中。這樣， 針對以后的對象塊生成預(yù)測圖像時所使用的參考圖片被存儲到存儲器140 中。幀內(nèi)預(yù)測部150對對象塊進(jìn)行畫面內(nèi)預(yù)測(幀內(nèi)預(yù)測)。g口，幀內(nèi)預(yù)測 部150根據(jù)被存儲在存儲器140的若干個局部解碼圖像，針對對象塊生成 預(yù)測圖像，并將表示該預(yù)測圖像的預(yù)測信號輸出到切換開關(guān)180。在切換開關(guān)180針對對象塊進(jìn)行畫面內(nèi)預(yù)測(幀內(nèi)預(yù)測)的情況下， 從幀內(nèi)預(yù)測部150輸出的預(yù)測信號被輸出到減法器110，在針對對象塊進(jìn)行 畫面間預(yù)測(幀間預(yù)測)的情況下，從具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測 部160輸出的預(yù)測信號被輸出到減法器110。熵編碼部190獲得從變換/量化部120輸出的量化系數(shù)、從具有自適 應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160輸出的濾波系數(shù)、以及從運(yùn)動檢測部170 輸出的運(yùn)動矢量，并通過對他們進(jìn)行熵編碼，從而生成并輸出作為比特流 的編碼信號。運(yùn)動檢測部170依次獲得被包含在輸入信號中的塊，在每當(dāng)獲得之時， 就將該獲得的塊作為對象塊來處理。并且，運(yùn)動檢測部170從被存儲在存 儲器140中的參考圖片中，檢測具有與該對象塊所表示的圖像近似的圖像 的塊。艮口，運(yùn)動檢測部170將參考圖片中的對象塊的圖像的運(yùn)動作為運(yùn)動 矢量來檢測，并將運(yùn)動矢量輸出到具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160 以及熵編碼部190。在此，運(yùn)動檢測部170以小數(shù)像素精度來進(jìn)行檢測，并輸出小數(shù)像素 精度的運(yùn)動矢量。即，運(yùn)動檢測部170首先將參考圖片的像素精度從整數(shù) 像素精度變換為小數(shù)像素精度，并利用該小數(shù)像素精度的參考圖片來進(jìn)行 運(yùn)動檢測。這樣，為了變換像素精度，運(yùn)動檢測部170使具有預(yù)先規(guī)定的 濾波系數(shù)的二維固定內(nèi)插濾波器適用于該參考圖片。該二維固定內(nèi)插濾波 器例如是具有H. 2 6 4/AVC標(biāo)準(zhǔn)所規(guī)定的固定濾波系數(shù)和雙線性濾23波器的6抽頭維納內(nèi)插濾波器。并且，小數(shù)像素精度例如可以是l / 2像 素精度以及l(fā)/4像素精度。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160依次獲得由輸入信號表示的 對象圖片中所包含的各個塊，并從運(yùn)動檢測部170依次獲得該各個塊所對 應(yīng)的小數(shù)像素精度的運(yùn)動矢量。并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測 部160根據(jù)獲得的各個塊以及各個運(yùn)動矢量，算出適用于參考圖片的分離 型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，并將該濾波系數(shù)輸出到熵編碼部 190。
并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用被算出的濾波系 數(shù)，對對象塊進(jìn)行運(yùn)動補(bǔ)償。即，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160 使具有像上述這樣被算出的濾波系數(shù)的分離型二維自適應(yīng)內(nèi)插濾波器，適 用于由對象塊所具有的小數(shù)像素精度的運(yùn)動矢量所表示的參考圖片中的 塊。這樣，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160將原先由二維固定內(nèi) 插濾波器算出的、上述塊中所包含的小數(shù)像素的像素值，作為適用于分離 型二維自適應(yīng)內(nèi)插濾波器的值來重新算出。據(jù)此，具有自適應(yīng)濾波器的運(yùn) 動補(bǔ)償預(yù)測部160生成針對具有被重新算出的像素值的小數(shù)像素的對象塊 的預(yù)測圖像，表示該預(yù)測圖像的預(yù)測信號被輸出到切換開關(guān)180。
在此，對由本實(shí)施例中的具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160所 執(zhí)行的濾波系數(shù)的算出處理以及運(yùn)動補(bǔ)償進(jìn)行說明。
圖4示出了被算出濾波系數(shù)的小數(shù)像素位置。并且，圖4中的黑圓點(diǎn) 表示整數(shù)像素位置，白圓圈表示小數(shù)像素位置。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在如圖4所示的1 / 4像素 精度的情況下，算出針對由(P， q) = (l， 0)、(2， 0)、(3, 0)、 (0， 1)、(0， 2)、(0， 3)、(1， 1)、(1， 2)、(1， 3)、 (2， 1)、(2， 2)、 (2， 3)、 (3， 1)、(3， 2)以及(3， 3 )所表示 的l 5個小數(shù)像素位置的濾波系數(shù)。在此，位置(p， q)表示，將由4 個整數(shù)像素所構(gòu)成的最小的范圍作為一個整數(shù)單位范圍時，該整數(shù)單位范 圍上的坐標(biāo)位置，即表示圖片上的各個整數(shù)單位范圍內(nèi)的共同的坐標(biāo)位置。 換言之，位置(P ， q )表示，小數(shù)像素位置和其鄰近的整數(shù)像素位置(0 ， 0)之間的相對位置關(guān)系。具體而言，位置P表示在水平方向上排列的整 數(shù)像素間的坐標(biāo)位置，位置q表示在垂直方向上排列的整數(shù)像素間的坐標(biāo)
24位置。并且， 一個整數(shù)單位范圍中包括位置(P ， q ) 二 ( 0 ， 0 )的 整數(shù)像素和上述l 5個小數(shù)像素位置上的小數(shù)像素。并且，針對上述l 5 個位置算出的濾波系數(shù)例如是針對同一圖片中的所有整數(shù)單位范圍被共同 算出的。gP，多個整數(shù)單位范圍的每一個具有相同的小數(shù)像素位置(P， q),針對相同的小數(shù)像素位置(P， q)算出相同的濾波系數(shù)。
并且，針對一個小數(shù)像素位置的濾波系數(shù)例如由對6個整數(shù)像素的像 素值分別加權(quán)的系數(shù)的集合來表示。
圖5A以及圖5B示出了針對小數(shù)像素位置而被算出的濾波系數(shù)的具體 例子。
如圖5A所示，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160將針對在水平 方向排列的整數(shù)像素間的位置(P ， 0 )(在此，P # 0 )的一維水平內(nèi)插 濾波器的濾波系數(shù)g^，例如作為大致以該位置(P ， 0 )為中心，對在水 平方向上排列的6個整數(shù)像素的像素值進(jìn)行加權(quán)的系數(shù)g嚴(yán)(i =一 2 ， —1 ， 0 ， 1 ， 2 ， 3 )的集合來算出。并且，上述的位置(p ， 0 )(在 此，P-0 )在水平方向上位于小數(shù)像素位置，且在垂直方向位于整數(shù)像 素位置，以下，將這樣的位置(P， 0)稱為小數(shù)整數(shù)像素位置(第一小 數(shù)像素位置)。
并且，如圖5B所示，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160將針對 在垂直方向排列的整數(shù)像素間的位置(0， q)的一維垂直內(nèi)插濾波器的 濾波系數(shù)h，例如作為大致以該位置(0， q)(在此，q半0)為中心， 對在垂直方向上排列的6個整數(shù)像素的像素值進(jìn)行加權(quán)的系數(shù)h嚴(yán)(j = —2 ， 一 1 ， 0 ， 1 ， 2 ， 3 )的集合來算出。并且，上述的位置(0 ， q)在水平方向上位于整數(shù)像素位置，且在垂直方向上位于小數(shù)像素位置， 以下，將這樣的位置(0 ， q )(在此，q # 0 )稱為整數(shù)小數(shù)像素位置(第 二小數(shù)像素位置)。
并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在算出針對既不位于 小數(shù)整數(shù)像素位置又不位于整數(shù)小數(shù)像素位置的位置(P ， q)(在此，P 半O且q,O)的一維垂直內(nèi)插濾波器的濾波系數(shù)t^一的情況下，將針對 該小數(shù)像素位置的濾波系數(shù)h&。，作為大致以該小數(shù)像素位置為中心，對 在垂直方向上排列的多個小數(shù)像素的像素值進(jìn)行加權(quán)的系數(shù)的集合來算 出。并且，在垂直方向上排列的多個小數(shù)像素位于小數(shù)整數(shù)像素位置。并
25且，上述的位置(P， q)(在此，P^0且q^0 )在水平方向以及垂直 方向上均位于小數(shù)像素位置，以下將這樣的位置(P ， q)稱為小數(shù)小數(shù) 像素位置(第二或第三小數(shù)像素位置)。
例如，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160將針對位置(p， q) 的濾波系數(shù)h&^作為大致以該位置(p， q)為中心，對在垂直方向上 排列的小數(shù)整數(shù)像素位置的多個小數(shù)像素的像素值進(jìn)行加權(quán)的系數(shù)h/1^ U=—2， 一l， 0， 1， 2， 3)的集合來算出。
并且，上述的小數(shù)整數(shù)像素位置、整數(shù)小數(shù)像素位置以及小數(shù)小數(shù)像 素位置是被包含于上述的整數(shù)單位范圍內(nèi)的小數(shù)像素位置，在整數(shù)單位范 圍的每一個中，具有相同的小數(shù)像素位置，即具有相同的小數(shù)整數(shù)像素位 置、相同的整數(shù)小數(shù)像素位置、以及相同的小數(shù)小數(shù)像素位置。
艮P，本實(shí)施例中的分離型二維自適應(yīng)內(nèi)插濾波器被分離為一維水平內(nèi) 插濾波器和一維垂直內(nèi)插濾波器。具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160 在算出位于小數(shù)整數(shù)像素位置的小數(shù)像素的像素值時，使該小數(shù)整數(shù)像素 位置(P ， 0 )適用一維水平內(nèi)插濾波器的濾波系數(shù)gW。具體而言，具有 自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160，使在水平方向上夾著小數(shù)整數(shù)像素位 置(P， 0)而排列的多個整數(shù)像素的像素值的每一個與系數(shù)g"相乘， 并使他們相加，將相加后的結(jié)果作為位于該小數(shù)整數(shù)像素位置的小數(shù)像素 的像素值來算出。并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在算出 位于整數(shù)小數(shù)像素位置(0 ， q)的小數(shù)像素的像素值時，使一維垂直內(nèi) 插濾波器的濾波系數(shù)h")適用于該整數(shù)小數(shù)像素位置(0 ， q )。具體而言，
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160，使在垂直方向上夾著整數(shù)小數(shù)像 素位置(0 ， q)而排列的多個整數(shù)像素的像素值的每一個與系數(shù)h嚴(yán)相 乘，并使他們相加，將相加后的結(jié)果作為位于該整數(shù)小數(shù)像素位置的小數(shù) 像素的像素值來算出。
并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在算出位于小數(shù)小數(shù) 像素位置(P ， q )(在此，p # 0且q # 0 )的小數(shù)像素的像素值時，例 如，首先通過使一維水平內(nèi)插濾波器的濾波系數(shù)g^適用于小數(shù)整數(shù)像素位 置(P ， 0 )，從而算出位于小數(shù)整數(shù)像素位置(P ， 0 )的小數(shù)像素的像 素值。之后，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160使一維垂直內(nèi)插濾 波器的濾波系數(shù)h^，①適用于小數(shù)小數(shù)像素位置(p ， q )。具體而言，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160，使在垂直方向上夾著小數(shù)小數(shù)像素位 置(P ， q)而排列的多個小數(shù)整數(shù)像素位置(P ， 0 )的小數(shù)像數(shù)的像 素的每一個與系數(shù)h/P，叫象成，并使他們相加，將相加后的結(jié)果作為位于該 小數(shù)小數(shù)像素位置的小數(shù)像素的像素值來算出。
在此，本實(shí)施例中的具有自適用濾波器的運(yùn)動補(bǔ)償預(yù)測部160在算出 分離型的二維自適應(yīng)內(nèi)插濾波器的上述這種濾波系數(shù)時，首先，針對對象 塊中所包含的各個塊，利用被檢測出的小數(shù)像素精度的運(yùn)動矢量，從對象 圖片中找出具有表示參考圖片中的規(guī)定的小數(shù)整數(shù)像素位置的運(yùn)動矢量的 一個以上的塊。這樣，能夠從對象圖片的全體中篩選，針對該小數(shù)整數(shù)像 素位置算出濾波系數(shù)時所需要的塊。
圖6示出了參考圖片中的各個小數(shù)像素位置和運(yùn)動矢量。并且，圖6 中的叉號表示小數(shù)整數(shù)像素位置，三角表示整數(shù)小數(shù)像素位置，圓圈表示 小數(shù)小數(shù)像素位置。
例如，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160確定被檢測出運(yùn)動矢 量mv的對象圖片中的一個以上的塊，所述運(yùn)動矢量m v示出小數(shù)整數(shù)像 素位置(P ， q ) = ( 1 ， 0 )。并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測 部160僅利用對象圖片中所包含的被確定的一個以上的塊，而不利用對象 圖片中的其他的塊，算出針對位置(P， q) = (1， 0)的濾波系數(shù)。
圖7示出了在對象圖片中被確定的塊。
例如，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160從對象圖片P c中確 定分別具有三個運(yùn)動矢量m v l 、 m v 2 、 m v 3的三個塊B k 1、 B k 2 、 B k 3 ，所述三個運(yùn)動矢量m v 1、 m v 2 、 m v 3示出參考圖片P r中的小數(shù)整數(shù)像素位置(P ， q ) = ( 1 ， 0 )。并且，由運(yùn)動矢量m v 1 、 mv 2、 mv 3示出的參考圖片P r中的塊B k r 1、 B k r 2、 B k r 3 ，從整數(shù)像素位置分別偏離了上述的小數(shù)整數(shù)像素位置，也就是說 在水平方向上偏離了1/4像素。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160算出針對小數(shù)整數(shù)像素位置 (p， q) = (1, 0)的一維水平內(nèi)插濾波器的濾波系數(shù)，以使差分D 1和差分D 2以及差分D 3的和(D 1+D 2 + D 3)成為最小，所述差 分D 1是對象圖片P c的塊B k 1與由該塊B k 1的運(yùn)動矢量m v 1表示 的參考圖片P r中的塊B k r 1的差分，所述差分D 2是對象圖片P c的塊B k 2與由該塊B k 2的運(yùn)動矢量mv 2表示的參考圖片P r中的塊B k r 2的差分，所述差分D 3是對象圖片P c的塊B k 3與由該塊B k 3 的運(yùn)動矢量mv 3表示的參考圖片P r中的塊B k r 3的差分。算出針對 小數(shù)整數(shù)像素位置(P ， q) = ( 1 , 0)的一維水平內(nèi)插濾波器的濾波 系數(shù)。換言之，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160對濾波系數(shù)進(jìn)行 最佳化，以使上述的和(D 1 + D 2 + D 3 )成為最小。并且，上述的差 分例如是對象圖片的塊的各個整數(shù)像素的像素值和與該各個整數(shù)像素相對 應(yīng)的參考圖片的塊的各個小數(shù)像素的像素值的差分的平方和。并且，具有 自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在對濾波系數(shù)進(jìn)行最佳化時，例如可 以使濾波系數(shù)適當(dāng)?shù)刈兓?一邊算出小數(shù)像素的像素值， 一邊決定使上述 差分成為最小的濾波系數(shù)?；蛘撸哂凶赃m應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160 通過解后述的線性方程來決定濾波系數(shù)。
這樣，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在算出針對位置(p， q) = ( 1 ， 0 )的濾波系數(shù)的情況下，以與上述同樣的處理，來算出針 對剩余的小數(shù)整數(shù)像素位置的一維水平內(nèi)插濾波器的濾波系數(shù)。即，具有 自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160算出針對位置(p ， q ) 二 ( 2 ， 0 ) 和(3 ， 0 )的濾波系數(shù)。
之后，本實(shí)施例中的具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160從對象 圖片中找出具有表示參考圖片中的規(guī)定的整數(shù)小數(shù)像素位置的運(yùn)動矢量的 一個以上的塊。這樣，能夠從對象圖片的全體中篩選，針對該整數(shù)小數(shù)像 素位置算出濾波系數(shù)時所需要的塊。
例如，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160通過進(jìn)行與上述同樣 的最佳化，從而算出針對整數(shù)小數(shù)像素位置上的位置(P， q) = (0， 1 )、 ( 0 ， 2 )以及(0 ， 3 )的一維垂直內(nèi)插濾波器的濾波系數(shù)。
而且，本實(shí)施例中的具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160從對象 圖片中找出具有表示參考圖片中的規(guī)定的小數(shù)小數(shù)像素位置的小數(shù)像素的 運(yùn)動矢量的一個以上的塊。這樣，能夠從對象圖片的全體中篩選，針對該 小數(shù)小數(shù)像素位置算出濾波系數(shù)時所需要的塊。
例如，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160通過進(jìn)行與上述同樣 的最佳化，從而算出針對小數(shù)小數(shù)像素位置上的位置(P ， q ) = ( 1 ， 1 )、 ( 1 ， 2)、(2， 1)、(2， 2)、 (2， 3)、 (3， 1 )、 ( 3 ， 2)
28以及(3， 3)的一維垂直內(nèi)插濾波器的濾波系數(shù)。另外，在此情況下， 具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用以前算出的小數(shù)整數(shù)像素位 置的濾波系數(shù)，算出該小數(shù)整數(shù)像素位置的像素值，并利用該像素值進(jìn)行 針對小數(shù)小數(shù)像素位置的濾波系數(shù)的最佳化。
圖8是示出本實(shí)施例中的運(yùn)動檢測部170以及具有自適應(yīng)濾波器的運(yùn) 動補(bǔ)償預(yù)測部160的處理工作的流程圖。
首先，運(yùn)動檢測部170以對象圖片中的塊為單位，利用二維固定內(nèi)插 濾波器，檢測小數(shù)像素精度的運(yùn)動矢量(步驟S 10 0)之后，具有自適 應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160從對象圖片中確定具有表示參考圖片中的 規(guī)定的小數(shù)整數(shù)像素位置的運(yùn)動矢量的一個以上的塊(步驟S 10 2)。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用對象圖片中所包含的塊 中的、在步驟S 1 0 2確定的塊，而不利用對象圖片中除此之外的塊，來 算出針對上述小數(shù)整數(shù)像素位置的濾波系數(shù)(步驟S 10 4)。這樣，在針 對一個小數(shù)整數(shù)像素位置的濾波系數(shù)被算出時，具有自適應(yīng)濾波器的運(yùn)動 補(bǔ)償預(yù)測部160判別是否存在沒有被算出濾波系數(shù)的其他的小數(shù)整數(shù)像素 位置(步驟S 10 6)。
在此，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為存在沒有被 算出濾波系數(shù)的其他的小數(shù)整數(shù)像素位置的情況下(步驟S 1 0 6的是)， 針對該小數(shù)整數(shù)像素位置重復(fù)執(zhí)行從步驟S 1 0 2的處理。并且，具有自 適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為不存在沒有被算出濾波系數(shù)的 其他的小數(shù)整數(shù)像素位置的情況下(步驟S 1 0 6的否)，從該對象圖片中 確定具有表示參考圖片中的規(guī)定的整數(shù)小數(shù)像素位置的運(yùn)動矢量(步驟S 1 0 8 )c
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用對象圖片中所包含的塊 中的、在步驟S 1 0 8確定的塊，而不利用對象圖片中除此之外的塊，來 算出針對上述整數(shù)小數(shù)像素位置的濾波系數(shù)(步驟S 110)。這樣，在針 對一個整數(shù)小數(shù)像素位置的濾波系數(shù)被算出時，具有自適應(yīng)濾波器的運(yùn)動 補(bǔ)償預(yù)測部160判別是否存在沒有被算出濾波系數(shù)的其他的整數(shù)小數(shù)像素 位置(步驟S 112)。
在此，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為存在沒有被 算出濾波系數(shù)的其他的整數(shù)小數(shù)像素位置的情況下(步驟S 1 1 2的是)，針對該整數(shù)小數(shù)像素位置重復(fù)執(zhí)行從步驟S 1 0 8的處理。并且，具有自 適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為不存在沒有被算出濾波系數(shù)的 其他的整數(shù)小數(shù)像素位置的情況下(步驟S 1 1 2的否)，從該對象圖片中 確定具有表示參考圖片中的規(guī)定的小數(shù)小數(shù)像素位置的運(yùn)動矢量(步驟S 114)。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用對象圖片中所包含的塊 中的、在步驟S 1 1 4確定的塊，而不利用對象圖片中除此之外的塊，來 算出針對上述小數(shù)小數(shù)像素位置的濾波系數(shù)(步驟S 116)。這樣，在針 對一個小數(shù)小數(shù)像素位置的濾波系數(shù)被算出時，具有自適應(yīng)濾波器的運(yùn)動 補(bǔ)償預(yù)測部160判別是否存在沒有被算出濾波系數(shù)的其他的小數(shù)小數(shù)像素 位置(步驟S 118)。
在此，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為存在沒有被 算出濾波系數(shù)的其他的小數(shù)小數(shù)像素位置的情況下(步驟S 1 1 8的是)， 針對該小數(shù)小數(shù)像素位置重復(fù)執(zhí)行從步驟S 1 1 4的處理。并且，具有自 適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160在判別為不存在沒有被算出濾波系數(shù)的 其他的小數(shù)小數(shù)像素位置的情況下(步驟S 1 1 2的否)，則判斷為針對分 離型二維自適應(yīng)內(nèi)插濾波器的所有的小數(shù)像素位置的濾波系數(shù)已被算出。 并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160利用在步驟S 1 0 0被檢 測出的運(yùn)動矢量和被算出的濾波系數(shù)，對對象塊進(jìn)行運(yùn)動補(bǔ)償(步驟S 2 2 0)。
這樣，在本實(shí)施例中，對象圖片中的各個塊的運(yùn)動矢量以小數(shù)像素精 度被檢測出，具有表示參考圖片中的小數(shù)像素位置(P， q)的運(yùn)動矢量 的多個塊從對象圖片中被確定。并且，根據(jù)這些被確定的多個塊，能夠決 定小數(shù)像數(shù)位置(P， q)的濾波系數(shù)。即，在本實(shí)施例中，從構(gòu)成對象 圖片的所有塊中篩選具有表示小數(shù)像素位置(P ， q)的運(yùn)動矢量的塊， 并僅根據(jù)被篩選的多個塊來決定小數(shù)像素位置(P ， q )的濾波系數(shù)。因 此，設(shè)想構(gòu)成對象圖片的所有的塊的運(yùn)動矢量表示參考圖片中的所有的小 數(shù)像素位置，由于沒有根據(jù)所有的塊的圖像來決定小數(shù)像素位置(P， q) 的濾波系數(shù)，因此，能夠大幅度地降低在算出濾波系數(shù)時的計算量，并且 能夠高效率地決定適當(dāng)?shù)臑V波系數(shù)。并且，在本實(shí)施例中，在決定分離型 二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)之前被檢測出的小數(shù)像素精度的運(yùn)動矢
30量被利用于運(yùn)動補(bǔ)償(塊的編碼)，被包含在編碼信號中。即，在本實(shí)施例 中，在決定濾波系數(shù)之前就以小數(shù)像素精度檢測了運(yùn)動矢量并利用于運(yùn)動 補(bǔ)償，因此，在濾波系數(shù)決定后，不需要重新檢測被利用于運(yùn)動補(bǔ)償且應(yīng) 該被包含在編碼信號中的小數(shù)像素精度的運(yùn)動矢量，從而能夠減輕處理負(fù) 擔(dān)。并且，本發(fā)明是在分離型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)被決定后， 進(jìn)一步利用該濾波系數(shù)檢測小數(shù)像素精度的運(yùn)動矢量的，因此，不會防止 該運(yùn)動矢量被利用于運(yùn)動補(bǔ)償。
圖9是示出本實(shí)施例中的運(yùn)動圖像解碼裝置的一個例子的方框圖。
本實(shí)施例中的運(yùn)動圖像解碼裝置200包括逆量化/逆變換部220、加 法器235、解塊濾波器237、存儲器240、幀內(nèi)預(yù)測部250、具有自適應(yīng)濾 波器的運(yùn)動補(bǔ)償預(yù)測部260、切換開關(guān)280以及熵解碼部290。
熵解碼部290獲得從運(yùn)動圖像編碼裝置100輸出的作為比特流的編碼 信號，并對該編碼信號進(jìn)行熵解碼。通過該熵解碼，熵解碼部290從編碼 信號中取出量化系數(shù)、運(yùn)動矢量以及濾波系數(shù)，量化系數(shù)被輸出到逆量化 /逆變換部220，運(yùn)動矢量以及濾波系數(shù)被輸出到具有自適應(yīng)濾波器的運(yùn)動 補(bǔ)償預(yù)測部260。
逆量化/逆變換部220與運(yùn)動圖像編碼裝置100中的逆量化/逆變換 部130具有同樣的功能和構(gòu)成，從熵解碼部290取出的量化系數(shù)被逆量化 為正交變換系數(shù)，該正交變換系數(shù)被逆正交變換為預(yù)測誤差后，被輸出到 加法器235。
加法器235具有與運(yùn)動圖像編碼裝置100的加法器135相同的功能和 構(gòu)成。BP，加法器235使從逆量化/逆變換部220輸出的預(yù)測誤差和從幀 內(nèi)預(yù)測部250或具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部260輸出的預(yù)測信號 所表示的預(yù)測圖像相加。并且，加法器135將表示上述的加法結(jié)果的解碼 圖像輸出到解塊濾波器237。
解塊濾波器237具有與運(yùn)動圖像編碼裝置100的解塊濾波器137相同 的功能和構(gòu)成。即，解塊濾波器237通過對這些解碼圖像進(jìn)行解塊濾波， 從而去除該解碼圖像中的編碼失真，并將被去除了編碼失真的解碼圖像存 儲到存儲器240。
存儲器240與運(yùn)動圖像編碼裝置100的存儲器140同樣，依次存儲有 由解塊濾波器237存儲的解碼圖像。這樣，針對以后的對象塊生成預(yù)測圖
31像時所使用的參考圖片被存儲到存儲器240中。
幀內(nèi)預(yù)測部250具有與運(yùn)動編碼裝置100中的幀內(nèi)預(yù)測部150相同的 功能與構(gòu)成。目卩，幀內(nèi)預(yù)測部250針對對象塊進(jìn)行畫面內(nèi)預(yù)測(幀內(nèi)預(yù)測)， 將表示針對該對象塊的預(yù)測圖像輸出到切換開關(guān)280。
切換開關(guān)280具有與運(yùn)動圖像編碼裝置100的切換開關(guān)180相同的功 能和構(gòu)成。BP,在切換開關(guān)280針對對象塊進(jìn)行畫面內(nèi)預(yù)測(幀內(nèi)預(yù)測) 的情況下，從幀內(nèi)預(yù)測部250輸出的預(yù)測信號被輸出到加法器235，在針對 對象塊進(jìn)行畫面間預(yù)測(幀間預(yù)測)的情況下，從具有自適應(yīng)濾波器的運(yùn) 動補(bǔ)償預(yù)測部260輸出的預(yù)測信號被輸出到加法器235。
具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部260具有與運(yùn)動圖像編碼裝置100 的具有自適應(yīng)濾波器運(yùn)動補(bǔ)償預(yù)測部160相同的功能和構(gòu)成。g卩，具有自 適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部260在獲得與從熵解碼部2卯輸出的各個塊 相對應(yīng)的小數(shù)像素精度的運(yùn)動矢量時，根據(jù)具有這些運(yùn)動矢量的塊，算出 分離型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)。并且，具有自適應(yīng)濾波器的運(yùn) 動補(bǔ)償預(yù)測部260利用被算出的濾波系數(shù)，對對象塊進(jìn)行運(yùn)動補(bǔ)償，這樣， 生成針對這些對象塊的預(yù)測圖像，并將表示這些預(yù)測圖像的預(yù)測信號輸出 到切換開關(guān)280。由該具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部260進(jìn)行的濾波 系數(shù)的算出以及運(yùn)動補(bǔ)償，與上述的具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部 160所進(jìn)行的濾波系數(shù)的算出以及運(yùn)動補(bǔ)償相同。
以下，對決定分離型二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)的方發(fā)進(jìn)行具 體說明。
圖IO示出了 1 / 4像素精度的參考圖片的像素位置以及像素值。 黑圓點(diǎn)表示整數(shù)像素位置(即原來的圖像的采樣位置)，圓圈表示需要 內(nèi)插像素值的小數(shù)像素位置。并且，本發(fā)明能夠適用于所有的小數(shù)像素精 度(其中包括小數(shù)像素精度在垂直方向以及水平方向上不同的情況)。
在此，以下，將n定義為小數(shù)像素精度(即，在l / 2像素精度的情 況下，n = 2，在l /4像素精度的情況下，n-4等)。參考圖片上的位 置由整數(shù)像素精度或小數(shù)像素精度表示。(x， y)以整數(shù)像素精度表示參 考圖片上的坐標(biāo)位置，(n x + p ， n y + q )以小數(shù)像素精度表示參考圖 片上的坐標(biāo)位置。即，以小數(shù)像素精度表示的整數(shù)像素位置(n x ， n y ) 和以整數(shù)像素精度表示的整數(shù)像素位置(x， y) —致。并且，以小數(shù)像'素精度表示的(nx + p， ny + q)如上述的(p ， q )不表示各個整 數(shù)單位范圍的共同的位置，而表示參考圖片上的特定的一個位置。以下， 為了將(P， q)與(nx + p， ny + q)區(qū)別，而將(p ， q )稱為 局部坐標(biāo)上的位置。并且，將Px，y定義為原來的參考圖片的整數(shù)像素位置 (x， y )上的像素的像素值。而且，將P 3nx+p,。定義為以參考圖片上的 小數(shù)像素精度表示的一個位置(n x + p ， 0 )中的像素的像素值，將P b,p，ny+q定義為以參考圖片上的小數(shù)像素精度表示的一個位置(n x + p ， n y + q )中的像素的像素值(參照圖10)。
運(yùn)動矢量由mv- (vx， vy)來表示。即，運(yùn)動矢量501、 502、 503
是通過分別將由小數(shù)像素精度表示的水平方向以及垂直方向的位置代入到 成分Vx以及Vy來表示的。滿足Vx mo d n = 0的運(yùn)動矢量503表示x 方向(水平方向)的整數(shù)像素位置。滿足Vx mo d n = 1 ，…，(n — 1 ) 的運(yùn)動矢量501、 502表示x方向的小數(shù)像素位置。對于y方向(垂直方向) 也是同樣，運(yùn)動矢量501表示y方向的整數(shù)像素位置，運(yùn)動矢量502、 503 表示y方向的小數(shù)像素位置。
在本實(shí)施例中的分離型二維自適應(yīng)內(nèi)插濾波器如以上所述，能夠被分 為一維水平內(nèi)插濾波器和一維垂直內(nèi)插濾波器。具體而言，在垂直方向上， 在整數(shù)像素位置上的像素，也就是說位置(n x + p ， y)上的像素的像 素值P a^py利用一維水平內(nèi)插濾波器，由以下的(公式l )來表示。
在此，g嚴(yán)是針對局部坐標(biāo)上的位置(P， O)的水平方向上的濾波 系數(shù)g W中所包含的多個系數(shù)，在6抽頭濾波器的情況下，是具有i =_ 2 ， —1， 0， 1， 2， 3的一維水平內(nèi)插濾波器的離散系數(shù)。g卩，針對局部 坐標(biāo)上的位置(P， 0 )的一維水平內(nèi)插濾波器的濾波系數(shù)g^，由六個系 數(shù)g.2(P)、 g."、 g。(P)、 g(p)、 g嚴(yán)、g/P)構(gòu)成。并且，Px-i,y是整數(shù)像素 位置(x — i ， y ) ( i =— 2 ， 一 1， 0 ， 1 , 2 , 3 )上的整數(shù)像素的
像素值。這樣，在垂直方向上，在整數(shù)像素位置上的像素，也就是說，位 置(nx + p， y )上的像素的像素值P anx+p，y是由以下的值來表示的，
(公式l )所述值是指，對在水平方向上排列的六個整數(shù)像素的像素值P^y ( i = —
2 ， 一 1 ， 0 ， 1 ， 2 ， 3 )分別乘以系數(shù)g嚴(yán)(i =— 2 ， 一 1， 0 ，
1， 2， 3)并合計出來的結(jié)果。這樣，水平方向的濾波系數(shù)gW依存局部 坐標(biāo)上的特定的位置P。因此， 一維水平內(nèi)插濾波器的濾波系數(shù)gW針對各 個位置P而被決定。
圖11示出了由一維水平內(nèi)插濾波器內(nèi)插的小數(shù)像素以及濾波系數(shù)。并 且，在該圖11中，黑圓點(diǎn)表示具有已知的像素值的整數(shù)像素，白圓圈表示 需要被內(nèi)插的小數(shù)像素。
濾波系數(shù)gW是針對局部坐標(biāo)上的小數(shù)整數(shù)像素位置(P ， 0 ) ( P =
1，， (n— l))的每一個而被決定的。例如，在n二4的情況下，針 對小數(shù)整數(shù)像素位置(1 ， 0 )決定濾波系數(shù)g^，針對小數(shù)整數(shù)像素位置
(2,0)決定濾波系數(shù)§(2)，針對小數(shù)整數(shù)像素位置(3,0)決定濾波 系數(shù)gP)。
這樣，在一維水平內(nèi)插濾波器的濾波系數(shù)g W被決定的情況下，位置(n
X + P ，y + q )上的像素的像素值P b nx+p，y+q利用一維垂直內(nèi)插濾波器，
由以下的(公式2)來決定。 (公式2)
Pb=yh(p，q)Pa . =ygfp)h(p，q)P ..
A vnx+p，ny+q J iix+p，y-j J x-i，y-j
j i，j
在此，h/一是針對局部坐標(biāo)上的位置(p， q)的垂直方向的濾波系 數(shù)hO^中所包含的多個系數(shù)。例如，在六抽頭濾波器的情況下，h/J^是具
有」=_2， 一l， 0， 1， 2， 3的一維垂直內(nèi)插濾波器的離散系數(shù)。
即，針對局部坐標(biāo)上的位置(P， q)的一維垂直內(nèi)插濾波器的濾波系數(shù)
h&'q)，由六個系數(shù)h.,q)、 h./p"、 h。(p，q)、 h/一、 h2(p，q)、 h3(p'q)構(gòu)成。
并且，P^是垂直方向上的整數(shù)像素位置上的像素，也就是說，是位置(n x + p， y —J)(J=—2， 一1， 0， 1， 2， 3)上的像素的像素值。 因此，系數(shù)h/P'q)也與在水平方向被內(nèi)插的小數(shù)像素的像素值P a^+p,y.j相 乘。這樣，位置(nx + p， ny + q)上的像素的像素值P b ^p,ny+q是 由以下的值來表示的，所述值是指，對在垂直方向上排列的六個像素的像
34素值P a nx+p,y-j ( j =— 2 ， — 1 ， 0 ， 1 ， 2 ， 3 )分別乘以系數(shù) (j =— 2 ， 一 1 ， 0 ， 1 ， 2 ， 3 )并合計出來的結(jié)果。這樣，垂直方
向的濾波系數(shù)h^喻存局部坐標(biāo)上的特定的位置(p， q)。因此， 一維垂
直內(nèi)插濾波器的濾波系數(shù)11(一針對各個位置(p， q)的像素而被決定。 圖12示出了由一維垂直內(nèi)插濾波器內(nèi)插的小數(shù)像素以及濾波系數(shù)。并
且，在該圖中，黑圓點(diǎn)表示具有已知的像素值的整數(shù)像素，白圓圈表示需
要被內(nèi)插的小數(shù)像素。
濾波系數(shù)h/一針對局部坐標(biāo)上的小數(shù)像素位置(p ， q ) ( p = 0 ，…， (n — 1 )以及q二 1 ，…，(n — 1 ))的每一個而被決定。例如，在n
=4的情況下，針對l 2個小數(shù)像素的每一個決定濾波系數(shù)h/P，"。具體而
言，針對小數(shù)像素位置(0， 1)決定濾波系數(shù)hf'"，針對小數(shù)像素位置 (1 ， 1 )決定濾波系數(shù)h/W，針對小數(shù)像素位置(1 ， 2 )決定濾波系
數(shù)h/1,2)。
并且，在本實(shí)施例中，由于適用了一維水平內(nèi)插濾波器以及一維垂直 內(nèi)插濾波器，因此需要不使整數(shù)像素位置的像素的像素值發(fā)生變化。換言 之，要求一維水平內(nèi)插濾波器以及一維垂直內(nèi)插濾波器不對整數(shù)像素的像 素產(chǎn)生影響。因此，在P和q分別成為O的情況下，需要滿足以下的(公 式3 )所示的條件。 (公式3)
在此，S w是克羅內(nèi)克符號(kronecker delta),若k = 1 ,則S kl= 1 ， 若k # 1則S k，,= 0 。而且，由于適用了一維垂直內(nèi)插濾波器，因此要求一
維水平內(nèi)插濾波器的結(jié)果(小數(shù)像素的像素值)不發(fā)生變化。換言之，要 求一維垂直內(nèi)插濾波器不對作為一維水平內(nèi)插濾波器的結(jié)果的小數(shù)像素的 像素值產(chǎn)生影響。因此，在q為0的情況下，需要滿足以下的(公式4) 所示的條件。
(公式4)因此，即使在P和q分別成為O的情況下，實(shí)質(zhì)上存在的濾波系數(shù)為-針對(n—1 )個小數(shù)整數(shù)像素位置的一維水平自適應(yīng)內(nèi)插濾波器的濾波 系數(shù)gW，…，g(I>1)、和針對n (n—l)個的小數(shù)像素位置(整數(shù)小數(shù) 像素位置以及小數(shù)小數(shù)像素位置)的一維垂直內(nèi)插濾波器的濾波系數(shù)h (o,"，…，h(o'n.1)， h(u)，…，h(—國"。
在本實(shí)施例中，首先，從對象圖片中確定具有小數(shù)像素精度的運(yùn)動矢
量mv二(Vx， vy)(vxmod n7^0、 vymod n = 0)的一個 以上的塊，該小數(shù)像素精度的運(yùn)動矢量表示參考圖片中的各個局部坐標(biāo)的 規(guī)定的小數(shù)整數(shù)像素位置(P , 0 ) ( P # 0 )。并且，在本實(shí)施例中，一 維水平內(nèi)插濾波器的濾波系數(shù)gW (系數(shù)g")被最佳化，以使以下(公式 5 )所示的預(yù)測誤差(ep) 2成為最小。 (公式5 )
x:y V i 乂
在此，Sx，y是由對象圖片上的整數(shù)像素精度所表示的位置(x， y) 上的整數(shù)像素的像素值，Pxd.i,yd是以前被解碼的參考圖片上的整數(shù)像素位 置(x d — i ， yd)上的像素的像素值。并且，x d由x d = x+[[vx / n]]而被定義，y d由y d = y+[[vy / n]]而被定義，p&p = Vxm o d n來表示。并且，[[A]]是表示自變量A以下的最大的整數(shù)的地板函數(shù) (floor function )。并且，如以上所述，由于滿足了Vy mod n = 0，因 此，y d由y d = y+[[ vy/ n]]= y + vy / n來表示。
艮口，位置(x d， yd)是從參考圖片上的小數(shù)像素位置(x +vx/ n， y + vy / n)角度來看，在水平方向上鄰近的整數(shù)像素位置，所述參 考圖片上的小數(shù)像素位置(x + vx/n， y + Vy/n)由參考圖片上的整 數(shù)像素位置(x， y)和小數(shù)像素精度的運(yùn)動矢量m v = (vx， vy)來表 示。并且，位置(x d _ i ， yd)例如可以通過i =— 2 ， — 1 ， 0 ， 1， 2， 3來表示在水平方向連續(xù)排列的6個整數(shù)像素位置。
x和y能夠取得的范圍是由具有表示各個局部坐標(biāo)中規(guī)定的小數(shù)整數(shù) 像素位置(P ， 0)的運(yùn)動矢量的對象圖片上的一個以上的塊所構(gòu)成的范
36圍，針對所述一個以上的塊內(nèi)的(x， y)，進(jìn)行上述(公式5)所示的預(yù) 測誤差的最小化。并且，上述的塊與宏塊相對應(yīng)。B卩，x和y能夠取得的 范圍由具有運(yùn)動矢量(即滿足Vx mo d n二p以及Vymod n二0的 運(yùn)動矢量)的(一個以上的運(yùn)動圖像中的)若干個或所有的宏塊的(不連 續(xù)的)結(jié)合構(gòu)成，所述運(yùn)動矢量表示各個局部坐標(biāo)中的相同的小數(shù)像素位 置。
如以上所述，在本實(shí)施例中， 一維水平內(nèi)插濾波器的濾波系數(shù)g^被決 定成，能夠使(公式5)所示的預(yù)測誤差最小化。在這樣的最小化(最佳 化)的算法中也可以適用任意的周知技術(shù)(例如梯度下降法、模擬退火算 法等)。例如，最佳的濾波系數(shù)gW可以通過解由(公式5)的偏導(dǎo)數(shù)推導(dǎo) 出的線性方程來決定。該線性方程如以下的(公式6)所示。
(公式6 )
巧 、 ，
xd-i，yd
x，y 乂 i
通過進(jìn)行這樣的最佳化，針對局部坐標(biāo)上的一個小數(shù)整數(shù)像素位置 (p ， o)的一維水平內(nèi)插濾波器的濾波系數(shù)g^被決定。并且，針對其他
的小數(shù)整數(shù)像素位置(p ， o)也反復(fù)執(zhí)行同樣的最佳化，針對該位置的
濾波系數(shù)g w被依次決定。
通過利用如上述這樣被決定的一維水平內(nèi)插濾波器的濾波系數(shù)gw，從 而以前被解碼的參考圖片上的、在水平方向上為小數(shù)像素位置、在垂直方
向上為整數(shù)像素位置的小數(shù)像素的像素值P anx+p,y，由上述的(公式l )算 出。
并且，在本實(shí)施例中，從對象圖片中確定具有小數(shù)像素精度的運(yùn)動矢 量mv二(Vx, vy)(vymod n # 0 )的一個以上的塊，該小數(shù)像素 精度的運(yùn)動矢量m v = ( vx, vy)(vymod n # 0 )表示除參考圖片
中的各個局部坐標(biāo)上的小數(shù)整數(shù)像素位置以外的、相同的小數(shù)像素位置 (p， q) (q#0)。并且，在本實(shí)施例中， 一維垂直內(nèi)插濾波器的濾波 系數(shù)h^'W (系數(shù)h,力是通過對考慮了垂直方向的小數(shù)像素的運(yùn)動而進(jìn)行 的預(yù)測誤差的最小化，從而在第二步驟決定的。即，該濾波系數(shù)h (^被最 佳化，以使以下的(公式7)所示的預(yù)測誤差(ep，q) 2成為最小。(公式7)
<formula>formula see original document page 38</formula>
在此，Sx,y是由對象圖片上的整數(shù)像素精度表示的位置(x， y)上 的整數(shù)像素的像素值，P anx+vx，yd.j是參考圖片上的小數(shù)整數(shù)像素位置或整 數(shù)像素位置上的位置(n x +vx， y d —j )的像素的像素值。并且，p 由p二Vxinod n來表示，qiq = vymod n#0來表示。艮卩，位 置(nx + Vx， y d)是從參考圖片上的小數(shù)像素位置(x + vx/ n， y + vy/ n)角度來看，在垂直方向上鄰近的小數(shù)整數(shù)像素位置或整數(shù)像素 位置，所述參考圖片上的小數(shù)像素位置(x + vx/n， y + Vy/n)由參 考圖片上的整數(shù)像素位置(x ， y)和小數(shù)像素精度的運(yùn)動矢量m v = (v x， vy)來表示。并且，位置(n x +vx， y d —j )例如可以通過j = _2， 一l， 0， 1， 2， 3來表示在垂直方向連續(xù)排列的6個小數(shù)整數(shù) 像素位置或6個整數(shù)像素位置。
x和y能夠取得的范圍是由具有表示各個局部坐標(biāo)中規(guī)定的小數(shù)整數(shù) 像素位置(P ， q ) ( q # 0 )的運(yùn)動矢量的對象圖片上的一個以上的塊所 構(gòu)成的范圍，針對所述一個以上的塊內(nèi)的(x， y)，進(jìn)行上述(公式7) 所示的預(yù)測誤差的最小化。并且，上述的塊與宏塊相對應(yīng)。即，x和y能 夠取得的范圍由具有運(yùn)動矢量(即滿足Vx mod n二p以及Vy mod n = q # 0的運(yùn)動矢量)的若干個或所有的宏塊的(不連續(xù)的)結(jié)合構(gòu)成， 所述運(yùn)動矢量表示各個局部坐標(biāo)中的相同的小數(shù)像素位置。
如以上所述，在本實(shí)施例中， 一維垂直內(nèi)插濾波器的濾波系數(shù)h^，《被 決定成，能夠使(公式7)所示的預(yù)測誤差最小化。在這樣的最小化(最 佳化)的算法中也可以適用任意的周知技術(shù)(例如梯度下降法、模擬退火 算法等)。例如，最佳的濾波系數(shù)h(P^可以通過解由(公式7)的偏導(dǎo)數(shù)推 導(dǎo)出的線性方程來決定。該線性方程如以下的(公式8)所示。(公式8)
=-2ZPanx+vx,yd-k sxy-Sh;p'q)Pa^+v、,yd—j
x'y 、j J
通過進(jìn)行這樣的最佳化，針對局部坐標(biāo)上的一個小數(shù)整數(shù)像素位置
(p ， q ) ( q # 0 )的一維垂直內(nèi)插濾波器的濾波系數(shù)hj,被決定。并 且，針對其他的小數(shù)整數(shù)像素位置(P ， q ) ( q # 0 )也反復(fù)執(zhí)行同樣的 最佳化，針對該位置的濾波系數(shù)h^'。被依次決定。
通過利用如上述這樣被決定的一維垂直內(nèi)插濾波器的濾波系數(shù)h/一， 從而以前被解碼的參考圖片上的、小數(shù)像素位置(P ， q) ( q # 0)的小 數(shù)像素的像素值P bnx+p，ny+q，由上述的(公式2)算出。
這樣，本實(shí)施例中的分離型二維自適應(yīng)內(nèi)插濾波器被分離為一維水平 內(nèi)插濾波器和一維垂直內(nèi)插濾波器。并且， 一維水平內(nèi)插濾波器的濾波系 數(shù)gW和一維垂直內(nèi)插濾波器的濾波系數(shù)h^，皮分別算出。而且，在運(yùn)動
補(bǔ)償中，利用被算出的濾波系數(shù)g(p)，在垂直方向上為整數(shù)像素位置、在 水平方向上為小數(shù)像素位置的小數(shù)像素的像素值被算出，并利用被算出的 濾波系數(shù)h^，吣在垂直方向的小數(shù)像素位置上的小數(shù)像素的像素值被算出。 并且，在針對對象塊的運(yùn)動補(bǔ)償中，僅利用針對由該對象塊所具有的小數(shù) 像素精度的運(yùn)動矢量m v所表示的局部坐標(biāo)上的位置(P ， q )的濾波系 數(shù)。這樣，參考圖片上的各個局部坐標(biāo)中的上述位置(P， q)上的小數(shù) 像素的像素值被算出，由位置(P， q)上的小數(shù)像素構(gòu)成的預(yù)測圖像被 生成。
在上述的說明中，gW以及h&，。分別作為水平以及垂直的一維內(nèi)插濾
波器的濾波系數(shù)而被定義， 一維水平內(nèi)插濾波器的濾波系數(shù)是在一維垂直
內(nèi)插濾波器的濾波系數(shù)之前而被決定的。然而，若要使一維垂直內(nèi)插濾波
器的濾波系數(shù)在一維水平內(nèi)插濾波器的濾波系數(shù)之前被決定，則可以改變 g(P)以及h(P'q)的作用。并且，在上述的說明中， 一維垂直內(nèi)插濾波器的濾波系數(shù)h^'^依存于 水平方向的小數(shù)像素位置P。不過，濾波系數(shù)h^'。也可以不依存于小數(shù)像 素位置P，可以在水平方向上不變。在這種情況下，濾波系數(shù)h^'。成為h (q)，即使在這種情況下也能夠達(dá)到與h^^的情況類似的效果。并且，在這 種情況下，能夠使一維垂直內(nèi)插濾波器的濾波系數(shù)的數(shù)量減少為(n — 1 )， 這樣，會^夠減少信號開支(signaling overhead)。
而且，不首先執(zhí)行一維水平內(nèi)插濾波器的濾波系數(shù)的算出，可以對一 維垂直內(nèi)插濾波器的水平方向采用與gW同樣的方法來決定不變的濾波系 數(shù)h氣在這種情況下，由于濾波系數(shù)h^ (系數(shù)h嚴(yán))不依存于p，因此 (公式7 )中的p被替換為p = 0 。這樣，濾波系數(shù)h^被決定為如以下(公 式9)所示的，使預(yù)測誤差(e。,q) 2成為最小。并且，在(公式9)中， 滿足xd = x+[[vx/n]]、 vxmod n=0、 yd = y+[[vy/n]] 以及Vy mod n二q的關(guān)系。 (公式9 )
<formula>formula see original document page 40</formula>
該(公式9)與(公式5)具有相似的關(guān)系。即，x和y能夠取得的 范圍是由具有表示各個局部坐標(biāo)中規(guī)定的整數(shù)小數(shù)像素位置(0 ， q )的 運(yùn)動矢量的對象圖片上的一個以上的塊所構(gòu)成的范圍，針對所述一個以上 的塊內(nèi)的(x ， y )，進(jìn)行上述(公式9 )所示的預(yù)測誤差的最小化。并且, 上述的塊與宏塊相對應(yīng)。即，x和y能夠取得的范圍由具有運(yùn)動矢量(即 滿足Vxmod n二O以及Vymod n = q的運(yùn)動矢量)的若干個或所
有的宏塊的(不連續(xù)的)結(jié)合構(gòu)成，所述運(yùn)動矢量表示各個局部坐標(biāo)中的 相同的小數(shù)像素位置。
并且，在本實(shí)施例中，包含在濾波系數(shù)中的各個系數(shù)被分別獨(dú)立地決 定。不過，以被適用了濾波系數(shù)的小數(shù)像素位置為中心，被加權(quán)了各個系 數(shù)的各個像素在水平方向上或垂直方向被對稱地排列的情況下，利用此對 稱性，可以使該小數(shù)像素位置的濾波系數(shù)中所包含的系數(shù)中，對相互對稱 的位置上的像素進(jìn)行加權(quán)的系數(shù)相等。據(jù)此，能夠進(jìn)一步減少為了發(fā)送濾波系數(shù)的開銷額外量。即，在上述這種情況下，小數(shù)像素位置的濾波系數(shù) 中所包含的系數(shù)，可以如(公式l 0)所示，由水平方向或垂直方向的鏡
像來決定。例如在1 / 4像素精度(n = 4 )的情況下，使(公式1 0 ) 適用于p = 2和/或q = 2的小數(shù)像素位置的濾波系數(shù)。 (公式l0)
gi (p) 二g — i (p) h. (p， q)=h —. (p, q)
并且，在本實(shí)施例中，針對小數(shù)像素位置的各個濾波系數(shù)被分別獨(dú)立 地決定。然而，在以彼此相鄰的整數(shù)像素的中間點(diǎn)為中心，該整數(shù)像素間 的兩個小數(shù)像素位置在水平方向或垂直方向被對稱地排列的情況下，可以 利用該對稱性，使該兩個小數(shù)像素位置的濾波系數(shù)相等。據(jù)此，能夠進(jìn)一 步減少為了發(fā)送濾波系數(shù)的開銷額外量。即，在上述這種情況下，被對稱 排列的小數(shù)像素位置的濾波系數(shù)，可以如(公式ii)所示，由水平方向
或垂直方向的鏡像來決定。例如在l / 4像素精度(n = 4)的情況下， P = 3的小數(shù)像素位置的濾波系數(shù)被決定為，與p = 1的小數(shù)像素位置的 濾波系數(shù)相同的濾波系數(shù)。 (公式l1)
g (p) = g (n-p)h (p' q) 二h (p' n一q)
在此，例如在由運(yùn)動檢測部170沒有檢測出表示小數(shù)像素位置(3， O)的運(yùn)動矢量時，由于具有運(yùn)動矢量mv的塊不在對象圖片中，因此會 出現(xiàn)利用預(yù)測誤差不能算出該小數(shù)像素位置(3 ， 0 )的濾波系數(shù)的情況。 然而，若小數(shù)像素位置(1， o)的濾波系數(shù)能夠利用預(yù)測誤差來算出， 通過利用上述的對稱性(公式1 1 )，從而能夠?qū)⒃撔?shù)像素位置(3 ， 0 ) 的濾波系數(shù)決定為小數(shù)像素位置(1， 0)的濾波系數(shù)。
另外，除利用上述這種對稱性以外，也可以將該小數(shù)像素位置(3 ， 0)的濾波系數(shù)決定為針對以前的圖片算出的小數(shù)像素位置的濾波系數(shù)。 而且，也可以將小數(shù)像素位置(3， 0)的濾波系數(shù)決定為默認(rèn)的濾波系 數(shù)。并且，也可以不決定小數(shù)像素位置(3， 0)的濾波系數(shù)。在這種情 況下，該小數(shù)像素位置的濾波系數(shù)不被使用，運(yùn)動圖像編碼裝置100不向
41運(yùn)動圖像解碼裝置200發(fā)送該小數(shù)像素位置的濾波系數(shù)。
而且，如(公式l 2)所示，也可以決定濾波系數(shù)以滿足(公式l 0) 以及(公式l 1 )的關(guān)系。 (公式l2)
gj (p) = g — j (n-p)h, (p， q) = h . (p' n-q)
并且，在本發(fā)明中，不受上述這種對稱性所限，為了減少用于發(fā)送濾 波系數(shù)的開銷額外量，也可以利用包括旋轉(zhuǎn)對稱的其他的對稱性。
這樣，在由運(yùn)動檢測部170沒有檢測出表示規(guī)定的小數(shù)像素位置的運(yùn)
動矢量時，且具有該運(yùn)動矢量的塊在對象圖片上沒有被確定的情況下，具
有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù)測部160可以通過利用上述這種像素位置的 對稱性以及其他的圖片的濾波系數(shù)、默認(rèn)值的濾波系數(shù)等，從而決定所述 規(guī)定的小數(shù)像素位置的濾波系數(shù)。并且，具有自適應(yīng)濾波器的運(yùn)動補(bǔ)償預(yù) 測部160也可以如以上所述那樣，不決定所述規(guī)定的小數(shù)像素位置的濾波 系數(shù)。
以下，禾擁圖13A圖13B以及圖14來對本發(fā)明的效果進(jìn)行說明。 圖13A以及圖13B是示出對本實(shí)施例中的運(yùn)動圖像的編碼裝置100的 編碼效率和以往的例子中的編碼效率的計測結(jié)果進(jìn)行比較的圖。并且，在 圖13A所示的編碼效率和圖13B所示的編碼效率中，作為計測這些效率的 條件的輸入圖像不同。
在這樣的圖13A以及圖13B中示出了對以下的編碼效率進(jìn)行的比較， 這些編碼效率是指利用本實(shí)施例中的分離型二維自適應(yīng)內(nèi)插濾波器進(jìn)行 運(yùn)動補(bǔ)償?shù)倪\(yùn)動圖像編碼裝置100的編碼效率，利用以往的H. 2 6 4 / AVC的二維固定內(nèi)插濾波器進(jìn)行運(yùn)動補(bǔ)償?shù)倪\(yùn)動圖像編碼裝置的編碼效 率，以及利用以往的非分離型二維自適應(yīng)內(nèi)插濾波器進(jìn)行運(yùn)動補(bǔ)償?shù)倪\(yùn)動 圖像編碼裝置的編碼效率。如這些圖所示，通過本實(shí)施例中的分離型二維 自適應(yīng)內(nèi)插濾波器的編碼效率，與通過以往的非分離型二維自適應(yīng)內(nèi)插濾 波器的編碼效率大致相同，比通過以往的二維固定內(nèi)插濾波器的編碼效率 高。
圖14示出了對本實(shí)施例中的運(yùn)動圖像編碼裝置100所進(jìn)行的濾波的計 算量和以往的濾波的計算量進(jìn)行的比較。如圖14所示，在適用以往的非分離型二維自適應(yīng)內(nèi)插濾波器(6x6 抽頭濾波器)時所需要的計算量為360。而在適用本實(shí)施例中的運(yùn)動圖像編 碼裝置100所進(jìn)行的分離型二維自適應(yīng)內(nèi)插濾波器(6抽頭濾波器)時所 需要的計算量為90。這樣，在本實(shí)施例中能夠降低濾波的計算量。
并且，在本實(shí)施例中，針對一張參考圖片決定一個分離型二維自適應(yīng) 內(nèi)插濾波器。即，若在一張參考圖片上的小數(shù)像素位置(P， q)相同， 則對這些位置決定相同的濾波系數(shù)。但是，本發(fā)明并非受此所限，也可以 針對多個圖片(序列)以及切片決定一個分離型二維自適應(yīng)內(nèi)插濾波器。 在這種情況下，序列以及切片中的小數(shù)像素位置(P， q)若相同，則針 對這些位置決定相同的濾波系數(shù)。即，在本發(fā)明中，也可以將圖片、切片 或序列等作為濾波決定單位，并按照這些濾波決定單位，針對這些濾波決 定單位中所包含的小數(shù)像素位置(P， q)來決定分離型二維自適應(yīng)內(nèi)插 濾波器的濾波系數(shù)。
并且，方框圖(圖3以及圖9等)中的各個功能塊可以作為典型的集 成電路的LS I來實(shí)現(xiàn)。這些功能塊可以分別被制成一個芯片，也可以將 這些功能塊的一部分或全部集中在一個芯片中。例如，可以將存儲器以外 的功能塊集中在一個芯片中。在此，雖然列舉了LS I，不過也可以根據(jù) 集成度的不同而稱為I C、系統(tǒng)L S I 、超級L S I 、極超級L S I 。并 且，集成電路化的方法也不僅限于LS I ，也可以以專用的電路或通用處 理器來實(shí)現(xiàn)。LSI制造后，也可以利用能夠程序化的現(xiàn)場可編程門陣列 (FPGA : Field Programmable Gate Array),或利用可再構(gòu)成LSI內(nèi)部的電 路單元的接續(xù)或設(shè)定的可重裝處理器。
而且，若隨著半導(dǎo)體技術(shù)的進(jìn)步或派生的其它技術(shù)而出現(xiàn)可以替換LSI 等集成電路的技術(shù)的情況下，當(dāng)然也可以利用這些新出現(xiàn)的技術(shù)使功能塊 集成化。也會有適應(yīng)生物技術(shù)的可能性。
本發(fā)明的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法能夠達(dá)到以較少 的計算量高效率地決定適當(dāng)?shù)臑V波系數(shù)，例如能夠適用于運(yùn)動圖像編碼裝
置以及電視攝影機(jī)、具有照相機(jī)的移動電話等。
權(quán)利要求
1.一種二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，根據(jù)被排列成二維的整數(shù)像素的像素值，決定用于算出被內(nèi)插在整數(shù)像素之間的小數(shù)像素的像素值的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，其特征在于，包括運(yùn)動檢測步驟，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測該塊的圖像相對于參考圖像的運(yùn)動，以作為運(yùn)動矢量；第一確定步驟，從具有由所述運(yùn)動檢測步驟檢測出的小數(shù)像素精度的運(yùn)動矢量的多個塊中，確定具有第一運(yùn)動矢量的一個以上的塊，該第一運(yùn)動矢量表示與鄰近的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的所述參考圖像上的小數(shù)像素位置；以及第一決定步驟，根據(jù)在所述第一確定步驟確定的一個以上的塊的圖像，和由所述一個以上的塊的第一運(yùn)動矢量表示的參考圖像上的一個以上的塊的圖像，來決定所述小數(shù)像素位置的濾波系數(shù)。
2. 如權(quán)利要求1所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，其特征在于，所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成-第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第一方向是指水平方向以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于在第二方向上被排列成一維的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第二方向是指與所述第一方向不同的水平方向或垂直方向；在所述第一確定步驟中，確定具有表示第一小數(shù)像素位置的所述第一運(yùn)動矢量的一個以上的塊，所述第一小數(shù)像素位置是指滿足所述預(yù)先規(guī)定的相對位置關(guān)系、并且在所述第一方向上位于小數(shù)像素位置、而且在所述第二方向上位于整數(shù)像素位置；在所述第一決定步驟中，決定所述第一小數(shù)像素位置上的所述第一一維內(nèi)插濾波器的濾波系數(shù)；所述濾波系數(shù)決定方法進(jìn)一步包括第二確定步驟，從具有由所述運(yùn)動檢測步驟檢測出的小數(shù)像素精度的運(yùn)動矢量的多個塊中，確定具有表示所述參考圖像上的第二小數(shù)像素位置的第二運(yùn)動矢量的一個以上的塊，所述參考圖像上的第二小數(shù)像素位置是指與鄰近的整數(shù)像素之間具有其他的被預(yù)先規(guī)定的相對位置關(guān)系、且在所述第二方向上位于小數(shù)像素位置；以及第二決定步驟，根據(jù)在所述第二確定步驟確定的一個以上的塊的圖像，和由所述一個以上的塊的第二運(yùn)動矢量表示的參考圖像上的一個以上的塊的圖像，來決定所述第二小數(shù)像素位置上的所述第二一維內(nèi)插濾波器的濾波系數(shù)。
3.如權(quán)利要求2所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，其特征在于，在所述第二確定步驟中，確定具有表示所述第二小數(shù)像素位置的所述第二運(yùn)動矢量的一個以上的塊，所述第二小數(shù)像素位置是指滿足所述其他的預(yù)先規(guī)定的相對位置關(guān)系、并且在所述第一方向上位于整數(shù)像素位置、而且在第二方向上位于小數(shù)像素位置。
4.如權(quán)利要求2所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，其特征在于，在所述第二確定步驟中，確定具有表示所述第二小數(shù)像素位置的所述第二運(yùn)動矢量的一個以上的塊，所述第二小數(shù)像素位置是指滿足所述其他的預(yù)先規(guī)定的相對位置關(guān)系、并且在所述第一方向以及第二方向上位于小數(shù)像素位置；在所述第二決定步驟中，使在所述第一決定步驟決定的所述第一一維內(nèi)插濾波器的濾波系數(shù)適用于所述第一小數(shù)像素位置，并利用適用后的結(jié)果來決定所述第二小數(shù)像素位置上的濾波系數(shù)。
5. 如權(quán)利要求1所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，其特征在于，在所述第一決定步驟中，決定針對所述小數(shù)像素位置的濾波系數(shù)，以使下述差分成為最小，該差分是由所述第一確定步驟確定的一個以上的塊的圖像、和由所述一個以上的塊的第一運(yùn)動矢量表示的參考圖像上的一個以上的塊的圖像之間的差分。
6. 如權(quán)利要求5所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法，其特征在于，在所述第一決定步驟中，通過解使所述差分成為最小的線性方程，從而決定針對所述小數(shù)像素位置的濾波系數(shù)。
7. —種運(yùn)動圖像壓縮方法，壓縮運(yùn)動圖像，其特征在于，該運(yùn)動圖像壓縮方法包括濾波系數(shù)決定步驟，通過執(zhí)行權(quán)利要求l中所述的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法中所包括的所有步驟，從而決定所述二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)；運(yùn)動補(bǔ)償步驟，將具有表示所述小數(shù)像素位置的運(yùn)動矢量的塊作為對象塊，通過針對所述對象塊進(jìn)行運(yùn)動補(bǔ)償，從而生成所述對象塊的預(yù)測圖像；以及編碼步驟，對圖像的差分和濾波系數(shù)進(jìn)行編碼，所述圖像的差分是指由所述運(yùn)動補(bǔ)償步驟生成的預(yù)測圖像和所述對象塊的圖像之間的差分，所述濾波系數(shù)是由所述濾波系數(shù)決定步驟決定的；在所述運(yùn)動補(bǔ)償步驟中，通過將在所述濾波系數(shù)決定步驟決定的濾波系數(shù)適用于所述小數(shù)像素位置，從而算出被內(nèi)插于所述小數(shù)像素位置的小數(shù)像素的像素值，并生成具有被算出的像素值的小數(shù)像素的所述預(yù)測圖像。
8. 如權(quán)利要求7所述的運(yùn)動圖像壓縮方法，其特征在于， 所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第一方向是指水 平方向以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于在第二方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第二方向是指與 所述第一方向不同的水平方向或垂直方向；在所述濾波系數(shù)決定步驟中，決定針對所述參考圖像上的第一小數(shù)像素位置的第一一維內(nèi)插濾波器 的濾波系數(shù)，所述參考圖像上的第一小數(shù)像素位置是指滿足在與鄰近的整 數(shù)像素之間的預(yù)先規(guī)定的相對位置關(guān)系、并且在所述第一方向上位于小數(shù) 像素位置、而且在第二方向上位于整數(shù)像素位置；而且決定針對所述參考圖像上的第二小數(shù)像素位置的第二一維內(nèi)插濾 波器的濾波系數(shù)，所述參考圖像上的第二小數(shù)像素位置是指與鄰近的整數(shù) 像素之間具有其他的預(yù)先規(guī)定的相對位置關(guān)系、并且在所述第一方向以及 第二方向上位于小數(shù)像素位置；在所述運(yùn)動補(bǔ)償步驟中，將具有表示所述第二小數(shù)像素位置的運(yùn)動矢量的塊作為對象塊來處 理，并通過將所述第一一維內(nèi)插濾波器的濾波系數(shù)適用于所述第一小數(shù)像 素位置，而且，將所述第二一維內(nèi)插濾波器的濾波系數(shù)適用于所述第二小 數(shù)像素位置，從而算出被內(nèi)插于所述第二小數(shù)像素位置的小數(shù)像素的像素 值，并生成具有被算出的像素值的小數(shù)像素的所述預(yù)測圖像。
9. 如權(quán)利要求8所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述運(yùn)動補(bǔ)償步驟中，在不使所述參考圖像的整數(shù)像素的像素值變化的狀態(tài)下，將所述第一 一維內(nèi)插濾波器的濾波系數(shù)適用于所述第一小數(shù)像素位置。
10.如權(quán)利要求9所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述運(yùn)動補(bǔ)償步驟中，在不使下述像素值變化的狀態(tài)下，將所述第二一維內(nèi)插濾波器的濾波 系數(shù)適用于所述第二小數(shù)像素位置，這些像素值是指所述參考圖像的整 數(shù)像素的像素值，和通過適用所述第一一維內(nèi)插濾波器的濾波系數(shù)而決定 的所述第一小數(shù)像素位置的小數(shù)像素的像素值。
11.如權(quán)利要求7所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述濾波系數(shù)決定步驟中，按照每個小數(shù)像素位置，來決定針對該小數(shù)像素位置所特有的二維自 適應(yīng)內(nèi)插濾波器的濾波系數(shù)； 在所述運(yùn)動補(bǔ)償步驟中，在算出被內(nèi)插在規(guī)定的小數(shù)像素位置的小數(shù)像素的像素值之時，將針 對所述規(guī)定的小數(shù)像素位置而決定的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)適 用于該規(guī)定的小數(shù)像素位置。
12.如權(quán)利要求l l所述的運(yùn)動圖像壓縮方法，其特征在于， 所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第一方向是指水 平方向以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于在第二方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第二方向是指與 所述第一方向不同的水平方向或垂直方向；在所述濾波系數(shù)決定步驟中，針對在所述第一方向上為小數(shù)像素位置且在第二方向上為整數(shù)像素位 置的第一小數(shù)像素位置，決定所述第一一維內(nèi)插濾波器的濾波系數(shù)； 在所述運(yùn)動補(bǔ)償步驟中，通過僅將所述第一一維內(nèi)插濾波器的濾波系數(shù)適用于所述第一小數(shù)像 素位置，從而算出被內(nèi)插于所述第一小數(shù)像素位置的小數(shù)像素的像素值。
13.如權(quán)利要求l l所述的運(yùn)動圖像壓縮方法，其特征在于， 所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第一方向是指水 平方向以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于在第二方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第二方向是指與所述第一方向不同的水平方向或垂直方向； 在所述濾波系數(shù)決定步驟中，針對在所述第一方向上為整數(shù)像素位置且在第二方向上為小數(shù)像素位 置的第二小數(shù)像素位置，決定所述第二一維內(nèi)插濾波器的濾波系數(shù)； 在所述運(yùn)動補(bǔ)償步驟中，通過僅將所述第二一維內(nèi)插濾波器的濾波系數(shù)適用于所述第二小數(shù)像 素位置，從而算出被內(nèi)插于所述第二小數(shù)像素位置的小數(shù)像素的像素值。
14.如權(quán)利要求l l所述的運(yùn)動圖像壓縮方法，其特征在于， 所述二維自適應(yīng)內(nèi)插濾波器能夠被分離成第一一維內(nèi)插濾波器，用于算出被內(nèi)插于在第一方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第一方向是指水 平方向以及垂直方向的某一方向，以及第二一維內(nèi)插濾波器，用于算出被內(nèi)插于在第二方向上被排列成一維 的多個像素間的小數(shù)像素位置的小數(shù)像素的像素值，所述第二方向是指與 所述第一方向不同的水平方向或垂直方向；在所述濾波系數(shù)決定步驟中，針對第三小數(shù)像素位置決定所述第二一維內(nèi)插濾波器的濾波系數(shù)，針 對其他的小數(shù)像素位置決定所述第一一維內(nèi)插濾波器的濾波系數(shù)，所述第 三小數(shù)像素位置是指在所述第一方向上為小數(shù)像素位置且在第二方向上為 小數(shù)像素位置；在所述運(yùn)動補(bǔ)償步驟中，通過將所述第一一維內(nèi)插濾波器的濾波系數(shù)適用于所述其他的小數(shù)像 素位置，并將所述第二一維內(nèi)插濾波器的濾波系數(shù)適用于所述第三小數(shù)像 素位置，從而算出被內(nèi)插于所述第三小數(shù)像素位置的小數(shù)像素的像素值。
15.如權(quán)利要求7所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述濾波系數(shù)決定步驟中，在按照每個小數(shù)像素位置決定針對該小數(shù)像素位置的濾波系數(shù)之時， 針對在水平方向上或垂直方向上與規(guī)定的小數(shù)像素位置對稱的位置上的其他小數(shù)像素位置，決定與針對所述規(guī)定的小數(shù)像素位置而決定的濾波系數(shù)相同的濾波系數(shù)。
16.如權(quán)利要求7所述的運(yùn)動圖像壓縮方法，其特征在于， 針對小數(shù)像素位置的所述二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，由針對 下述多個像素的每一個像素的系數(shù)構(gòu)成，這些多個像素是指，被排列成在 水平方向或垂直方向上夾著所述小數(shù)像素位置的多個像素； 在所述濾波系數(shù)決定步驟中，在決定針對所述小數(shù)像素位置的濾波系數(shù)之時，決定所述濾波系數(shù)， 以使在所述多個像素中，針對規(guī)定的像素的系數(shù)和針對其他的像素的系數(shù) 相同，所述其他的像素是指在以所述小數(shù)像素位置為中心，在水平方向或 垂直方向上與所述規(guī)定的像素對稱位置上的像素。
17.如權(quán)利要求l 6所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述濾波系數(shù)決定步驟中，決定針對所述小數(shù)像素位置的濾波系數(shù)，以使針對所述多個像素的每 一個像素的系數(shù)在水平方向或垂直方向上成為對稱。
18.如權(quán)利要求7所述的運(yùn)動圖像壓縮方法，其特征在于， 在所述濾波系數(shù)決定步驟中，將圖片、構(gòu)成圖片的切片、或包括多個圖片的序列作為濾波決定單位， 并按照每個所述濾波決定單位，來決定針對該濾波決定單位中所包含的所 述小數(shù)像素位置的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)。
19. 一種二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定裝置，根據(jù)被排列 成二維的整數(shù)像素的像素值，決定用于算出被內(nèi)插在整數(shù)像素之間的小數(shù) 像素的像素值的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，其特征在于，包括運(yùn)動檢測單元，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測該塊的圖像相對于參考圖像的運(yùn)動，以作為運(yùn)動矢量；確定單元，從具有由所述運(yùn)動檢測單元檢測出的小數(shù)像素精度的運(yùn)動 矢量的多個塊中，確定具有運(yùn)動矢量的一個以上的塊，該運(yùn)動矢量表示與 鄰近的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的所述參考圖像上的小 數(shù)像素位置；以及決定單元，根據(jù)在所述確定單元確定的對象圖片的一個以上的塊的圖 像，和由所述一個以上的塊的運(yùn)動矢量表示的參考圖像上的一個以上的塊 的圖像，來決定所述小數(shù)像素位置的濾波系數(shù)。
20. —種程序，用于根據(jù)被排列成二維的整數(shù)像素的像素值來決定 二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)，該二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù) 用于算出被內(nèi)插在整數(shù)像素之間的小數(shù)像素的像素值，其特征在于，使計 算機(jī)執(zhí)行以下步驟-運(yùn)動檢測步驟，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測 該塊的圖像相對于參考圖像的運(yùn)動，以作為運(yùn)動矢量；確定步驟，從具有由所述運(yùn)動檢測步驟檢測出的小數(shù)像素精度的運(yùn)動 矢量的多個塊中，確定具有運(yùn)動矢量的一個以上的塊，該運(yùn)動矢量表示與 鄰近的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的所述參考圖像上的小 數(shù)像素位置；以及決定步驟，根據(jù)在所述確定步驟確定的一個以上的塊的圖像，和由所 述一個以上的塊的運(yùn)動矢量表示的參考圖像上的一個以上的塊的圖像，來 決定所述小數(shù)像素位置的濾波系數(shù)。
21. —種集成電路，根據(jù)被排列成二維的整數(shù)像素的像素值，決定 用于算出被內(nèi)插在整數(shù)像素之間的小數(shù)像素的像素值的二維自適應(yīng)內(nèi)插濾 波器的濾波系數(shù)，其特征在于，包括運(yùn)動檢測單元，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測 該塊的圖像相對于參考圖像的運(yùn)動，以作為運(yùn)動矢量；確定單元，從具有由所述運(yùn)動檢測單元檢測出的小數(shù)像素精度的運(yùn)動 矢量的多個塊中，確定具有運(yùn)動矢量的一個以上的塊，該運(yùn)動矢量表示與鄰近的整數(shù)像素之間具有預(yù)先規(guī)定的相對位置關(guān)系的所述參考圖像上的小數(shù)像素位置；以及決定單元，根據(jù)在所述確定單元確定的對象圖片的一個以上的塊的圖 像，和由所述一個以上的塊的運(yùn)動矢量表示的參考圖像上的一個以上的塊 的圖像，來決定所述小數(shù)像素位置的濾波系數(shù)。
全文摘要
能夠以較少的計算量高效率地決定恰當(dāng)?shù)臑V波系數(shù)的二維自適應(yīng)內(nèi)插濾波器的濾波系數(shù)決定方法包括運(yùn)動檢測步驟(S100)，以構(gòu)成對象圖片的塊為單位，以小數(shù)像素精度來檢測該塊的圖像相對于參考圖片的運(yùn)動，以作為運(yùn)動矢量；確定步驟(S102)，從具有被檢測出小數(shù)像素精度的運(yùn)動矢量的多個塊中，確定具有表示參考圖片上的小數(shù)像素位置(p，q)的運(yùn)動矢量的一個以上的塊；以及決定步驟(S104)，根據(jù)在所述確定步驟確定的一個以上的塊的圖像，和由所述一個以上的塊的第一運(yùn)動矢量表示的參考圖片上的一個以上的塊的圖像，來決定小數(shù)像素位置(p，q)的濾波系數(shù)。
文檔編號H04N7/32GK101663898SQ200880012528
公開日2010年3月3日 申請日期2008年4月18日 優(yōu)先權(quán)日2007年4月19日
發(fā)明者S·維特曼, T·韋丁 申請人:松下電器產(chǎn)業(yè)株式會社