圖像預(yù)測(cè)解碼裝置、方法、以及編碼/解碼系統(tǒng)和方法
【專(zhuān)利說(shuō)明】圖像預(yù)測(cè)解碼裝置、方法、以及編碼/解碼系統(tǒng)和方法
[0001]本申請(qǐng)是申請(qǐng)日為2009年12月25日，申請(qǐng)?zhí)枮?00980147613.5，發(fā)明名稱(chēng)為“圖像預(yù)測(cè)編碼裝置、方法和程序、圖像預(yù)測(cè)解碼裝置、方法和程序、以及編碼/解碼系統(tǒng)和方法”的發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及圖像預(yù)測(cè)編碼裝置、方法和程序、圖像預(yù)測(cè)解碼裝置、方法和程序、以及編碼/解碼系統(tǒng)和方法，特別涉及伴有畫(huà)面內(nèi)預(yù)測(cè)的圖像預(yù)測(cè)編碼/解碼。
【背景技術(shù)】
[0003]為了高效地進(jìn)行靜態(tài)圖像數(shù)據(jù)和動(dòng)態(tài)圖像數(shù)據(jù)的傳送和蓄積，使用壓縮編碼技術(shù)。在動(dòng)態(tài)圖像的情況下，廣泛使用MPEGl?4或H.261?H.264的方式。
[0004]在這些編碼方式中，在將作為編碼對(duì)象的圖像分割成多個(gè)塊之后，進(jìn)行編碼/解碼處理。在MPEG4或H.264中，為了進(jìn)一步提高編碼效率，在畫(huà)面內(nèi)的預(yù)測(cè)編碼中，使用位于與對(duì)象塊相同的畫(huà)面內(nèi)的鄰接的已再現(xiàn)的圖像信號(hào)(對(duì)被壓縮的圖像數(shù)據(jù)進(jìn)行復(fù)原后的圖像信號(hào))生成預(yù)測(cè)信號(hào)后，對(duì)從對(duì)象塊的圖像信號(hào)中減去預(yù)測(cè)信號(hào)而得到的殘差信號(hào)進(jìn)行編碼。在畫(huà)面間的預(yù)測(cè)編碼中，參照位于與對(duì)象塊不同的畫(huà)面內(nèi)的鄰接的已再現(xiàn)的圖像信號(hào)，進(jìn)行運(yùn)動(dòng)的校正，生成預(yù)測(cè)信號(hào)，對(duì)從對(duì)象塊的圖像信號(hào)中減去預(yù)測(cè)信號(hào)而得到的殘差?目號(hào)進(jìn)行編碼。
[0005]具體而言，在H.264的畫(huà)面內(nèi)預(yù)測(cè)編碼中，采用了在規(guī)定方向插值與作為編碼對(duì)象的塊鄰接的已再現(xiàn)的像素值來(lái)生成預(yù)測(cè)信號(hào)的方法。圖15是用于說(shuō)明在H.264中使用的畫(huà)面內(nèi)預(yù)測(cè)方法的示意圖。在圖15㈧中，塊1302是對(duì)象塊，由與該對(duì)象塊的邊界鄰接的像素A?M(鄰接像素1301)構(gòu)成的像素組是鄰接區(qū)域，是在過(guò)去的處理中已再現(xiàn)的圖像信號(hào)。該情況下，向下方拉伸鄰接像素1301中的位于對(duì)象塊1302正上方的已再現(xiàn)像素A?D來(lái)生成預(yù)測(cè)信號(hào)。并且，在圖15(B)中，向右拉伸鄰接像素1303中的位于對(duì)象塊1304左側(cè)的已再現(xiàn)像素I?L來(lái)生成預(yù)測(cè)信號(hào)。生成預(yù)測(cè)信號(hào)的具體方法例如記載于專(zhuān)利文獻(xiàn)I中。這樣，對(duì)利用圖15(A)?圖15(1)所示的方法生成的9個(gè)預(yù)測(cè)信號(hào)，分別取得與對(duì)象塊的像素信號(hào)之間的差分，將差分值最小的預(yù)測(cè)方法作為最佳預(yù)測(cè)方法。這些插值方法能夠如圖16那樣總結(jié)。圖16的箭頭表示拉伸已再現(xiàn)像素的方向，在各方向中記載的編號(hào)是各自的識(shí)別編號(hào)(也稱(chēng)為“預(yù)測(cè)模式”)。另外，在通過(guò)周邊的已再現(xiàn)像素的平均來(lái)生成預(yù)測(cè)信號(hào)的方法中，如圖15(C)所示，賦予識(shí)別編號(hào)“2”，在圖16中示出“DC”。即，圖16示出沒(méi)有拉伸已再現(xiàn)像素的方向識(shí)別編號(hào)“2”的方法(通過(guò)周邊的已再現(xiàn)像素的平均來(lái)生成預(yù)測(cè)信號(hào)的方法)、以及通過(guò)箭頭示出拉伸已再現(xiàn)像素的方向的8個(gè)方法，示出合計(jì)9個(gè)方法。
[0006]專(zhuān)利文獻(xiàn)1:美國(guó)專(zhuān)利公報(bào)第6765964號(hào)
[0007]但是，在現(xiàn)有技術(shù)的畫(huà)面內(nèi)預(yù)測(cè)信號(hào)生成方法中，將正方形的塊作為對(duì)象，所以，存在針對(duì)與已再現(xiàn)像素的某個(gè)邊界分開(kāi)較遠(yuǎn)的像素的預(yù)測(cè)精度降低的課題。例如，使用圖15(A)，考慮影像的信號(hào)在垂直方向稍微變化的情況。該情況下，關(guān)于對(duì)象塊1302中位于上方的像素(例如位于鄰接像素I的右側(cè)的像素)，即使利用鄰接像素A?D近似，誤差也很小，但是，關(guān)于對(duì)象塊1302中位于下方的像素(例如位于鄰接像素L的右側(cè)的像素)，由于與鄰接像素A?D較遠(yuǎn)，所以，當(dāng)利用鄰接像素A?D近似時(shí)，誤差較大。其結(jié)果，編碼量增加，壓縮的效率降低。圖15(A)以外的預(yù)測(cè)方法也示出同樣的傾向。

【發(fā)明內(nèi)容】

[0008]因此，本發(fā)明的目的在于，解決上述課題，提高針對(duì)與對(duì)象塊的邊界分開(kāi)較遠(yuǎn)的像素的預(yù)測(cè)精度，提高編碼效率。
[0009]為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像預(yù)測(cè)編碼裝置的特征在于，具有:區(qū)域分割單元，其將輸入圖像分割為多個(gè)塊；預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成單元，其生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào)；信號(hào)編碼單元，其對(duì)所述殘差信號(hào)進(jìn)行編碼，從而生成壓縮信號(hào)；以及存儲(chǔ)單元，其對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原，存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào)，所述預(yù)測(cè)信號(hào)生成單元將所述對(duì)象塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0010]另外，在上述圖像預(yù)測(cè)編碼裝置中，優(yōu)選構(gòu)成為，所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0011]并且，在上述圖像預(yù)測(cè)編碼裝置中，優(yōu)選構(gòu)成為，所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰，所述第2邊不與已再現(xiàn)的像素相鄰，所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0012]并且，在上述圖像預(yù)測(cè)編碼裝置中，優(yōu)選構(gòu)成為，所述信號(hào)編碼單元對(duì)表示所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息進(jìn)行編碼，將通過(guò)該編碼而得到的信號(hào)與所述壓縮信號(hào)一起輸出。
[0013]為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像預(yù)測(cè)解碼裝置的特征在于，具有:輸入單元，其其輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù)，其中，該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊，進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)，對(duì)所述小區(qū)域所包含的像素信號(hào)進(jìn)行預(yù)測(cè)編碼，該預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息表示所述預(yù)測(cè)編碼中的所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法；復(fù)原單元，其從所述壓縮圖像數(shù)據(jù)中提取所述小區(qū)域的殘差信號(hào)，將其復(fù)原為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成單元，其從所述壓縮圖像數(shù)據(jù)中提取所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息生成所述小區(qū)域的預(yù)測(cè)信號(hào)；圖像復(fù)原單元，其將所述小區(qū)域的所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，從而復(fù)原所述小區(qū)域的像素信號(hào)；以及存儲(chǔ)單元，其存儲(chǔ)所述復(fù)原后的像素信號(hào)作為再現(xiàn)像素信號(hào)，所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0014]另外，在上述圖像預(yù)測(cè)解碼裝置中，優(yōu)選構(gòu)成為，所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰，所述第2邊不與已再現(xiàn)的像素相鄰。
[0015]并且，在上述圖像預(yù)測(cè)解碼裝置中，優(yōu)選構(gòu)成為，所述預(yù)測(cè)信號(hào)生成單元由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀，與所確定的小區(qū)域的形狀相應(yīng)地根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，生成所述小區(qū)域的預(yù)測(cè)信號(hào)。
[0016]并且，在上述圖像預(yù)測(cè)解碼裝置中，優(yōu)選構(gòu)成為，所述復(fù)原單元由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀，與所確定的小區(qū)域的形狀相應(yīng)地進(jìn)行逆量化和逆頻率轉(zhuǎn)換，從而將所述小區(qū)域的殘差信號(hào)復(fù)原為所述再現(xiàn)殘差信號(hào)。
[0017]但是，上述圖像預(yù)測(cè)編碼裝置的發(fā)明還能夠記載為圖像預(yù)測(cè)編碼方法的發(fā)明和圖像預(yù)測(cè)編碼程序的發(fā)明，能夠如下所述來(lái)記載。
[0018]本發(fā)明的圖像預(yù)測(cè)編碼方法由圖像預(yù)測(cè)編碼裝置執(zhí)行，該圖像預(yù)測(cè)編碼方法的特征在于，該圖像預(yù)測(cè)編碼方法具有以下步驟:區(qū)域分割步驟，將輸入圖像分割為多個(gè)塊；預(yù)測(cè)信號(hào)生成步驟，針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成步驟，生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào)；信號(hào)編碼步驟，對(duì)所述殘差信號(hào)進(jìn)行編碼，從而生成壓縮信號(hào)；以及存儲(chǔ)步驟，對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原，存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào)，在所述預(yù)測(cè)信號(hào)生成步驟中，將所述對(duì)象塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0019]另外，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0020]并且，優(yōu)選所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰，所述第2邊不與已再現(xiàn)的像素相鄰，在所述預(yù)測(cè)信號(hào)生成步驟中，使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0021]并且，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，對(duì)表示所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息進(jìn)行編碼，將通過(guò)該編碼而得到的信號(hào)與所述壓縮信號(hào)一起輸出。
[0022]本發(fā)明的圖像預(yù)測(cè)編碼程序的特征在于，該圖像預(yù)測(cè)編碼程序使計(jì)算機(jī)作為以下單元進(jìn)行工作:區(qū)域分割單元，其將輸入圖像分割為多個(gè)塊；預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成單元，其生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào)；信號(hào)編碼單元，其對(duì)所述殘差信號(hào)進(jìn)行編碼，從而生成壓縮信號(hào)；以及存儲(chǔ)單元，其對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原，存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào)，所述預(yù)測(cè)信號(hào)生成單元將所述對(duì)象塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0023]另一方面，上述圖像預(yù)測(cè)解碼裝置的發(fā)明還能夠記載為圖像預(yù)測(cè)解碼方法的發(fā)明和圖像預(yù)測(cè)解碼程序的發(fā)明，能夠如下所述來(lái)記載。
[0024]本發(fā)明的圖像預(yù)測(cè)解碼方法由圖像預(yù)測(cè)解碼裝置執(zhí)行，該圖像預(yù)測(cè)解碼方法的特征在于，該圖像預(yù)測(cè)解碼方法具有以下步驟:輸入步驟，輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù)，其中，該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊，進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)，對(duì)所述小區(qū)域所包含的像素信號(hào)進(jìn)行預(yù)測(cè)編碼，該預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息表示所述預(yù)測(cè)編碼中的所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法；復(fù)原步驟，從所述壓縮圖像數(shù)據(jù)中提取所述小區(qū)域的殘差信號(hào)，將其復(fù)原為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成步驟，從所述壓縮圖像數(shù)據(jù)中提取所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息生成所述小區(qū)域的預(yù)測(cè)信號(hào)；圖像復(fù)原步驟，將所述小區(qū)域的所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，從而復(fù)原所述小區(qū)域的像素信號(hào)；以及存儲(chǔ)步驟，存儲(chǔ)所述復(fù)原后的像素信號(hào)作為再現(xiàn)像素信號(hào)，在所述預(yù)測(cè)信號(hào)生成步驟中，使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào)，生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0025]另外，優(yōu)選所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰，所述第2邊不與已再現(xiàn)的像素相鄰。
[0026]并且，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀，與所確定的小區(qū)域的形狀相應(yīng)地根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，生成所述小區(qū)域的預(yù)測(cè)信號(hào)。
[0027]并且，優(yōu)選在所述復(fù)原步驟中，由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀，與所確定的小區(qū)域的形狀相應(yīng)地進(jìn)行逆量化和逆頻率轉(zhuǎn)換，從而將所述小區(qū)域的殘差信號(hào)復(fù)原為所述再現(xiàn)殘差信號(hào)。
[0028]本發(fā)明的圖像預(yù)測(cè)解碼程序的特征在于，該圖像預(yù)測(cè)解碼程序使計(jì)算機(jī)作為以下單元進(jìn)行工作:輸入單元，其輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù)，其中，該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊，進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域，所述小區(qū)域中的至少一個(gè)為非正方形，所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比