圖像編碼方法及圖像編碼裝置的制造方法
【專利摘要】一種圖像編碼方法，按照每個(gè)塊對(duì)輸入圖像進(jìn)行編碼來(lái)生成圖像編碼信號(hào)，該圖像編碼方法包括：預(yù)測(cè)步驟，按照將處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處理，由此生成所述處理對(duì)象塊的預(yù)測(cè)圖像；邊界濾波步驟，在所述預(yù)測(cè)圖像中，在變換單位的邊界和所述預(yù)測(cè)單位的邊界不一致時(shí)，進(jìn)行針對(duì)所述預(yù)測(cè)單位的邊界之中位于所述變換單位內(nèi)的邊界的濾波處理，所述變換單位是將處理對(duì)象塊進(jìn)行分割得到的區(qū)域并且是頻率變換處理的處理單位；以及差分步驟，通過(guò)計(jì)算所述濾波處理后的預(yù)測(cè)圖像與所述輸入圖像的差分，生成所述處理對(duì)象塊的差分圖像。
【專利說(shuō)明】
圖像編碼方法及圖像編碼裝置
[0001] 本申請(qǐng)是申請(qǐng)日為2011年4月12日、申請(qǐng)?zhí)枮?01180018525.2、名稱為"圖像編碼 方法和圖像解碼方法"的中國(guó)專利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及通過(guò)對(duì)輸入圖像與預(yù)測(cè)圖像的差分信號(hào)進(jìn)行頻率變換及量化，將動(dòng)態(tài) 圖像信號(hào)進(jìn)行壓縮編碼的圖像編碼方法，W及對(duì)運(yùn)樣被壓縮編碼后的動(dòng)態(tài)圖像信號(hào)進(jìn)行解 碼的圖像解碼方法。
【背景技術(shù)】
[0003] 在W被稱為H.26X的ITU-T標(biāo)準(zhǔn)或被稱為MPEG-X的IS0/IEC標(biāo)準(zhǔn)為代表的現(xiàn)有的 圖像編碼方法中，按照預(yù)先確定的單位來(lái)分割畫(huà)面，并按照該分割單位進(jìn)行編碼。例如，在 H.264/MPEG-4AVC方式(例如，參照非專利文獻(xiàn)1)中，按照被稱為宏塊的水平16像素、垂直 16像素的單位對(duì)畫(huà)面（圖片:pic化re)進(jìn)行處理。并且，在進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，將宏塊分 割為塊(最小為水平4像素、垂直4像素），按每個(gè)塊使用不同的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并對(duì) 與原信號(hào)之間的差分信號(hào)進(jìn)行頻率變換，將差分信號(hào)集中在低頻區(qū)域中并進(jìn)行量化，由此 能夠?qū)⑿畔嚎s。通常，關(guān)于變換塊的大小，較大者能夠有效利用相關(guān)性，從運(yùn)一點(diǎn)講比較 有利。
[0004] 【現(xiàn)有技術(shù)文獻(xiàn)】
[0005] 【非專利文獻(xiàn)】
[0006] 【非專利文獻(xiàn) 1】IS0/IEC 14496-10''MPEG-4I^d IOAdvanced Video Coding" 發(fā)明概要
[0007] 發(fā)明要解決的問(wèn)題
[000引但是，在上述現(xiàn)有的方式中，在宏塊內(nèi)又分割為小塊，對(duì)該每個(gè)小塊進(jìn)行運(yùn)動(dòng)補(bǔ) 償。并且，按被分割后的每個(gè)小塊進(jìn)行頻率變換。具體地講，例如在將宏塊分割為水平4像 素、垂直4像素單位的小塊的情況下，運(yùn)動(dòng)補(bǔ)償及頻率變換均是按照水平4像素、垂直4像素 的單位進(jìn)行的。在運(yùn)種情況下，只能利用受限制的空間內(nèi)的相關(guān)關(guān)系，很難通過(guò)頻率變換將 差分信號(hào)集中在低頻區(qū)域中。因此，通過(guò)量化來(lái)削減信息的效率下降，其結(jié)果是存在導(dǎo)致編 碼效率的下降的問(wèn)題。
[0009]另一方面，在使頻率變換的塊尺寸大于運(yùn)動(dòng)補(bǔ)償?shù)膲K尺寸的情況下，在頻率變換 的塊中包含運(yùn)動(dòng)補(bǔ)償?shù)膲K的邊界。在運(yùn)種情況下，在運(yùn)動(dòng)補(bǔ)償塊的邊界處有時(shí)產(chǎn)生睹峻的 邊緣，因而很難通過(guò)頻率變換將差分信號(hào)集中在低頻區(qū)域中。因此，與前述相同地，通過(guò)量 化來(lái)削減信息的效率下降，其結(jié)果是存在導(dǎo)致編碼效率的下降的問(wèn)題。

【發(fā)明內(nèi)容】

[0010]
[0011] 本發(fā)明正是為了解決上述問(wèn)題而提出的，其目的在于，提供一種圖像編碼方法及 圖像編碼裝置，在按照將處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處 理來(lái)生成處理對(duì)象塊的預(yù)測(cè)圖像的情況下，能夠提高編碼效率。
[0012] 用于解決問(wèn)題的手段
[0013] 為了解決上述問(wèn)題，本發(fā)明的一個(gè)方式的圖像編碼方法，按照每個(gè)塊對(duì)輸入圖像 進(jìn)行編碼來(lái)生成圖像編碼信號(hào)，其特征在于，該圖像編碼方法包括:預(yù)測(cè)步驟，按照將處理 對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處理，由此生成所述處理對(duì)象塊 的預(yù)測(cè)圖像;邊界濾波步驟，在所述預(yù)測(cè)圖像中，在變換單位的邊界和所述預(yù)測(cè)單位的邊界 不一致時(shí)，進(jìn)行針對(duì)所述預(yù)測(cè)單位的邊界之中位于所述變換單位內(nèi)的邊界的濾波處理，所 述變換單位是將處理對(duì)象塊進(jìn)行分割得到的區(qū)域并且是頻率變換處理的處理單位；W及差 分步驟，通過(guò)計(jì)算所述濾波處理后的預(yù)測(cè)圖像與所述輸入圖像的差分，生成所述處理對(duì)象 塊的差分圖像。
[0014] 運(yùn)樣，即使是預(yù)測(cè)單位的邊界位于變換單位內(nèi)，也能夠?qū)υ撨吔邕M(jìn)行濾波處理。由 此，能夠使在預(yù)測(cè)單位的邊界處產(chǎn)生的像素值的急劇變化變平滑，能夠減小輸入圖像與預(yù) 測(cè)圖像的差分圖像的值。并且，不需要像現(xiàn)有技術(shù)那樣減小變換單位來(lái)使預(yù)測(cè)單位的邊界 不位于變換單位內(nèi)，因而即使是在預(yù)測(cè)單位較小的情況下，也能夠增大變換單位。其結(jié)果 是，能夠大幅削減編碼量，能夠提高編碼效率。
[0015] 并且，為了解決上述問(wèn)題，本發(fā)明的一個(gè)方式的圖像解碼方法，對(duì)按照每個(gè)塊將圖 像進(jìn)行編碼得到的圖像編碼信號(hào)進(jìn)行解碼，該圖像解碼方法包括:逆變換步驟，按照將處理 對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成所述處理 對(duì)象塊的解碼差分圖像;預(yù)測(cè)步驟，按照將所述處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每 個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處理，由此生成所述處理對(duì)象塊的預(yù)測(cè)圖像;比較步驟，將所述變換單 位和所述預(yù)測(cè)單位進(jìn)行比較，由此檢測(cè)所述預(yù)測(cè)單位的邊界之中位于所述變換單位內(nèi)的邊 界;邊界濾波步驟，在所生成的所述預(yù)測(cè)圖像中，進(jìn)行針對(duì)所檢測(cè)到的所述邊界的濾波處 理；W及相加步驟，將所述濾波處理后的預(yù)測(cè)圖像和所述解碼差分圖像相加，由此生成所述 處理對(duì)象塊的解碼圖像。
[0016] 由此，能夠?qū)蒙鲜鰣D像編碼方法進(jìn)行編碼得到的圖像編碼信號(hào)進(jìn)行解碼。
[0017] 另外，也可W是，本發(fā)明W具有處理部的圖像編碼裝置來(lái)實(shí)現(xiàn)，該處理部執(zhí)行上述 圖像編碼方法中包含的各個(gè)步驟的處理。并且，也可W是，本發(fā)明W具有處理部的圖像解碼 裝置來(lái)實(shí)現(xiàn)，該處理部執(zhí)行上述圖像解碼方法中包含的各個(gè)步驟的處理。
[0018] 發(fā)明效果
[0019] 根據(jù)本發(fā)明，通過(guò)對(duì)位于變換單位內(nèi)的預(yù)測(cè)單位的邊界進(jìn)行濾波處理，能夠提高 編碼效率。
【附圖說(shuō)明】
[0020] 圖IA是表示本發(fā)明的實(shí)施方式1的圖像編碼裝置的功能結(jié)構(gòu)的框圖。
[0021] 圖IB是表示本發(fā)明的實(shí)施方式1的圖像編碼方法的特征性處理流程的流程圖。
[0022] 圖2是表示處理對(duì)象塊的分割方法的一例的圖。
[0023] 圖3是用于說(shuō)明運(yùn)動(dòng)補(bǔ)償?shù)氖疽鈭D。
[0024] 圖4是表示本發(fā)明的實(shí)施方式1的邊界濾波處理的流程的流程圖。
[0025] 圖5是表示與分割方法對(duì)應(yīng)的變換單位的一例的圖。
[00%]圖6是用于說(shuō)明處理對(duì)象邊界的圖。
[0027] 圖7是用于說(shuō)明包括處理對(duì)象邊界的圖像的特征的示意圖。
[0028] 圖8是用于說(shuō)明濾波處理的圖。
[0029] 圖9A是表示本發(fā)明的實(shí)施方式2的圖像解碼裝置的功能結(jié)構(gòu)的框圖。
[0030] 圖9B是表示本發(fā)明的實(shí)施方式2的圖像解碼方法的特征性處理流程的流程圖。
[0031] 圖10是表示本發(fā)明的實(shí)施方式2的邊界濾波處理的流程的流程圖。
[0032] 圖11是表示本發(fā)明的實(shí)施方式3的濾波對(duì)象像素的確定方法的處理流程的流程 圖。
[0033] 圖12是用于說(shuō)明本發(fā)明的實(shí)施方式4的濾波處理的一例的示意圖。
[0034] 圖13是表示本發(fā)明的實(shí)施方式5的圖像編碼裝置的功能結(jié)構(gòu)的框圖。
[0035] 圖14是表示本發(fā)明的實(shí)施方式5的邊界濾波部的動(dòng)作的流程圖。
[0036] 圖15是表示針對(duì)分割方法的變換單位的變換尺寸候選的一例的示意圖。
[0037] 圖16是表示變換尺寸的確定方法的處理流程的流程圖。
[0038] 圖17是表示本發(fā)明的實(shí)施方式6的圖像解碼裝置的功能結(jié)構(gòu)的框圖。
[0039] 圖18是表示本發(fā)明的實(shí)施方式6的濾波信息解碼處理的流程的流程圖。
[0040] 圖19是表示濾波信息中包含變換單位的信息時(shí)的解碼處理的流程的流程圖。
[0041] 圖20是表示本發(fā)明的實(shí)施方式7的圖像編碼方法的編碼序列的結(jié)構(gòu)圖。
[0042] 圖21是用于說(shuō)明濾波信息在編碼序列中的記述方法的一例的示意圖。
[0043] 圖22是表示本發(fā)明的實(shí)施方式8的圖像編碼裝置的功能結(jié)構(gòu)的框圖。
[0044] 圖23是表示本發(fā)明的實(shí)施方式9的圖像解碼裝置的功能結(jié)構(gòu)的框圖。
[0045] 圖24是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0046] 圖25是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0047] 圖26是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。
[0048] 圖27是表示對(duì)作為光盤(pán)的記錄介質(zhì)進(jìn)行信息的讀寫(xiě)的信息再現(xiàn)/記錄部的結(jié)構(gòu) 例的模塊圖。
[0049] 圖28是表示作為光盤(pán)的記錄介質(zhì)的構(gòu)造例的圖。
[0050] 圖29是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0051] 圖30是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0052] 圖31是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。
[0053] 圖32是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0054] 圖33是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0055] 圖34是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0056] 圖35是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0057] 圖36是表示識(shí)別影像數(shù)據(jù)的步驟的圖。
[0058] 圖37是表示實(shí)現(xiàn)各實(shí)施方式的動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法的集成電 路的結(jié)構(gòu)例的模塊圖。
[0059] 圖38是表示切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。
[0060] 圖39是表示識(shí)別影像數(shù)據(jù)、切換驅(qū)動(dòng)頻率的步驟的圖。
[0061] 圖40是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立了對(duì)應(yīng)的查找表的一例的圖。
[0062] 圖41(a)是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0063] 圖41(b)是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實(shí)施方式】
[0064] (實(shí)施方式1)
[0065] 圖IA是表示本發(fā)明的實(shí)施方式1的圖像編碼裝置100的功能結(jié)構(gòu)的框圖。圖像編碼 裝置100按照每個(gè)塊對(duì)輸入圖像進(jìn)行編碼，并生成圖像編碼信號(hào)。
[0066] 如圖IA所示，圖像編碼裝置100具有帖存儲(chǔ)器101、運(yùn)動(dòng)檢測(cè)部102、參照?qǐng)D片用存 儲(chǔ)器103、編碼控制部104、邊界濾波部105、差分部106、變換部107、量化部108、可變長(zhǎng)編碼 部109、逆量化部110、逆變換部111、加法部112。
[0067] 帖存儲(chǔ)器101保存輸入圖像。并且，參照?qǐng)D片用存儲(chǔ)器103保存重建圖像。另外，帖 存儲(chǔ)器101和參照?qǐng)D片用存儲(chǔ)器103也可W是與圖像編碼裝置100連接的外部存儲(chǔ)器。即， 圖像編碼裝置100不一定具有帖存儲(chǔ)器101和參照?qǐng)D片用存儲(chǔ)器103。并且，圖像編碼裝置 100也不需要將帖存儲(chǔ)器101和參照?qǐng)D片用存儲(chǔ)器103分別設(shè)為獨(dú)立的存儲(chǔ)器，例如，也可W 是W共用一個(gè)存儲(chǔ)器的形式來(lái)構(gòu)成帖存儲(chǔ)器101和參照?qǐng)D片用存儲(chǔ)器103。
[0068] 運(yùn)動(dòng)檢測(cè)部102針對(duì)每個(gè)預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)估計(jì)，由此檢測(cè)每個(gè)預(yù)測(cè)單位的運(yùn)動(dòng) 矢量MV。其中，預(yù)測(cè)單位是指將處理對(duì)象塊進(jìn)行分割得到的區(qū)域，即預(yù)測(cè)處理的處理單位。 所檢測(cè)到的運(yùn)動(dòng)矢量MV被輸出給編碼控制部104和可變長(zhǎng)編碼部109。
[0069] 編碼控制部104根據(jù)所檢測(cè)到的運(yùn)動(dòng)矢量，按照每個(gè)預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此 生成處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè)圖像。具體地講，編碼控制部104首先按照每個(gè)預(yù) 測(cè)單位，根據(jù)該預(yù)測(cè)單位的運(yùn)動(dòng)矢量從參照?qǐng)D片用存儲(chǔ)器讀出參照?qǐng)D像。并且，編碼控制部 104將所讀出的各個(gè)預(yù)測(cè)單位的參照?qǐng)D像進(jìn)行合成，由此生成運(yùn)動(dòng)補(bǔ)償圖像。
[0070] 運(yùn)樣，由運(yùn)動(dòng)檢測(cè)部102和編碼控制部104生成預(yù)測(cè)圖像。即，運(yùn)動(dòng)檢測(cè)部102和編 碼控制部104按照每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處理，由此生成處理對(duì)象塊的預(yù)測(cè)圖像。
[0071] 并且，編碼控制部104將所生成的預(yù)測(cè)圖像(運(yùn)動(dòng)補(bǔ)償圖像)MC輸出給邊界濾波部 105。另外，編碼控制部104生成用于將處理對(duì)象塊進(jìn)行分割來(lái)得到預(yù)測(cè)單位的分割方法1C， 并輸出給可變長(zhǎng)編碼部109。
[0072] 邊界濾波部105將變換單位和預(yù)測(cè)單位進(jìn)行比較，由此檢測(cè)預(yù)測(cè)單位的邊界之中 位于變換單位內(nèi)的邊界。并且，邊界濾波部105在所生成的預(yù)測(cè)圖像中進(jìn)行針對(duì)所檢測(cè)到的 邊界的濾波處理。
[0073] 其中，變換單位是指將處理對(duì)象塊進(jìn)行分割得到的區(qū)域，也是頻率變換處理的處 理單位。另外，針對(duì)邊界的濾波處理是指修正邊界附近的像素的像素值的處理，W便使與邊 界垂直的方向上的像素值的變化變平滑。
[0074] 另外，優(yōu)選邊界濾波部105不進(jìn)行針對(duì)變換單位的邊界的濾波處理。即，優(yōu)選邊界 濾波部105不對(duì)雖然是預(yù)測(cè)單位的邊界、但與變換單位的邊界重復(fù)的邊界進(jìn)行濾波處理。運(yùn) 是因?yàn)橥ǔＴ谏蓞⒄請(qǐng)D片時(shí)對(duì)于變換單位的邊界進(jìn)行解塊濾波(deblocking filter)。
[0075] 濾波處理后的預(yù)測(cè)圖像PR被輸出給差分部106和加法部112。
[0076] 差分部106通過(guò)計(jì)算濾波處理后的預(yù)測(cè)圖像與輸入圖像的差分，生成處理對(duì)象塊 的差分圖像。具體地講，差分部106在處理對(duì)象塊的各個(gè)像素中，計(jì)算濾波處理后的預(yù)測(cè)圖 像與輸入圖像之間的像素值的差分值，并生成將計(jì)算出的差分值作為像素值的差分圖像。 并且，該差分圖像RS被輸出給變換部107。
[0077] 變換部107按照每個(gè)變換單位進(jìn)行差分圖像的頻率變換處理。頻率變換處理例如 是WDCT(Discrete Cosine Transform:離散余弦變換）為代表的正交變換處理。通過(guò)頻率 變換處理而生成的變換系數(shù)被輸出給量化部108。
[007引量化部108對(duì)通過(guò)頻率變換處理而生成的變換系數(shù)進(jìn)行量化，由此生成量化系數(shù) QC。所生成的量化系數(shù)QC被輸出給可變長(zhǎng)編碼部109和逆量化部110。
[0079] 可變長(zhǎng)編碼部109對(duì)量化系數(shù)QC和運(yùn)動(dòng)矢量MV和分割方法IC進(jìn)行可變長(zhǎng)編碼，由 此生成圖像編碼信號(hào)。
[0080] 逆量化部110對(duì)由量化部108生成的量化系數(shù)進(jìn)行逆量化。并且，逆變換部111對(duì)由 逆量化部110進(jìn)行的逆量化的結(jié)果進(jìn)行逆頻率變換，由此生成解碼差分圖像。并且，運(yùn)樣生 成的解碼差分圖像DR被輸出給加法部112。
[0081] 加法部112將解碼差分圖像和預(yù)測(cè)圖像進(jìn)行相加，由此生成重建圖像。并且，運(yùn)樣 生成的重建圖像DC被輸出給參照?qǐng)D片用存儲(chǔ)器103。即，重建圖像DC被用作在W后進(jìn)行圖片 的編碼時(shí)的參照?qǐng)D像而保存在參照?qǐng)D片用存儲(chǔ)器103中。
[0082] 下面，說(shuō)明由如上所述構(gòu)成的圖像編碼裝置100執(zhí)行的圖像編碼方法。
[0083] 圖IB是表示本發(fā)明的實(shí)施方式1的圖像編碼方法的特征性處理流程的流程圖。
[0084] 在圖IB所示的流程圖開(kāi)始之前，輸入圖像被保存在帖存儲(chǔ)器101中。并且，在參照 圖片用存儲(chǔ)器103中已經(jīng)存儲(chǔ)有已編碼圖像的解碼圖像(重建圖像），該重建圖像被用作在 對(duì)處理對(duì)象塊進(jìn)行編碼時(shí)的參照?qǐng)D片。
[0085] 被保存在帖存儲(chǔ)器101中的處理對(duì)象塊，按照由編碼控制部104指示的分割方法被 分割為預(yù)測(cè)單位。下面，將預(yù)測(cè)單位稱為分割區(qū)域。
[0086] 圖2是表示本發(fā)明的實(shí)施方式1的處理對(duì)象塊的分割方法的一例的圖。
[0087] 在本實(shí)施方式中，如圖2(a)~(d)所示，處理對(duì)象塊被分割為8X8像素、4X4像素、 8X2像素或者2X8像素的分割區(qū)域。即，由編碼控制部104指示的分割方法包括圖2(a)~ (d)所示的4種方法。
[0088] 在運(yùn)種狀態(tài)下，通過(guò)按每個(gè)分割區(qū)域進(jìn)行預(yù)測(cè)處理，生成處理對(duì)象塊的預(yù)測(cè)圖像 (步驟S101)。該步驟SlOl相當(dāng)于預(yù)測(cè)步驟。
[0089] 具體地講，運(yùn)動(dòng)檢測(cè)部102針對(duì)每個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，由此檢測(cè)各個(gè)分割區(qū) 域的運(yùn)動(dòng)矢量(步驟SlOla)。更具體地講，運(yùn)動(dòng)檢測(cè)部102對(duì)于各個(gè)分割區(qū)域的圖像，進(jìn)行針 對(duì)在參照?qǐng)D片用存儲(chǔ)器103中保存的參照?qǐng)D片的運(yùn)動(dòng)檢測(cè)。在運(yùn)動(dòng)檢測(cè)中，在參照?qǐng)D片內(nèi)的 預(yù)先確定的范圍（例如水平方向± 32像素、垂直方向± 24像素的長(zhǎng)方形的區(qū)域的范圍）中， 檢測(cè)針對(duì)分割區(qū)域的圖像的評(píng)價(jià)值例如為最小的參照?qǐng)D片內(nèi)的位置。運(yùn)動(dòng)檢測(cè)部102根據(jù) 運(yùn)樣檢測(cè)到的位置來(lái)檢測(cè)運(yùn)動(dòng)矢量。
[0090] 其中，評(píng)價(jià)值是用于確定參照?qǐng)D片的值。作為評(píng)價(jià)值，例如能夠采用相互對(duì)應(yīng)的像 素間的像素值的絕對(duì)值差分和。并且，作為評(píng)價(jià)值，例如也能夠采用絕對(duì)值差分和與運(yùn)動(dòng)矢 量的編碼量的加權(quán)和等。
[0091] 運(yùn)動(dòng)檢測(cè)部102按照每種分割方法，針對(duì)各個(gè)分割區(qū)域的圖像進(jìn)行運(yùn)動(dòng)檢測(cè)，并檢 測(cè)該分割區(qū)域的運(yùn)動(dòng)矢量。另外，運(yùn)動(dòng)檢測(cè)部102確定最佳的分割方法(例如在采用最小值 作為最佳值的基準(zhǔn)的情況下，針對(duì)各個(gè)分割區(qū)域的評(píng)價(jià)值之和為最小的分割方法）。并且， 運(yùn)動(dòng)檢測(cè)部102將所確定的分割方法輸出給編碼控制部104,將利用該分割方法進(jìn)行分割得 到的各個(gè)分割區(qū)域的運(yùn)動(dòng)矢量MV輸出給可變長(zhǎng)編碼部109。并且，所確定的分割方法和運(yùn)動(dòng) 矢量被輸出給編碼控制部104。
[0092] 然后，編碼控制部104根據(jù)由運(yùn)動(dòng)檢測(cè)部102檢測(cè)到的運(yùn)動(dòng)矢量，生成處理對(duì)象塊 的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè)圖像(步驟SlOlb)。具體地講，編碼控制部104從參照?qǐng)D片用存儲(chǔ) 器103中讀出針對(duì)各個(gè)分割區(qū)域的參照?qǐng)D像，將所讀出的參照?qǐng)D像合成，由此生成預(yù)測(cè)圖 像。所生成的預(yù)測(cè)圖像MC被輸出給邊界濾波部105。
[0093] 例如，在圖3中，在處理對(duì)象塊300被分割為分割區(qū)域301和分割區(qū)域302的情況下， 編碼控制部104從參照?qǐng)D片取得參照?qǐng)D像303和參照?qǐng)D像304,并生成處理對(duì)象塊300的預(yù)測(cè) 圖像(運(yùn)動(dòng)補(bǔ)償圖像）。預(yù)測(cè)圖像被按照處理塊單位(例如水平16像素、垂直16像素)進(jìn)行處 理。
[0094] 然后，邊界濾波部105在所生成的預(yù)測(cè)圖像中，對(duì)分割區(qū)域的邊界進(jìn)行濾波處理 (步驟S102)。關(guān)于該邊界濾波部105的動(dòng)作，將使用圖4~圖7進(jìn)行詳細(xì)說(shuō)明。
[0095] 圖4是表示本發(fā)明的實(shí)施方式1的邊界濾波處理的流程的流程圖。具體地講，圖4是 用于說(shuō)明邊界濾波部105根據(jù)從編碼控制部104取得的分割方法，對(duì)預(yù)測(cè)圖像進(jìn)行濾波處理 時(shí)的動(dòng)作的流程圖。
[0096] 邊界濾波部105從編碼控制部104取得預(yù)測(cè)圖像MC和與該預(yù)測(cè)圖像MC對(duì)應(yīng)的分割 方法(步驟S401)。
[0097] 然后，邊界濾波部105判定分割區(qū)域的邊界是否位于變換單位內(nèi)（步驟S402)。即， 邊界濾波部105將變換單位和分割區(qū)域進(jìn)行比較，由此檢測(cè)分割區(qū)域的邊界之中位于變換 單位內(nèi)的邊界(下面，稱為"處理對(duì)象邊界"）。
[0098] 具體地講，邊界濾波部105根據(jù)與預(yù)測(cè)圖像MC對(duì)應(yīng)的分割方法來(lái)取得分割區(qū)域的 形狀信息。并且，邊界濾波部105例如按照?qǐng)D5所示，將預(yù)先根據(jù)分割方法而確定的變換單位 和分割區(qū)域進(jìn)行比較，并判定分割區(qū)域的邊界是否位于變換單位內(nèi)。
[0099] 使用圖6更詳細(xì)地說(shuō)明步驟S402的比較處理。圖6(a)是表示處理對(duì)象塊中的變換 單位的邊界的圖。并且，圖6(b)是表示處理對(duì)象塊中的分割區(qū)域的邊界的圖。并且，圖6(c) 是表示通過(guò)變換單位的邊界與分割區(qū)域的邊界的比較而檢測(cè)到的處理對(duì)象邊界的圖。在圖 6 (C)中，處理對(duì)象邊界用陰影線示出。
[0100] 例如，如圖5所示，在分割方法和變換單位是一對(duì)一對(duì)應(yīng)的情況下，邊界濾波部105 將針對(duì)分割方法的最小分割寬度和變換單位進(jìn)行比較，在最小分割寬度小于變換單位的一 邊的長(zhǎng)度的情況下，判定在變換單位內(nèi)產(chǎn)生參照?qǐng)D像MC的分割區(qū)域的邊界。
[0101] 在此，在未檢測(cè)到處理對(duì)象邊界的情況下（步驟S402:否），在處理對(duì)象塊的預(yù)測(cè)圖 像中不進(jìn)行濾波處理而結(jié)束邊界濾波處理。
[0102] 另一方面，在檢測(cè)到處理對(duì)象邊界的情況下（步驟S402:是），邊界濾波部105進(jìn)行 針對(duì)處理對(duì)象邊界(例如圖6(c)所示的處理對(duì)象邊界）的濾波處理（步驟S403)。在此，使用 圖7和圖8詳細(xì)說(shuō)明步驟S403的針對(duì)處理對(duì)象邊界的濾波處理。
[0103] 圖7是用于說(shuō)明包括處理對(duì)象邊界的圖像的特征的示意圖。
[0104] 圖7(a)表示原圖像701和預(yù)測(cè)圖像702和差分圖像706。原圖像701是在帖存儲(chǔ)器 101中保存的輸入圖像中所包含的處理對(duì)象塊的圖像。預(yù)測(cè)圖像702是通過(guò)對(duì)分割區(qū)域703、 704、705分別進(jìn)行運(yùn)動(dòng)補(bǔ)償而得到的圖像。差分圖像706是表示原圖像701與預(yù)測(cè)圖像702的 差分的圖像。
[0105] 如預(yù)測(cè)圖像702所示，在按照每個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，在各個(gè)分割區(qū) 域703、704、705中圖像的特性往往是不同的。因此，在原圖像701與預(yù)測(cè)圖像702的差分信號(hào) 即差分圖像706中，能夠觀察到分割區(qū)域的邊界附近的像素的值增大運(yùn)種特征。
[0106] 圖7(b)表示在差分圖像706中包括物體邊界而且跨越分割區(qū)域的部分707的像素 值的分布。并且，圖7(c)表示包括與部分707相同的物體邊界、但是不跨越分割區(qū)域的部分 708的像素值的分布。在圖7(b)和(C)中，橫軸表示與分割區(qū)域的邊界垂直的方向的像素位 置，縱軸表示像素值。
[0107] 在圖7(b)中，在中央部分存在起因于分割區(qū)域的邊界的較大的值的變化，在右側(cè) 附近能夠觀察到起因于物體邊界的平緩的值的變化。另一方面，在圖7(c)中的右側(cè)附近能 夠觀察到起因于物體邊界的平緩的值的變化。
[0108] 其中，在圖7(a)所示的用粗線包圍的兩個(gè)區(qū)域709是變換單位的情況下，對(duì)如圖7 (b)所示具有較大的差分值的圖像進(jìn)行變換處理。在W進(jìn)行圖像編碼時(shí)使用的DCT (Discrete Cosine Transform:離散余弦變換）為代表的正交變換處理中，能夠?qū)ψ匀粓D像 中較多包含的、包括空間上的平緩的像素值的空間性變化的圖像(如圖7(c)所示的包括起 因于自然圖像的物體邊界的像素值的空間性變化的圖像)進(jìn)行高效變換，但是不能對(duì)如圖7 (b)所示的包括表示急劇的像素值的變化的邊緣的圖像進(jìn)行高效變換。
[0109] 因此，在步驟S402,邊界濾波部105檢測(cè)如圖7(d)所示的處理對(duì)象邊界710。并且， 邊界濾波部105對(duì)預(yù)測(cè)圖像702之中的該處理對(duì)象邊界710附近的圖像進(jìn)行濾波處理。即，邊 界濾波部105進(jìn)行針對(duì)處理對(duì)象邊界的濾波處理。
[0110] 其中，成為進(jìn)行濾波處理的對(duì)象的圖像不是差分圖像，而是預(yù)測(cè)圖像。運(yùn)是因?yàn)?在對(duì)輸入圖像與預(yù)測(cè)圖像的差分圖像進(jìn)行了濾波處理的情況下，很難將通過(guò)濾波處理而丟 失的成分復(fù)原。例如，在進(jìn)行了將差分圖像之中比一定頻率高的頻率的頻率成分置換為零 的濾波處理的情況下，即使W非常高的精度對(duì)濾波處理后的差分圖像進(jìn)行量化，也很難將 通過(guò)濾波處理而丟失的高頻率的頻率成分復(fù)原。即，很難將接近輸入圖像的圖像復(fù)原。
[0111] 另一方面，在對(duì)預(yù)測(cè)圖像進(jìn)行了濾波處理的情況下，對(duì)濾波處理后的預(yù)測(cè)圖像與 輸入圖像的差分圖像進(jìn)行頻率變換而得到的變換系數(shù)被量化。因此，在W非常高的精度進(jìn) 行了量化的情況下，能夠?qū)⒔咏斎雸D像的圖像復(fù)原。
[0112] 如上所述，此處的濾波處理是W將自然圖像中不包含的急劇的邊緣變平滑為目 的。使用圖8說(shuō)明對(duì)與處理對(duì)象邊界相鄰接的像素進(jìn)行的濾波處理。
[0113] 圖8是用于說(shuō)明濾波處理的圖。在圖8中示出了處理對(duì)象邊界附近的像素的像素 值。其中，橫軸表示與處理對(duì)象邊界垂直的方向的像素的位置，縱軸表示像素值。像素 p3、像 素 p2、像素 pi、像素 pO、像素 qO、像素 ql、像素 q2、像素 q3的像素值分別為p3、p2、pl、p0、q0、 ql、q2、q3D
[0114] 圖8(a)表示輸入圖像的像素值，圖8(b)表示預(yù)測(cè)圖像的像素值，圖8(c)表示針對(duì) 圖8(b)中的處理對(duì)象邊界的附近的像素實(shí)施了濾波處理后的預(yù)測(cè)圖像的像素值。
[0115] 如圖8(a)~（C)所示，濾波處理后的預(yù)測(cè)圖像與濾波處理前的參照?qǐng)D像相比更接 近輸入圖像。其結(jié)果是，差分圖像中包含的差分值減小，因而能夠高效地進(jìn)行變換處理，能 夠高效地進(jìn)行編碼。
[0116] 如W上說(shuō)明的那樣，邊界濾波部105按照用于使像素值的變化變平滑的規(guī)定的方 法，對(duì)處理對(duì)象邊界的附近像素進(jìn)行濾波處理。并且，邊界濾波部105將濾波處理后的預(yù)測(cè) 圖像PR輸出給差分部106和加法部112。
[0117] 返回到圖IB的說(shuō)明。
[0118] 差分部106計(jì)算輸入圖像和預(yù)測(cè)圖像PR的對(duì)應(yīng)像素的像素值的差分值，并生成殘 差圖像RS(步驟S103)。該殘差圖像RS相當(dāng)于差分圖像。
[0119] 變換部107對(duì)殘差圖像RS進(jìn)行頻率變換(步驟S104)。變換部107將通過(guò)頻率變換而 得到的變換系數(shù)輸出給量化部108。
[0120] 另外，關(guān)于作為濾波處理的對(duì)象的、處理對(duì)象邊界的附近像素的確定方法，將在實(shí) 施方式3中進(jìn)行詳細(xì)說(shuō)明，關(guān)于針對(duì)附近像素的濾波處理的方法將在實(shí)施方式4中進(jìn)行詳細(xì) 說(shuō)明。
[0121] 如上所述，本實(shí)施方式1的圖像編碼裝置100在對(duì)輸入圖像進(jìn)行編碼時(shí)，將輸入圖 像分割為正方形區(qū)域即作為編碼處理的處理單位的塊(編碼單位）。并且，圖像編碼裝置100 對(duì)于運(yùn)樣分割出的塊，按照預(yù)先確定的分割方法再分割為多個(gè)分割區(qū)域。并且，圖像編碼裝 置100針對(duì)各個(gè)分割區(qū)域進(jìn)行運(yùn)動(dòng)檢測(cè)及運(yùn)動(dòng)補(bǔ)償，由此生成處理對(duì)象塊的預(yù)測(cè)圖像。在 此，圖像編碼裝置100檢測(cè)分割區(qū)域的邊界之中、與后級(jí)的針對(duì)差分信號(hào)的變換處理的處理 單位即變換單位不一致的邊界，作為處理對(duì)象邊界。并且，圖像編碼裝置100在預(yù)測(cè)圖像中 對(duì)處理對(duì)象邊界進(jìn)行濾波處理。
[0122] 通過(guò)進(jìn)行運(yùn)種動(dòng)作，即使是預(yù)測(cè)單位(分割區(qū)域）的邊界位于變換單位內(nèi)，也能夠 對(duì)該邊界進(jìn)行濾波處理。由此，能夠使在預(yù)測(cè)單位的邊界處產(chǎn)生的像素值的急劇變化變平 滑，能夠減小輸入圖像與預(yù)測(cè)圖像的差分圖像的值。并且，不需要像過(guò)去那樣減小變換單位 來(lái)使預(yù)測(cè)單位(分割區(qū)域）的邊界不位于變換單位內(nèi)，因而即使是在預(yù)測(cè)單位較小的情況 下，也能夠增大變換單位。其結(jié)果是，能夠大幅削減編碼量，能夠提高編碼效率。
[0123] 在本實(shí)施方式中，僅對(duì)預(yù)測(cè)單位的邊界之中位于變換單位內(nèi)的預(yù)測(cè)單位的邊界進(jìn) 行濾波處理。因此，與對(duì)預(yù)測(cè)單位的邊界全部進(jìn)行濾波處理的情況相比，能夠削減處理量。 另外，在解碼圖像或者參照?qǐng)D像中，也能夠抑制與針對(duì)變換單位的邊界進(jìn)行的編碼失真去 除濾波(解塊濾波)重復(fù)地進(jìn)行濾波處理，能夠抑制由于多次濾波處理而造成的畫(huà)質(zhì)的惡化 (圖像的模糊）。
[0124] 另外，關(guān)于分割方法和變換單位，不需要限定為圖5所示的分割方法和變換單位。 例如，在諸如預(yù)測(cè)單位的一部分與變換單位的一部分相互重復(fù)的情況下，本實(shí)施方式的圖 像編碼方法通過(guò)對(duì)位于變換單位內(nèi)的預(yù)測(cè)單位的邊界進(jìn)行濾波處理，能夠發(fā)揮與上述相同 的效果。
[0125] 另外，在本實(shí)施方式中，圖像編碼裝置100針對(duì)位于變換單位內(nèi)的分割區(qū)域的邊界 全部進(jìn)行濾波處理，但不一定需要全部進(jìn)行濾波處理。例如，在相互鄰接的兩個(gè)分割區(qū)域 中，在從運(yùn)動(dòng)矢量相同、而且在參照?qǐng)D片內(nèi)相鄰接的區(qū)域取得參照?qǐng)D像的情況下，也可W 跳過(guò)針對(duì)運(yùn)兩個(gè)分割區(qū)域之間的邊界的濾波處理。運(yùn)樣，能夠削減濾波處理的處理量，抑制 預(yù)測(cè)圖像被過(guò)剩地實(shí)施濾波處理，能夠抑制起因于濾波處理的畫(huà)質(zhì)的惡化(圖像的模糊）。 [0 1%]另外，也可W將表示跳過(guò)濾波處理的信息記述為流的頭化eader)信息。運(yùn)樣，能夠 根據(jù)圖像的特征控制濾波器的ON/OFF，能夠?qū)⒔獯a圖像的畫(huà)質(zhì)保持為高畫(huà)質(zhì)。另外，關(guān)于濾 波頭信息的發(fā)送方法，將在其它實(shí)施方式中進(jìn)行詳細(xì)說(shuō)明。
[0127] 另外，在圖IB的預(yù)測(cè)處理(步驟SlOl)中，也可W進(jìn)行面內(nèi)預(yù)測(cè)處理來(lái)取代運(yùn)動(dòng)檢 測(cè)處理(步驟SlOla)和運(yùn)動(dòng)補(bǔ)償處理(步驟Sl(Ub)D即，在預(yù)測(cè)處理(步驟SlOl)中，編碼控制 部104根據(jù)已編碼塊的重建圖像，按照每個(gè)預(yù)測(cè)單位進(jìn)行面內(nèi)預(yù)測(cè)，由此生成處理對(duì)象塊的 面內(nèi)預(yù)測(cè)圖像作為預(yù)測(cè)圖像。在運(yùn)種情況下，圖像編碼裝置100也可W不具有運(yùn)動(dòng)檢測(cè)部 102。
[0128] 另外，圖像編碼裝置100不一定需要具有圖IA所示的全部處理部，例如，也可W是 僅具有用于執(zhí)行圖IB所示的圖像編碼方法中包含的各個(gè)步驟的處理的處理部。
[0129] (實(shí)施方式2)
[0130] 圖9A是表示本發(fā)明的實(shí)施方式2的圖像解碼裝置900的功能結(jié)構(gòu)的框圖。圖像解碼 裝置900對(duì)將對(duì)象圖像進(jìn)行編碼得到的圖像編碼信號(hào)進(jìn)行解碼，并生成解碼圖像。圖像解碼 裝置900具有可變長(zhǎng)解碼部901、逆量化部902、逆變換部903、加法部904、解碼控制部905、邊 界濾波部906、運(yùn)動(dòng)補(bǔ)償部907、參照?qǐng)D片用存儲(chǔ)器908。
[0131] 在本實(shí)施方式中，輸入編碼序列BS是由本發(fā)明的實(shí)施方式是圖像編碼裝置100生 成的圖像編碼信號(hào)。即，輸入編碼序列BS是按照每個(gè)塊對(duì)輸入圖像進(jìn)行編碼而得到的圖像 編碼信號(hào)。
[0132] 參照?qǐng)D片用存儲(chǔ)器908保存已解碼的圖像即解碼圖像。另外，參照?qǐng)D片用存儲(chǔ)器 908也可W是與圖像解碼裝置900連接的外部存儲(chǔ)器。即，圖像解碼裝置900不一定具有參照 圖片用存儲(chǔ)器908。
[0133] 可變長(zhǎng)解碼部901通過(guò)對(duì)輸入編碼序列BS進(jìn)行可變長(zhǎng)解碼，取得量化系數(shù)和分割 方法和運(yùn)動(dòng)矢量。分割方法是用于將處理對(duì)象塊分割為多個(gè)預(yù)測(cè)單位(分割區(qū)域）的方法。 所取得的量化系數(shù)QC被輸出給逆量化部902,分割方法IC被輸出給解碼控制部905,運(yùn)動(dòng)矢 量MV被輸出給運(yùn)動(dòng)補(bǔ)償部907。
[0134] 逆量化部902對(duì)量化系數(shù)進(jìn)行逆量化。并且，逆變換部903按照每個(gè)變換單位對(duì)逆 量化部902的逆量化結(jié)果進(jìn)行逆頻率變換，由此生成解碼差分圖像。運(yùn)樣生成的解碼差分圖 像DR被輸出給加法部904。
[0135] 解碼控制部905取得處理對(duì)象塊的分割方法1C，并輸出給邊界濾波部906和運(yùn)動(dòng)補(bǔ) 償部907。
[0136] 運(yùn)動(dòng)補(bǔ)償部907取得用于將處理對(duì)象塊分割為預(yù)測(cè)單位的分割方法。另外，運(yùn)動(dòng)補(bǔ) 償部907按照根據(jù)所取得的分割方法進(jìn)行分割得到的每個(gè)預(yù)測(cè)單位來(lái)取得運(yùn)動(dòng)矢量。并且， 運(yùn)動(dòng)補(bǔ)償部907根據(jù)所取得的運(yùn)動(dòng)矢量，按照每個(gè)預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對(duì) 象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè)圖像。即，運(yùn)動(dòng)補(bǔ)償部907按照將處理對(duì)象塊進(jìn)行分割得到的 每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處理，由此生成處理對(duì)象塊的預(yù)測(cè)圖像。
[0137] 目P，運(yùn)動(dòng)補(bǔ)償部907根據(jù)分割方法和運(yùn)動(dòng)矢量，從參照?qǐng)D片用存儲(chǔ)器908取得參照 圖像，由此生成處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像。在此，在處理對(duì)象塊被分割的情況下，按照每 個(gè)分割區(qū)域(預(yù)測(cè)單位)來(lái)記述運(yùn)動(dòng)矢量。因此，運(yùn)動(dòng)補(bǔ)償部907按照該運(yùn)動(dòng)矢量對(duì)于每個(gè)分 割區(qū)域取得參照?qǐng)D像，并將所取得的參照?qǐng)D像進(jìn)行合成，由此生成運(yùn)動(dòng)補(bǔ)償圖像。
[0138] 例如，如圖3所示，在處理對(duì)象塊300被分割為分割區(qū)域301和分割區(qū)域302的情況 下，運(yùn)動(dòng)補(bǔ)償部907從參照?qǐng)D片用存儲(chǔ)器908取得參照?qǐng)D像303和參照?qǐng)D像304,并生成運(yùn)動(dòng) 補(bǔ)償圖像作為預(yù)測(cè)圖像MC。并且，運(yùn)動(dòng)補(bǔ)償部907將預(yù)測(cè)圖像MC輸出給邊界濾波部906。
[0139] 邊界濾波部906將變換單位和預(yù)測(cè)單位進(jìn)行比較，由此檢測(cè)預(yù)測(cè)單位的邊界之中 位于變換單位內(nèi)的邊界。并且，邊界濾波部906在所生成的預(yù)測(cè)圖像中進(jìn)行針對(duì)所檢測(cè)到的 邊界的濾波處理。
[0140] 另外，關(guān)于變換單位，例如可W根據(jù)預(yù)測(cè)單位和變換單位的預(yù)先確定的對(duì)應(yīng)關(guān)系 來(lái)確定。并且，例如也可W相對(duì)于預(yù)測(cè)單位而獨(dú)立地確定變換單位。
[0141] 加法部904將濾波處理后的預(yù)測(cè)圖像和解碼差分圖像相加，由此生成處理對(duì)象塊 的解碼圖像。
[0142] 下面，說(shuō)明由如上所述構(gòu)成的圖像解碼裝置900執(zhí)行的圖像解碼方法。
[0143] 圖9B是表示本發(fā)明的實(shí)施方式2的圖像解碼方法的特征性處理流程的流程圖。
[0144] 在圖9B所示的流程圖開(kāi)始之前，在參照?qǐng)D片用存儲(chǔ)器908中已經(jīng)存儲(chǔ)有解碼圖像。 該解碼圖像被用作對(duì)編碼序列進(jìn)行解碼時(shí)的參照?qǐng)D片。
[0145] 首先，逆變換部903按照每個(gè)變換單位進(jìn)行逆頻率變換處理，由此生成上述處理對(duì) 象塊的解碼差分圖像(步驟S901)。
[0146] 然后，運(yùn)動(dòng)補(bǔ)償部907按照將處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單 位進(jìn)行預(yù)測(cè)處理，由此生成處理對(duì)象塊的預(yù)測(cè)圖像(步驟S902)。具體地講，運(yùn)動(dòng)補(bǔ)償部907 首先按照每個(gè)預(yù)測(cè)單位來(lái)取得運(yùn)動(dòng)矢量(步驟S902a)。然后，運(yùn)動(dòng)補(bǔ)償部907根據(jù)所取得的 運(yùn)動(dòng)矢量，按每個(gè)預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè) 圖像(步驟S902b)。
[0147] 邊界濾波部906在所生成的預(yù)測(cè)圖像中進(jìn)行針對(duì)預(yù)測(cè)單位的邊界的濾波處理(步 驟S903)。關(guān)于該邊界濾波部906的動(dòng)作，使用圖10進(jìn)行說(shuō)明。
[0148] 圖10是表示本發(fā)明的實(shí)施方式2的邊界濾波處理的流程的流程圖。具體地講，圖10 是用于說(shuō)明邊界濾波部906根據(jù)從解碼控制部905取得的分割方法，對(duì)預(yù)測(cè)圖像進(jìn)行濾波處 理時(shí)的動(dòng)作的流程圖。
[0149] 邊界濾波部906從運(yùn)動(dòng)補(bǔ)償部907取得處理對(duì)象塊的預(yù)測(cè)圖像，再?gòu)慕獯a控制部 905取得處理對(duì)象塊的分割方法(步驟SlOOl )。
[0150] 然后，邊界濾波部906判定分割區(qū)域的邊界是否位于變換單位內(nèi)（步驟S1002)。即， 邊界濾波部105將變換單位和分割區(qū)域進(jìn)行比較，由此檢測(cè)分割區(qū)域的邊界之中位于變換 單位內(nèi)的邊界。
[0151] 具體地講，邊界濾波部906根據(jù)分割方法來(lái)取得分割區(qū)域的形狀信息。并且，邊界 濾波部906例如按照?qǐng)D5所示，將根據(jù)分割方法預(yù)先確定的變換單位和分割區(qū)域進(jìn)行比較， 并判定分割區(qū)域的邊界是否位于變換單位內(nèi)。該比較處理與實(shí)施方式1的步驟S402相同，因 而省略詳細(xì)說(shuō)明。
[0152] 在此，在未檢測(cè)到處理對(duì)象邊界的情況下(步驟S1002:否），在處理對(duì)象塊的預(yù)測(cè) 圖像中不進(jìn)行濾波處理，結(jié)束邊界濾波處理。
[0153] 另一方面，在檢測(cè)到處理對(duì)象邊界的情況下(步驟S1002:是），邊界濾波部906進(jìn)行 針對(duì)處理對(duì)象邊界(例如圖6(c)所示的處理對(duì)象邊界）的濾波處理（步驟S1003)。關(guān)于該步 驟S1003的濾波處理，與實(shí)施方式1的步驟S403相同，因而省略詳細(xì)說(shuō)明。邊界濾波部105將 濾波處理后的預(yù)測(cè)圖像PR輸出給加法部904。
[0154] 然后，加法部904將解碼差分圖像DR和濾波處理后的預(yù)測(cè)圖像P時(shí)時(shí)日，由此生成處 理對(duì)象塊的解碼圖像DC(步驟S904)。運(yùn)樣生成的解碼圖像DC被輸出給參照?qǐng)D片用存儲(chǔ)器 908。即，解碼圖像DC是輸出圖像，并且是在W后進(jìn)行解碼時(shí)使用的參照?qǐng)D片。
[0155] 如上所述，本發(fā)明的實(shí)施方式2的圖像解碼裝置900在對(duì)利用本發(fā)明的實(shí)施方式1 的圖像編碼方法生成的編碼序列進(jìn)行解碼時(shí)，取得各個(gè)處理對(duì)象塊的分割信息。并且，圖像 解碼裝置900按照該分割信息、W及在編碼序列中記述的運(yùn)動(dòng)矢量或者已經(jīng)被解碼的周圍 運(yùn)動(dòng)矢量，按每個(gè)預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè) 圖像。在運(yùn)樣生成的預(yù)測(cè)圖像中，針對(duì)位于預(yù)測(cè)單位內(nèi)的分割區(qū)域的邊界進(jìn)行濾波處理。并 且，圖像解碼裝置900將濾波處理后的預(yù)測(cè)圖像和解碼差分圖像相加，由此生成解碼圖像。
[0156] 通過(guò)進(jìn)行運(yùn)種動(dòng)作，能夠正確地對(duì)利用本發(fā)明的實(shí)施方式1的圖像編碼方法生成 的編碼序列進(jìn)行解碼。
[0157] 另外，關(guān)于分割方法和變換單位，不需要限定為圖5所示的分割方法和變換單位。 在分割區(qū)域的邊界位于變換單位內(nèi)的情況下，能夠發(fā)揮與上述相同的效果。
[0158] 另外，在本實(shí)施方式中，圖像解碼裝置900與實(shí)施方式1相同地，針對(duì)位于變換單位 內(nèi)的分割區(qū)域的邊界全部進(jìn)行濾波處理，但不一定需要全部進(jìn)行濾波處理。例如，在相互鄰 接的兩個(gè)分割區(qū)域中，在從運(yùn)動(dòng)矢量相同、而且在參照?qǐng)D片內(nèi)鄰接的區(qū)域取得參照?qǐng)D像的 情況下，也可W跳過(guò)針對(duì)運(yùn)兩個(gè)分割區(qū)域之間的邊界的濾波處理。運(yùn)樣，能夠削減濾波處理 的處理量，抑制預(yù)測(cè)圖像被過(guò)剩地實(shí)施濾波處理，能夠抑制起因于濾波處理的畫(huà)質(zhì)的惡化 (圖像的模糊）。
[0159] 另外，在表示跳過(guò)濾波處理的信息被記述在流的頭信息中的情況下，通過(guò)對(duì)該信 息進(jìn)行解碼，能夠根據(jù)圖像的特征控制濾波器的0N/0FF，能夠?qū)⒔獯a圖像的畫(huà)質(zhì)保持為高 畫(huà)質(zhì)。另外，關(guān)于濾波頭信息的發(fā)送方法，將在其它實(shí)施方式中進(jìn)行詳細(xì)說(shuō)明。
[0160] 另外，與實(shí)施方式1相同地，關(guān)于作為濾波處理的對(duì)象的、處理對(duì)象邊界的附近像 素的確定方法，將在實(shí)施方式3中進(jìn)行詳細(xì)說(shuō)明，關(guān)于針對(duì)附近像素的濾波處理的方法將在 實(shí)施方式4中進(jìn)行詳細(xì)說(shuō)明。
[0161] 另外，圖像解碼裝置900不一定需要具有圖9A所示的全部處理部，例如，也可W是 僅具有用于執(zhí)行圖9B所示的圖像解碼方法中包含的各個(gè)步驟的處理的處理部。
[0162] (實(shí)施方式3)
[0163] 在本發(fā)明的實(shí)施方式3中，說(shuō)明針對(duì)實(shí)施方式1及實(shí)施方式2中的處理對(duì)象邊界的 濾波處理。尤其要詳細(xì)說(shuō)明作為濾波處理的對(duì)象的像素即濾波對(duì)象像素的確定方法。
[0164] 在此，要進(jìn)行濾波處理的部分是位于變換單位內(nèi)的預(yù)測(cè)單位的邊界(處理對(duì)象邊 界）。此時(shí)，關(guān)于處理對(duì)象邊界的附近的像素、即作為濾波處理的對(duì)象的像素即濾波對(duì)象像 素的確定方法，使用圖8所示的在濾波處理方向上排列一列的像素 p3、p2、P1、pO、qO、ql、q2、 q3進(jìn)行詳細(xì)說(shuō)明。另外，像素 93、92、91、9〇、9〇、91、92、93的像素值分別為93、92、91、9〇、9〇、 ql、q2、q3D
[0165] 圖11是表示本發(fā)明的實(shí)施方式3的濾波對(duì)象像素的確定方法的處理流程的流程 圖。首先，邊界濾波部105或者906(下面代表性地記述邊界濾波部105)取得在流的頭信息中 記述的表示濾波器的0N/0FF的濾波信息。并且，邊界濾波部105判定濾波信息是否是表示濾 波器OFF的信息(步驟Sl 101)。
[0166] 在此，在濾波信息是表示濾波器OFF的信息的情況下(步驟SllOl:是），邊界濾波部 105確定為處理對(duì)象邊界的附近的全部像素都不是濾波對(duì)象像素(步驟S1102)。另一方面， 在濾波信息是表示濾波器ON的信息的情況下（步驟SllOl:否），邊界濾波部105將像素 PO和 像素 qO確定為濾波對(duì)象像素(步驟Sl 103)。然后，邊界濾波部105將像素 Pl和像素 pO的像素 值的差分的絕對(duì)值與預(yù)先確定的闊值TH進(jìn)行比較(步驟S1104)。其中，闊值TH例如是根據(jù) (式1)賦予的值。
[0167] 【數(shù)式1】
[016引 tH=0.8 ? (2(QP+0ffset)/6+i) (式I)
[0169] 其中，QP是表示量化精度的量化參數(shù)。并且，Offset表示調(diào)整參數(shù)，被記述在文件 頭信息中。
[0170] 另外，確定為在量化參數(shù)QP越大時(shí)闊值TH越大即可，不一定需要根據(jù)(式1)來(lái)確 定。并且，闊值TH也可W記述在文件頭信息中。
[0171] 在此，在差分的絕對(duì)值小于闊值TH的情況下(步驟S1104:是），邊界濾波部105還將 像素 Pl確定為濾波對(duì)象像素(步驟S1105)。另一方面，在差分的絕對(duì)值為闊值THW上的情況 下(步驟Sl 104:否），進(jìn)入到后面的步驟Sl 106。
[0172] 然后，邊界濾波部105與步驟S1104相同地將像素 ql和像素 qO的像素值的差分的絕 對(duì)值與闊值TH進(jìn)行比較(步驟S1106)。其中，該闊值TH采用與步驟S1104相同的值。
[0173] 在此，在差分的絕對(duì)值小于闊值TH的情況下(步驟S1106:是），邊界濾波部105還將 像素 ql確定為濾波對(duì)象像素(步驟S1107)，并結(jié)束濾波對(duì)象像素的確定處理。另一方面，在 差分的絕對(duì)值為闊值THW上的情況下(步驟S1106:否），原樣地結(jié)束濾波對(duì)象像素的確定處 理。
[0174] 另外，作為一例，闊值TH是根據(jù)(式1)所示的量化參數(shù)QP而變化的值，但也可W是 根據(jù)與處理對(duì)象邊界鄰接的預(yù)測(cè)單位間的運(yùn)動(dòng)矢量的差分而變化的值。例如，也可W確定 為在運(yùn)動(dòng)矢量的X成分的差分的絕對(duì)值與Y成分的差分的絕對(duì)值之和MVD越大時(shí)，闊值TH越 大。
[0175] 在運(yùn)動(dòng)矢量的差分較大的情況下，認(rèn)為處理對(duì)象邊界中的圖像特性的變化不同。 因此，通過(guò)根據(jù)運(yùn)動(dòng)矢量的差分來(lái)改變闊值TH,能夠按照?qǐng)D像的特性來(lái)確定濾波對(duì)象像素。
[0176] 并且，也可W確定為使闊值TH根據(jù)上述MVD和量化參數(shù)QP雙方而變化。
[0177] 利用上述的方法確定濾波對(duì)象像素。
[0178] 另外，在此邊界濾波部105只對(duì)像素9〇、91、9〇、91進(jìn)行是否確定為濾波對(duì)象像素的 判定，但還可W對(duì)像素 p2、像素 q2進(jìn)行判定。在運(yùn)種情況下，邊界濾波部105W鄰接像素是濾 波對(duì)象像素(例如Pl)為前提，將差分的絕對(duì)值(例如|p2-pl I )與闊值進(jìn)行比較，由此能夠 判定是否確定為濾波對(duì)象像素。
[0179] 另外，在步驟SllOl，對(duì)表示濾波器的0N/0FF的濾波信息被記述在流的頭信息中的 情況進(jìn)行了說(shuō)明，但不一定需要將運(yùn)種濾波信息記述在頭信息中。例如，如果預(yù)先按照編碼 方法、解碼方法來(lái)確定濾波器的ON/OFF，則也可W不在頭信息中記述濾波信息。在運(yùn)種情況 下，能夠削減頭信息。
[0180] 另外，例如也可W在頭信息中記述表示邊界像素?cái)?shù)的濾波信息。在運(yùn)種情況下，在 圖11中的步驟SllOl，邊界濾波部105按照濾波信息所表示的像素?cái)?shù)來(lái)確定濾波對(duì)象像素。 例如，在像素?cái)?shù)為1的情況下，邊界濾波部105可W將像素 p0、q0確定為濾波對(duì)象像素。另外， 例如，在像素?cái)?shù)為2的情況下，邊界濾波部105可W將像素91、9〇、〇0、〇1確定為濾波對(duì)象像 素。由此，能夠大幅削減邊界濾波部105的處理量。
[0181] 另外，關(guān)于頭信息的發(fā)送方法將在其它實(shí)施方式中詳細(xì)說(shuō)明。
[0182] (實(shí)施方式4)
[0183] 在本發(fā)明的實(shí)施方式4中，說(shuō)明針對(duì)實(shí)施方式1及實(shí)施方式2中的處理對(duì)象邊界的 濾波處理。具體地講，詳細(xì)說(shuō)明針對(duì)在實(shí)施方式3中確定的濾波對(duì)象像素的濾波處理。
[0184] 在此，假設(shè)已經(jīng)按照實(shí)施方式3所示的方法確定了濾波對(duì)象像素。并且，使用圖8所 示的在濾波處理方向上排列一列的像素索引口3、口2、口1、口0、9〇、91、92、93來(lái)說(shuō)明濾波處理。 另外，像素93、92、91、9〇、9〇、91、92、93的像素值分別為93、92、91、9〇、9〇、91、92、93。并且，下 面說(shuō)明由實(shí)施方式1的圖像編碼裝置100進(jìn)行濾波處理的情況。
[0185] 圖12是用于說(shuō)明本發(fā)明的實(shí)施方式4的濾波處理的一例的示意圖。在圖12中，處理 對(duì)象塊1200被分割為水平4像素、垂直8像素的分割區(qū)域1201和分割區(qū)域1202。處理對(duì)象塊 1200是變換單位，分割區(qū)域1201和分割區(qū)域1202是預(yù)測(cè)單位。
[0186] 在運(yùn)種情況下，編碼控制部104從參照?qǐng)D片用存儲(chǔ)器103取得參照?qǐng)D像1203和參 照?qǐng)D像1204。并且，編碼控制部104將參照?qǐng)D像1203和參照?qǐng)D像1204進(jìn)行合成，并生成處理 對(duì)象塊的預(yù)測(cè)圖像(運(yùn)動(dòng)補(bǔ)償圖像）。
[0187] 例如，當(dāng)在所有的行中濾波對(duì)象像素是像素 PO和qO的情況下，邊界濾波部105使用 與參照?qǐng)D像1203鄰接的參照?qǐng)D像區(qū)域1205和與參照?qǐng)D像1204鄰接的參照?qǐng)D像區(qū)域1206進(jìn) 行濾波處理。例如，邊界濾波部105將按照像素單位計(jì)算所重復(fù)的區(qū)域(處理對(duì)象塊1200之 中用交叉影線示出的部分)而得到的平均值確定為濾波處理后的像素值。
[0188] 另外，在此，邊界濾波部105通過(guò)計(jì)算兩個(gè)參照?qǐng)D像的平均值，確定與處理對(duì)象邊 界鄰接的像素的像素值。但是，邊界濾波部105也可W進(jìn)行如(式2)所示的濾波處理。
[0189] 【猶式2】
[0190]
試幻
[0191] 其中，do、dl、d2表示按照距處理對(duì)象邊界的每個(gè)距離而確定的濾波系數(shù)，取0.5~ 1之間的值。例如，加=0.5，(11 = 0.75，(12 = 0.875。運(yùn)些數(shù)值可^預(yù)先確定為在圖像編碼方 法或者圖像解碼方法中共同的值，也可W記述在流的頭信息中。
[0192] 在增大濾波器的強(qiáng)度(增強(qiáng)平滑度）的情況下，可W將濾波系數(shù)d0、dl、d2設(shè)為接近 0.5的值。
[0193] 另外，邊界濾波部105也可W按照將（式2)變形得到的（式3)，通過(guò)下移（shift down)及上移（shift叫)來(lái)進(jìn)行濾波處理。例如，關(guān)于（式2)中的d0 = 0.5，dl = 0.75，d2 = 0.875,在(式 3)中可 W 表現(xiàn)為 A=1，B=1，C=1，D = 3，E = 2，F(xiàn)=1，G = 7，H = 3，I = 1。運(yùn)樣，在 按照(式3)進(jìn)行濾波處理的情況下，能夠削減頭信息的信息量，而且能夠削減濾波處理的處 理量。
[0194] 【數(shù)式3】
[019引
試3)
[0196] 通過(guò)上述示出的方法，邊界濾波部105能夠?qū)λ_定的濾波對(duì)象像素進(jìn)行濾波處 理。另外，邊界濾波部105在從參照?qǐng)D片用存儲(chǔ)器103取得參照?qǐng)D像時(shí)，通過(guò)取得比分割區(qū)域 (預(yù)測(cè)單位)大的區(qū)域的圖像，由此能夠減少存儲(chǔ)器訪問(wèn)。
[0197] 另外，邊界濾波部105也可W利用與上述不同的方法進(jìn)行濾波處理。邊界濾波部 105也可W按照例如(式4)進(jìn)行濾波處理。其中，像素 ql、像素 qO、像素 PO及像素 Pl的濾波處 理后的像素值分別表示為q ' 1、q ' 0、P ' 0及P ' 1。
[019引 【擲立4】
[0199]
錠 4)
[0200] 其中，CO, 0、CO, 1、CO, 2、CO, 3、Cl, 0、Cl, 1、Cl, 2、Cl, 3表示濾波系數(shù)，例如用(式5)表示。
[020U【數(shù)式5】
[0202；
(武曰).
[0203] 利用(式5)的濾波系數(shù)實(shí)現(xiàn)的濾波處理用于使處理對(duì)象邊界中的像素值的變化變 平滑，如同將圖8(b)的圖像變?yōu)閳D8(c)的圖像那樣。另外，濾波系數(shù)不限于(式5)，也可W設(shè) 定為例如諸如(式6)那樣簡(jiǎn)單的值。
[0204] 【數(shù)式6】
[0205]
(或掃）
[0206] 在運(yùn)種情況下，作為較強(qiáng)的濾波器(增強(qiáng)平滑度)進(jìn)行動(dòng)作。在利用運(yùn)些方法進(jìn)行 濾波處理的情況下，能夠減少運(yùn)動(dòng)補(bǔ)償用的像素?cái)?shù)據(jù)的取得量，能夠減少處理量。
[0207] 另外，在此對(duì)距處理對(duì)象邊界的距離為2像素為止的像素是濾波對(duì)象像素的情況 進(jìn)行了說(shuō)明，但在距處理對(duì)象邊界的距離為3像素的像素是濾波對(duì)象像素的情況下，通過(guò)增 加濾波系數(shù)，也能夠進(jìn)行與上述相同的濾波處理。
[0208] 另外，濾波器的類型及濾波器的系數(shù)或者表示濾波器的強(qiáng)度的代碼也可W記述在 頭信息中。運(yùn)樣，在變換單位內(nèi)能夠清除自然圖像中不存在的急劇的邊緣。其結(jié)果是，能夠 使預(yù)測(cè)圖像接近輸入圖像，因而通過(guò)變換處理能夠高效地變換差分圖像，能夠削減編碼量。
[0209] 另外，在此對(duì)處理對(duì)象邊界為水平方向及垂直方向的情況進(jìn)行了說(shuō)明，但在處理 對(duì)象邊界為傾斜方向的情況下，也能夠進(jìn)行與上述相同的處理。
[0210] 另外，關(guān)于濾波頭信息的發(fā)送方法將在其它實(shí)施方式中詳細(xì)說(shuō)明。
[0別。（實(shí)施方式5)
[0212] 下面說(shuō)明本發(fā)明的實(shí)施方式5。在本實(shí)施方式中，圖像編碼裝置從多個(gè)濾波處理的 方法中確定最佳的濾波處理的方法，將表示所確定的濾波處理的方法的濾波信息記述在圖 像編碼信號(hào)中。
[0213] 圖13是表示本發(fā)明的實(shí)施方式5的圖像編碼裝置的功能結(jié)構(gòu)的框圖。如圖13所示， 圖像編碼裝置1300具有帖存儲(chǔ)器1301、運(yùn)動(dòng)檢測(cè)部1302、參照?qǐng)D片用存儲(chǔ)器1303、編碼控制 部1304、邊界濾波部1305、差分部1306、變換部1307、量化部1308、可變長(zhǎng)編碼部1309、逆量 化部1310、逆變換部1311、加法部1312、濾波信息記述部1313。圖像編碼裝置1300在圖1所示 的圖像編碼裝置100具有的構(gòu)成要素的基礎(chǔ)上，還具有濾波信息記述部1313。
[0214] 另外，與圖像編碼裝置100共同的處理塊中、除邊界濾波部1305和可變長(zhǎng)編碼部 1309之外的處理塊，進(jìn)行與實(shí)施方式1相同的動(dòng)作，因而省略說(shuō)明。
[0215] 關(guān)于邊界濾波部1305的動(dòng)作，使用圖14進(jìn)行說(shuō)明。圖14是用于說(shuō)明邊界濾波部 1305根據(jù)分割方法對(duì)預(yù)測(cè)圖像MC進(jìn)行濾波處理時(shí)的動(dòng)作的流程圖。
[0216] 邊界濾波部1305從編碼控制部1304取得預(yù)測(cè)圖像MC和與該預(yù)測(cè)圖像MC對(duì)應(yīng)的分 割方法(步驟S1401)。
[0217] 然后，邊界濾波部1305判定分割區(qū)域的邊界是否位于變換單位內(nèi)（步驟S4402)。 良P，邊界濾波部1305將變換單位和分割區(qū)域進(jìn)行比較，由此檢測(cè)分割區(qū)域的邊界之中位于 變換單位內(nèi)的邊界。
[0218] 具體地講，邊界濾波部1305根據(jù)與預(yù)測(cè)圖像MC對(duì)應(yīng)的分割方法來(lái)取得分割區(qū)域的 形狀信息。并且，邊界濾波部1305例如按照?qǐng)D5所示，將根據(jù)分割方法預(yù)先確定的變換單位 和分割區(qū)域進(jìn)行比較，并判定分割區(qū)域的邊界(處理對(duì)象邊界)是否位于變換單位內(nèi)。另外， 步驟S1402的處理與在實(shí)施方式1中說(shuō)明的步驟S402的處理相同，因而省略詳細(xì)說(shuō)明。
[0219] 在此，在未檢測(cè)到處理對(duì)象邊界的情況下（步驟S1402:否），在處理對(duì)象塊的預(yù)測(cè) 圖像中不進(jìn)行濾波處理而結(jié)束邊界濾波處理。
[0220] 另一方面，在檢測(cè)到處理對(duì)象邊界的情況下（步驟S1402:是），邊界濾波部1305對(duì) 于針對(duì)處理對(duì)象邊界(例如圖6(c)所示的處理對(duì)象邊界）的多個(gè)方法的濾波處理分別計(jì)算 評(píng)價(jià)值(步驟S1403)。在此，邊界濾波部1305按照在實(shí)施方式4中說(shuō)明的濾波處理的每種方 法來(lái)求出評(píng)價(jià)值。關(guān)于濾波處理的方法，例如包括無(wú)濾波器、（式2)的濾波處理(系數(shù)(0.5， 0.7,0.825))、（式2)的濾波處理(系數(shù)(0.5,0.5,0.5))、W及(式5)的濾波處理運(yùn)4種方法。 該方法的組合也是一例，例如也可W是多種方法的組合。
[0221] 作為評(píng)價(jià)值，能夠采用濾波處理后的預(yù)測(cè)圖像和輸入圖像的差分絕對(duì)值和、與濾 波方法及濾波系數(shù)的編碼量的加權(quán)和。在運(yùn)種情況下，評(píng)價(jià)值越小，評(píng)價(jià)越高。
[0222] 并且，評(píng)價(jià)值也可W是變換單位的變換處理(例如在進(jìn)行編碼時(shí)使用的變換或者 阿達(dá)瑪變換化adamard Transform)等）后的值之和。由此，還能夠適當(dāng)評(píng)價(jià)濾波處理的效 果。
[0223] 邊界濾波部1305從多種濾波處理的方法中，確定具有評(píng)價(jià)最高的評(píng)價(jià)值(此處是 值最小的評(píng)價(jià)值)的濾波處理的方法(方法及系數(shù)）。并且，邊界濾波部1305將表示所確定的 濾波處理的方法的濾波信息輸出給濾波信息記述部1313(步驟S1404)。
[0224] 另外，在所確定的濾波處理的方法是"不進(jìn)行濾波處理"運(yùn)種結(jié)果的情況下（步驟 S1405:否），邊界濾波部1305不進(jìn)行濾波處理，將運(yùn)動(dòng)補(bǔ)償圖像(預(yù)測(cè)圖像PR)原樣輸出給加 法部1312和差分部1306。另一方面，在進(jìn)行濾波處理的情況下（步驟S1405:是），邊界濾波部 1305根據(jù)在步驟S1404所確定的方法，對(duì)處理對(duì)象邊界進(jìn)行濾波處理(步驟S1406)，并將濾 波處理后的預(yù)測(cè)圖像PR輸出給加法部1312和差分部1306。
[0225] 濾波信息記述部1313將從邊界濾波部1305得到的濾波信息作為濾波頭信息輸出 給可變長(zhǎng)編碼部1309。另外，關(guān)于濾波信息記述部1313的動(dòng)作W及濾波頭信息的記述方法， 將在其它實(shí)施方式中詳細(xì)說(shuō)明。
[0226] 通過(guò)上述的本實(shí)施方式的圖像編碼方法，能夠從多個(gè)濾波處理的方法中確定濾波 效果較高的濾波處理的方法。并且，按照運(yùn)樣確定的濾波處理的方法，能夠?qū)ξ挥谧儞Q單位 內(nèi)的預(yù)測(cè)單位的邊界進(jìn)行濾波處理。其結(jié)果是，能夠使輸入圖像與預(yù)測(cè)圖像的差分更小，能 夠削減編碼量。
[0227] 另外，邊界濾波部1305對(duì)于濾波處理的方法，針對(duì)所有組合來(lái)計(jì)算評(píng)價(jià)值，但也可 W是，在評(píng)價(jià)值低于預(yù)先確定的闊值時(shí)，中止W后的評(píng)價(jià)值的計(jì)算，而將此時(shí)的濾波處理的 方法確定為最佳的濾波處理的方法。運(yùn)樣，能夠削減用于確定濾波處理的方法的處理量。 [02%]另外，如圖13所示，通過(guò)在邊界濾波部1305和變換部1307之間傳遞變換單位TU，能 夠?qū)崿F(xiàn)考慮了有無(wú)邊界濾波處理的變換單位的變更。
[0229] 圖15是表示針對(duì)分割方法的變換單位的變換尺寸候選的一例的示意圖。并且，圖 16是表示變換尺寸的確定方法的處理流程的流程圖。
[0230] 首先，邊界濾波部1305針對(duì)圖15所示的變換尺寸依次判定分割方法所表示的分割 區(qū)域(預(yù)測(cè)單位)的邊界是否位于變換單位內(nèi)（步驟S1601)。例如，在變換尺寸為8X8的情況 下，位于水平方向的3條邊界被檢測(cè)為處理對(duì)象邊界，并判定為分割區(qū)域的邊界位于變換 單位內(nèi)。
[0231] 在此，在分割區(qū)域的邊界位于變換單位內(nèi)的情況下（步驟S1601:是），邊界濾波部 1305按照?qǐng)D14所示的方法來(lái)確定成為最佳評(píng)價(jià)值的濾波處理的方法，并保存該濾波處理的 方法和評(píng)價(jià)值(步驟S1602)。在此，例如在位于變換單位內(nèi)的分割區(qū)域的邊界有3條的情況 下，邊界濾波部1305可W根據(jù)3條邊界的評(píng)價(jià)值之和，確定濾波處理的方法。
[0232] 另一方面，在分割區(qū)域的邊界不在變換單位內(nèi)的情況下（步驟S1601:否），邊界濾 波部1305計(jì)算評(píng)價(jià)值并進(jìn)行保存(步驟S1603)。例如，在變換尺寸為2 X 2的情況下，由于分 割區(qū)域的邊界不在變換單位內(nèi)，因而計(jì)算變換尺寸為2X2時(shí)的評(píng)價(jià)值。在運(yùn)種情況下，也能 夠采用與前述相同的評(píng)價(jià)值的計(jì)算方法(絕對(duì)差分和，或者按照變換單位將差分值進(jìn)行變 換得到的值之和與變換尺寸信息及濾波信息的編碼量的加權(quán)和）。
[0233] 如果計(jì)算出了所有變換尺寸的評(píng)價(jià)值，邊界濾波部1305根據(jù)評(píng)價(jià)值確定變換單位 的變換尺寸及濾波處理的方法(步驟S1604)。所確定的變換尺寸與濾波信息一起輸出給濾 波信息記述部1313,并作為流的頭信息記述在編碼序列中。
[0234] 根據(jù)W上所述，能夠確定用于使輸入圖像與濾波處理后的預(yù)測(cè)圖像的差分更小 的、分割方法及變換尺寸及濾波處理的方法。
[0235] 另外，邊界濾波部1305對(duì)于變換尺寸是針對(duì)所有組合來(lái)計(jì)算評(píng)價(jià)值，但也可W是， 在低于預(yù)先確定的闊值時(shí)中止W后的評(píng)價(jià)值的計(jì)算，而將此時(shí)的濾波處理的方法確定為最 佳的變換尺寸。運(yùn)樣，能夠削減處理量。
[0236] (實(shí)施方式6)
[0237] 圖17是表示本發(fā)明的實(shí)施方式6的圖像解碼裝置的功能結(jié)構(gòu)的框圖。該圖像解碼 裝置1700對(duì)由實(shí)施方式5的圖像編碼裝置1300生成的編碼序列進(jìn)行解碼。
[0238] 圖像解碼裝置1700具有可變長(zhǎng)解碼部1701、逆量化部1702、逆變換部1703、加法部 1704、解碼控制部1705、邊界濾波部1706、運(yùn)動(dòng)補(bǔ)償部1707、參照?qǐng)D片用存儲(chǔ)器1708、濾波信 息解碼部1709。在此，本實(shí)施方式的圖像解碼裝置1700構(gòu)成為在實(shí)施方式2的圖像解碼裝置 900中追加了濾波信息解碼部1709,除解碼控制部1705和邊界濾波部1706的動(dòng)作之外，全 部是進(jìn)行相同的動(dòng)作。
[0239] 圖18是表示本發(fā)明的實(shí)施方式6的濾波信息解碼處理的流程的流程圖。濾波信息 解碼部1709從可變長(zhǎng)解碼部1701取得濾波信息的編碼序列并進(jìn)行解碼(步驟S1801)。濾波 信息解碼部170則尋通過(guò)進(jìn)行解碼而得到的濾波邊界確定信息（用于導(dǎo)出濾波邊界確定用的 闊值的偏置(offset)值或者闊值或者邊界像素?cái)?shù))及濾波處理方法及強(qiáng)度或者系數(shù)，輸出 給解碼控制部1705(步驟S1802)。另外，解碼控制部1705將所得到的濾波邊界確定用的信息 輸出給邊界濾波部1706,在濾波處理方法是(式2)所示的方法的情況下，改變來(lái)自運(yùn)動(dòng)補(bǔ)償 部的圖像取得方法。通過(guò)進(jìn)行上述的動(dòng)作，能夠正確地對(duì)利用實(shí)施方式5的圖像編碼方法生 成的編碼序列進(jìn)行解碼。
[0240] 另外，關(guān)于圖像編碼方法是在編碼序列中記述變換單位尺寸(變換尺寸)時(shí)的動(dòng)作 的流程如圖19所示。
[0241] 濾波信息解碼部1709從可變長(zhǎng)解碼部1701取得濾波信息及變換單位尺寸的編碼 序列，并將變換單位尺寸和濾波信息進(jìn)行解碼(步驟S1901)。濾波信息解碼部170則尋通過(guò)進(jìn) 行解碼而得到的變換單位尺寸輸出給解碼控制部1705。解碼控制部1705將變換單位尺寸輸 出給逆變換部1703(步驟S1902)。并且，濾波信息解碼部170則尋通過(guò)進(jìn)行解碼而得到的濾波 邊界確定信息及濾波處理方法(系數(shù)或者強(qiáng)度)輸出給解碼控制部1705(步驟S1903)。
[0242] 通過(guò)進(jìn)行運(yùn)種動(dòng)作，在變換處理單位被記述在編碼序列中的情況下，也能夠利用 本發(fā)明的解碼方法正確將編碼序列進(jìn)行解碼。
[0243] (實(shí)施方式7)
[0244] 在本發(fā)明的實(shí)施方式7中說(shuō)明將濾波確定用的信息、表示濾波處理用的變換單位 尺寸等的濾波頭信息FltStr記述為流的頭信息，并進(jìn)行編碼及解碼的方法。
[0245] 圖20是本發(fā)明的實(shí)施方式7的圖像編碼方法的編碼序列BS的結(jié)構(gòu)圖。圖20(a)表示 與由至少1個(gè)畫(huà)面構(gòu)成的動(dòng)態(tài)圖像序列對(duì)應(yīng)的編碼信號(hào)。該編碼信號(hào)由全部畫(huà)面的數(shù)據(jù)即 序列數(shù)據(jù)SeqData、和對(duì)于全部畫(huà)面的所有數(shù)據(jù)共同的數(shù)據(jù)即序列頭Seq冊(cè)r構(gòu)成。
[0246] 濾波頭信息Fits化是指包括濾波確定用的信息、濾波處理用的變換單位尺寸等 的信息。例如，濾波頭信息FltStr包括用于針對(duì)變換單位內(nèi)的處理對(duì)象邊界將濾波器設(shè)為 0N/0FF的信息（例如N0_TU_MC_FLT_FLG = 0 (OFF)、N0_TU_MC_FLT_FLG = 1 (ON))。另外，在濾 波器為ON的情況下，濾波頭信息FltStr包括在計(jì)算濾波確定用的闊值時(shí)使用的OFFSET值或 者闊值TH或者距處理對(duì)象邊界的附近像素?cái)?shù)作為濾波確定用的信息，還包括濾波處理的方 法和濾波系數(shù)或者濾波強(qiáng)度的號(hào)碼作為濾波處理用的信息。并且，也可W是，不需要全部包 括運(yùn)些信息，而是一部分的信息采用按照?qǐng)D像編碼方法及圖像解碼方法而預(yù)先確定的值。 并且，也可W是，按照?qǐng)D21所示的變換單位尺寸來(lái)切換表210U2102等，并發(fā)送代表運(yùn)些信 息的組合的代碼號(hào)碼。另外，在此所說(shuō)濾波方法的重疊(overlap)型是指根據(jù)(式2)所示的 計(jì)算式進(jìn)行處理，所說(shuō)濾波器抽頭(tap)型是指根據(jù)(式4)所示的計(jì)算式進(jìn)行處理。并且，在 圖21的示例中，表的切換是采用了變換單位的尺寸，但不限于此。
[0247] 在序列頭中包含濾波頭信息FltStr。
[0248] 圖20(b)表示序列數(shù)據(jù)SeqData的構(gòu)造。序列數(shù)據(jù)SeqData包括與1個(gè)畫(huà)面對(duì)應(yīng)的圖 片的編碼信號(hào)即圖片信號(hào)PicStr。
[0249] 圖20(c)表示圖片信號(hào)PicS化的構(gòu)造。圖片信號(hào)PicS化由1個(gè)畫(huà)面的數(shù)據(jù)即圖片數(shù) 據(jù)PicData、和對(duì)于1個(gè)整體畫(huà)面共同的數(shù)據(jù)即圖片頭PicH化構(gòu)成。在圖片頭PicH化中包含 濾波頭信息FltStr。
[0250] 圖20(d)表示圖片數(shù)據(jù)PicData的構(gòu)造。圖片數(shù)據(jù)PicData包括由多個(gè)塊單位的集 合構(gòu)成的切片(slice)的編碼信號(hào)即切片信號(hào)SliceStr。
[0251] 圖20(e)表示切片信號(hào)SliceStr的構(gòu)造。切片信號(hào)Slices化由1個(gè)切片的數(shù)據(jù)即切 片數(shù)據(jù)SliceData、和對(duì)于1個(gè)切片的所有數(shù)據(jù)共同的數(shù)據(jù)即切片頭SliceH化構(gòu)成。通過(guò)使 在切片頭SliceH化中包含濾波頭信息Fits化，能夠正確地對(duì)按照切片數(shù)據(jù)SliceData單位 接收到的編碼信號(hào)進(jìn)行解碼。
[0252] 另外，當(dāng)在序列數(shù)據(jù)SeqData中包含多個(gè)圖片信號(hào)PicStr的情況下，也可W是僅在 一部分的圖片頭Pi地化中包含濾波頭信息Fits化，W取代在全部的圖片頭Pi地化中包含濾 波頭信息Fits化。同樣，當(dāng)在圖片數(shù)據(jù)PicData中包含多個(gè)切片信號(hào)SliceStr的情況下，也 可W是僅在一部分的切片頭SliceHdr中包含濾波頭信息Fits化，W取代在全部的切片頭 SliceH化中包含濾波頭信息Fits化。如果濾波頭信息Fits化的內(nèi)容在各個(gè)切片中是共同 的，則當(dāng)如圖20(e)所示在切片頭Slic細(xì)化中沒(méi)有濾波頭信息FltStr的情況下，通過(guò)代用其 它切片頭Slic細(xì)化的濾波頭信息Fits化，能夠抑制由于濾波頭信息FltStr的重復(fù)而造成的 比特?cái)?shù)的增加。
[0253] 另外，在編碼序列BS不是通過(guò)連續(xù)的比特流、而是通過(guò)細(xì)碎的數(shù)據(jù)的單位即包等 進(jìn)行傳輸?shù)那闆r下，也可W將頭部和頭部W外的數(shù)據(jù)部分開(kāi)獨(dú)立傳輸。在運(yùn)種情況下，如圖 20所示頭部和數(shù)據(jù)部不會(huì)成為1個(gè)比特流。但是，在采用包的情況下，即使傳輸頭部和數(shù)據(jù) 部的順序不連續(xù)，也僅僅是與數(shù)據(jù)部對(duì)應(yīng)的頭部通過(guò)與數(shù)據(jù)部不同的包進(jìn)行傳輸?shù)模词?不會(huì)成為1個(gè)比特流，在概念上也與在圖20中說(shuō)明的比特流的情況相同。
[0254] 另外，在本實(shí)施方式的解碼方法中，利用上述的方法進(jìn)行編碼而得到的編碼序列 BS，按照下面的步驟被進(jìn)行解碼。首先，取得包含于序列頭Se地化中的濾波頭信息Fits化， 并保存各個(gè)信息。然后，取得包含于圖片頭PicHdr中的濾波頭信息Fits化，并更新各個(gè)信 息。在此，在沒(méi)有濾波頭信息FltStr的情況下、或者一部分沒(méi)有的情況下，原樣保存包含于 序列頭Se地化中的信息。同樣，取得包含于切片頭Slic細(xì)化中的濾波頭信息FltStr,并更新 各個(gè)信息。
[02W]通過(guò)運(yùn)樣進(jìn)行處理，能夠正確地將上述編碼序列進(jìn)行解碼。
[0256] (實(shí)施方式8)
[0257] 在本發(fā)明的實(shí)施方式8中說(shuō)明運(yùn)樣的圖像編碼方法，即：在面內(nèi)預(yù)測(cè)圖像中，在預(yù) 測(cè)單位的邊界位于變換單位內(nèi)的情況下，與運(yùn)動(dòng)補(bǔ)償圖像的情況相同地對(duì)該邊界進(jìn)行濾波 處理。
[0258] 圖22是表示本發(fā)明的實(shí)施方式8的圖像編碼裝置的功能結(jié)構(gòu)的框圖。如圖22所示， 圖像編碼裝置2200具有差分部2201、變換/量化部2202、逆量化/逆變換部2203、加法部 2204、編碼失真去除部2205、參照?qǐng)D片用存儲(chǔ)器2206、面內(nèi)預(yù)測(cè)部2207、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部 2208、運(yùn)動(dòng)檢測(cè)部2209、開(kāi)關(guān)2210、可變長(zhǎng)編碼部2211、邊界濾波部2212。參照?qǐng)D片用存儲(chǔ)器 2206也可W構(gòu)成為與圖像編碼裝置2200連接的外部存儲(chǔ)器的形式。
[0259] 輸入圖像被輸入到圖像編碼裝置2200中。在參照?qǐng)D片用存儲(chǔ)器2206中已經(jīng)存儲(chǔ)有 已編碼圖像的解碼圖像(重建圖像），該解碼圖像被用作在對(duì)輸入圖像進(jìn)行編碼時(shí)的參照 圖片。
[0260] 另外，差分部2201與差分部106相同地進(jìn)行動(dòng)作，變換/量化部2202與變換部107及 量化部108相同地進(jìn)行動(dòng)作，逆量化/逆變換部2203與逆量化部110及逆變換部111相同地進(jìn) 行動(dòng)作，加法部2204與加法部112相同地進(jìn)行動(dòng)作，參照?qǐng)D片用存儲(chǔ)器2206與參照?qǐng)D片用存 儲(chǔ)器103相同地進(jìn)行動(dòng)作，邊界濾波部2212與邊界濾波部105相同地進(jìn)行動(dòng)作，運(yùn)動(dòng)檢測(cè)部 2209與運(yùn)動(dòng)檢測(cè)部102相同地進(jìn)行動(dòng)作。另外，在生成運(yùn)動(dòng)補(bǔ)償圖像作為預(yù)測(cè)圖像MC的情況 下，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2208、面內(nèi)預(yù)測(cè)部2207及開(kāi)關(guān)2210與編碼控制部104相同地進(jìn)行動(dòng)作。
[0261] 差分部2201生成利用后述的方法生成的預(yù)測(cè)圖像PR與輸入圖像的差分圖像，將所 生成的差分圖像輸出給變換/量化部2202。變換/量化部2202對(duì)所輸入的差分圖像實(shí)施變 換、量化處理，由此生成量化信號(hào)孤，將所生成的量化信號(hào)孤輸出給逆量化/逆變換部2203 和可變長(zhǎng)編碼部2211。逆量化/逆變換部2203對(duì)所輸入的量化信號(hào)QD實(shí)施逆量化/逆變換處 理，并生成解碼差分圖像，將所生成的解碼差分圖像輸出給加法部2204。加法部2204將從逆 量化/逆變換部2203取得的解碼差分圖像與預(yù)測(cè)圖像PR相加，由此生成重建圖像，將所生成 的重建圖像輸出給編碼失真去除部2205。
[0262] 在此，編碼失真去除部2205針對(duì)變換單位的邊界進(jìn)行用于去除編碼失真(解塊濾 波器)的處理(例如，對(duì)變換單位的邊界實(shí)施(式4)所示的濾波處理等）。另外，編碼失真去除 部2205也能夠省略處理。
[0263] 關(guān)于預(yù)測(cè)圖像MC的生成，大致劃分為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和面內(nèi)預(yù)測(cè)，并由開(kāi)關(guān)2210進(jìn) 行切換。
[0264] 說(shuō)明通過(guò)面內(nèi)預(yù)測(cè)來(lái)生成預(yù)測(cè)圖像MC的情況。面內(nèi)預(yù)測(cè)部2207從參照?qǐng)D片用存儲(chǔ) 器2206取得參照?qǐng)D片。并且，面內(nèi)預(yù)測(cè)部2207根據(jù)所取得的參照?qǐng)D片，按照預(yù)先確定的方法 (例如使鄰接的像素沿水平或者垂直方向延伸)進(jìn)行面內(nèi)預(yù)測(cè)，由此生成處理對(duì)象塊的面內(nèi) 預(yù)測(cè)圖像，并輸出給開(kāi)關(guān)2210的V'。在通過(guò)開(kāi)關(guān)2210選擇了 V'的情況下，面內(nèi)預(yù)測(cè)圖像被 作為預(yù)測(cè)圖像MC輸出給邊界濾波部2212。另外，面內(nèi)預(yù)測(cè)的分割方法被輸出給邊界濾波部 2212。在面內(nèi)預(yù)測(cè)的分割區(qū)域的邊界位于變換單位內(nèi)的情況下，邊界濾波部2212檢測(cè)該邊 界作為處理對(duì)象邊界，并對(duì)該邊界進(jìn)行濾波處理。
[0265] 說(shuō)明通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來(lái)生成預(yù)測(cè)圖像MC的情況。運(yùn)動(dòng)檢測(cè)部2209根據(jù)參照?qǐng)D片 檢測(cè)與包含于處理對(duì)象塊中的預(yù)測(cè)單位對(duì)應(yīng)的區(qū)域。并且，運(yùn)動(dòng)檢測(cè)部220則尋表示所檢測(cè) 到的區(qū)域的位置的運(yùn)動(dòng)矢量MV輸出給運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2208和可變長(zhǎng)編碼部2211。另外，關(guān) 于檢測(cè)區(qū)域的方法，能夠采用輸入圖像和參照?qǐng)D片內(nèi)的檢測(cè)對(duì)象圖像的差分和、與運(yùn)動(dòng)矢 量MV的加權(quán)和等，在運(yùn)種情況下，運(yùn)動(dòng)檢測(cè)部2209從預(yù)先確定的參照?qǐng)D片內(nèi)的捜索區(qū)域(例 如水平32像素、垂直16像素內(nèi)）中捜索取最小的值的區(qū)域的位置，并輸出表示所捜索到的區(qū) 域的位置的運(yùn)動(dòng)矢量MV。
[0266] 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2208按照每個(gè)預(yù)測(cè)單位來(lái)取出利用所取得的運(yùn)動(dòng)矢量MV表示的 參照?qǐng)D片內(nèi)的圖像，并作為處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像輸出給開(kāi)關(guān)2210的"b"。
[0267] 在通過(guò)開(kāi)關(guān)2210選擇了 "b"的情況下，運(yùn)動(dòng)補(bǔ)償圖像被作為預(yù)測(cè)圖像MC輸出給邊 界濾波部2212。另外，運(yùn)動(dòng)補(bǔ)償?shù)姆指罘椒ū惠敵鼋o邊界濾波部2212。在運(yùn)種情況下，邊界 濾波部2212與其它實(shí)施方式相同地進(jìn)行動(dòng)作。
[0268] 開(kāi)關(guān)2210按照預(yù)先確定的方法來(lái)切換作為預(yù)測(cè)圖像MC是輸出面內(nèi)預(yù)測(cè)圖像還是 輸出運(yùn)動(dòng)補(bǔ)償圖像。即，開(kāi)關(guān)2210選擇面內(nèi)預(yù)測(cè)圖像和輸出運(yùn)動(dòng)補(bǔ)償圖像中的一方作為預(yù) 測(cè)圖像MC。例如，也可W是，開(kāi)關(guān)2210將輸入圖像和面內(nèi)預(yù)測(cè)圖像的差分和、與輸入圖像和 運(yùn)動(dòng)補(bǔ)償圖像的差分和進(jìn)行比較，將差分和較小的一方的圖像作為預(yù)測(cè)圖像MC進(jìn)行輸出。 將預(yù)測(cè)圖像PR的生成方法的信息作為預(yù)測(cè)圖像生成信息CI輸出給可變長(zhǎng)編碼部2211。
[0269] 另外，也可W是，在對(duì)編碼序列追加由邊界濾波部2212確定的濾波信息的情況下， 邊界濾波部2212將濾波信息與預(yù)測(cè)圖像生成信息CI 一起輸出給可變長(zhǎng)編碼部2211。
[0270] 可變長(zhǎng)編碼部2211對(duì)量化信號(hào)孤、運(yùn)動(dòng)矢量MV及預(yù)測(cè)圖像生成信息CI實(shí)施可變長(zhǎng) 編碼處理，并作為編碼序列BS進(jìn)行輸出。
[0271] 通過(guò)采取運(yùn)種結(jié)構(gòu)，能夠在面內(nèi)預(yù)測(cè)中實(shí)現(xiàn)在實(shí)施方式1中說(shuō)明的針對(duì)位于變換 單位內(nèi)的預(yù)測(cè)單位的邊界的濾波處理。因此，在進(jìn)行面內(nèi)預(yù)測(cè)時(shí)，也能夠減小差分信號(hào)，削 減編碼量。
[0272] 另外，圖像編碼裝置2200具有面內(nèi)預(yù)測(cè)部2207和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2208,但也可W 只具有面內(nèi)預(yù)測(cè)部2207。在運(yùn)種情況下，將不需要運(yùn)動(dòng)檢測(cè)部2209和開(kāi)關(guān)2210。
[0273] (實(shí)施方式9)
[0274] 在本發(fā)明的實(shí)施方式9中說(shuō)明運(yùn)樣的圖像解碼方法，即：當(dāng)在面內(nèi)預(yù)測(cè)圖像中預(yù)測(cè) 單位的邊界位于變換單位內(nèi)的情況下，與運(yùn)動(dòng)補(bǔ)償圖像的情況相同地，對(duì)該邊界進(jìn)行濾波 處理。
[0275] 圖23是表示本發(fā)明的實(shí)施方式9的圖像解碼裝置的功能結(jié)構(gòu)的框圖。如圖23所示， 圖像解碼裝置2300具有可變長(zhǎng)解碼部2301、逆量化/逆變換部2302、加法部2303、編碼失真 去除部2304、參照?qǐng)D片用存儲(chǔ)器2305、面內(nèi)預(yù)測(cè)部2306、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2307、開(kāi)關(guān)2308、邊 界濾波部2309。參照?qǐng)D片用存儲(chǔ)器2305也可W構(gòu)成為與圖像解碼裝置2300連接的外部存儲(chǔ) 器的形式。
[0276] 在此，在參照?qǐng)D片用存儲(chǔ)器2305已經(jīng)存儲(chǔ)了已解碼的圖像，該圖像被用作在對(duì)輸 入圖像進(jìn)行解碼時(shí)的參照?qǐng)D片。
[0277] 另外，逆量化/逆變換部2302與逆量化部902及逆變換部903相同地進(jìn)行動(dòng)作，加法 部2303與加法部904相同地進(jìn)行動(dòng)作，參照?qǐng)D片用存儲(chǔ)器2305與參照?qǐng)D片用存儲(chǔ)器908及邊 界濾波部906相同地進(jìn)行動(dòng)作。并且，運(yùn)動(dòng)補(bǔ)償部907作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2307和參照?qǐng)D片 用存儲(chǔ)器2305來(lái)表現(xiàn)，解碼控制部905作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2307和面內(nèi)預(yù)測(cè)部2306和開(kāi)關(guān) 2308來(lái)表現(xiàn)。
[0278] 編碼序列BS被輸入圖像解碼裝置2300?？勺冮L(zhǎng)解碼部2301對(duì)編碼序列進(jìn)行可變長(zhǎng) 解碼，并取得預(yù)測(cè)圖像生成信息CI和運(yùn)動(dòng)信息MV和量化信號(hào)孤。并且，可變長(zhǎng)解碼部2301將 預(yù)測(cè)圖像生成信息CI輸出給開(kāi)關(guān)2308和邊界濾波部2309,將運(yùn)動(dòng)信息MV輸出給運(yùn)動(dòng)補(bǔ)償預(yù) 測(cè)部2307,將量化信號(hào)QD輸出給逆量化/逆變換部2302。
[0279] 逆量化/逆變換部2302對(duì)量化信號(hào)孤實(shí)施逆量化/逆變換處理，并生成解碼差分圖 像輸出給加法部2303。加法部2303將解碼差分圖像和后述的預(yù)測(cè)圖像PR相加，并輸出給編 碼失真去除部2304。
[0280] 編碼失真去除部2304對(duì)所輸入的信號(hào)實(shí)施編碼失真去除處理，并作為解碼圖像輸 出給參照?qǐng)D片用存儲(chǔ)器2305。
[0281] 在此，編碼失真去除部2304對(duì)變換單位的邊界進(jìn)行用于去除編碼失真(解塊)的處 理(例如，對(duì)變換處理單位的邊界實(shí)施(式4)示出的濾波處理等），也能夠省略。
[0282] 另外，關(guān)于預(yù)測(cè)圖像的生成方法，根據(jù)預(yù)測(cè)圖像生成信息Cl,與實(shí)施方式8所示的 圖像編碼裝置相同地，根據(jù)從參照?qǐng)D片用存儲(chǔ)器2305取得的參照?qǐng)D片，由面內(nèi)預(yù)測(cè)部2306 或者運(yùn)動(dòng)信息MV和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部2307生成。所生成的圖像被輸出給邊界濾波部2309,針 對(duì)位于變換處理單位內(nèi)的預(yù)測(cè)圖像邊界進(jìn)行濾波處理。另外，在對(duì)于編碼序列將濾波信息 進(jìn)行了編碼的情況下，由可變長(zhǎng)解碼部2301進(jìn)行解碼，并與預(yù)測(cè)圖像生成信息CI一起輸入 邊界濾波部2309,實(shí)施基于濾波信息的濾波處理。
[0283] 通過(guò)采取運(yùn)種結(jié)構(gòu)，能夠正確地將對(duì)于面內(nèi)預(yù)測(cè)實(shí)施了在實(shí)施方式8中說(shuō)明的針 對(duì)變換處理單位內(nèi)的預(yù)測(cè)邊界的濾波處理而得到的編碼序列解碼。
[0284] (實(shí)施方式10)
[0285] 通過(guò)將用來(lái)實(shí)現(xiàn)上述各實(shí)施方式所示的圖像編碼方法或圖像解碼方法的結(jié)構(gòu)的 程序記錄到存儲(chǔ)介質(zhì)中，能夠?qū)⑸鲜龈鲗?shí)施方式所示的處理在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單地 實(shí)施。存儲(chǔ)介質(zhì)是磁盤(pán)、光盤(pán)、光磁盤(pán)、IC卡、半導(dǎo)體存儲(chǔ)器等，只要是能夠記錄程序的介質(zhì) 就可W。
[0286] 進(jìn)而，運(yùn)里說(shuō)明在上述各實(shí)施方式中示出的圖像編碼方法及圖像解碼方法的應(yīng)用 例和使用它的系統(tǒng)。
[0287] 圖24是表示實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服 務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無(wú)線站的基站exl06、 exlO了、6x108、6x109、6x110。
[0288] 該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話網(wǎng) 6x104、及基站exl07~exl 10連接著計(jì)算機(jī)exl 11、PDA(Personal Digital Assistant) ex 112、照相機(jī)ex 113、便攜電話ex 114、游戲機(jī)ex 115等的各設(shè)備。
[0289] 但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖24那樣的結(jié)構(gòu)，也可W將某些要素組合 連接。此外，也可W不經(jīng)由作為固定無(wú)線站的基站exl07~exllO將各設(shè)備直接連接在電話 網(wǎng)exl04上。此外，也可W將各設(shè)備經(jīng)由近距離無(wú)線等直接相互連接。
[0290] 照相機(jī)exll3是能夠進(jìn)行數(shù)字?jǐn)z像機(jī)等的動(dòng)態(tài)圖像攝影的設(shè)備，照相機(jī)exll6是能 夠進(jìn)行數(shù)字照相機(jī)等的靜止圖像攝影、動(dòng)態(tài)圖像攝影的設(shè)備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband -Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、服PA巧i曲 Speed Packet Access)的便攜電話機(jī)、或P服。ersonal 化ndyphone System)等，是哪種都可W。
[0291 ] 在內(nèi)容供給系統(tǒng)exlOO中，通過(guò)將照相機(jī)exll3等經(jīng)由基站6x109、電話網(wǎng)exl04連 接在流媒體服務(wù)器exl03上，能夠進(jìn)行現(xiàn)場(chǎng)分發(fā)等。在現(xiàn)場(chǎng)分發(fā)中，對(duì)用戶使用照相機(jī)exll3 攝影的內(nèi)容(例如音樂(lè)會(huì)現(xiàn)場(chǎng)的影像等)如在上述各實(shí)施方式中說(shuō)明那樣進(jìn)行編碼處理，向 流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來(lái)的內(nèi)容數(shù)據(jù)對(duì)有請(qǐng)求的 客戶端進(jìn)行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計(jì)算機(jī)exlll、 PDAexll2、照相機(jī)exll3、便攜電話exll4、游戲機(jī)exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備 中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)。
[0292] 另外，攝影的數(shù)據(jù)的編碼處理既可W由照相機(jī)exll3進(jìn)行，也可W由進(jìn)行數(shù)據(jù)的發(fā) 送處理的流媒體服務(wù)器exl03進(jìn)行，也可W相互分擔(dān)進(jìn)行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既 可W由客戶端進(jìn)行，也可W由流媒體服務(wù)器exl03進(jìn)行，也可W相互分擔(dān)進(jìn)行。此外，并不限 于照相機(jī)6x113,也可W將由照相機(jī)exll6攝影的靜止圖像及/或動(dòng)態(tài)圖像數(shù)據(jù)經(jīng)由計(jì)算機(jī) exlll向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機(jī)exll6、計(jì)算機(jī)exlll、流媒 體服務(wù)器exl03的哪個(gè)進(jìn)行都可W，也可W相互分擔(dān)進(jìn)行。
[0293] 此外，運(yùn)些編碼解碼處理一般在計(jì)算機(jī)exlll或各設(shè)備具有的LSIe巧00中處理。 LSIe巧00既可W是單忍片，也可W是由多個(gè)忍片構(gòu)成的結(jié)構(gòu)。另外，也可W將動(dòng)態(tài)圖像編碼 解碼用的軟件裝入到能夠由計(jì)算機(jī)exlll等讀取的某些記錄介質(zhì)（CD-ROM、軟盤(pán)、硬盤(pán)等） 中、使用該軟件進(jìn)行編碼解碼處理。進(jìn)而，在便攜電話exll4是帶有照相機(jī)的情況下，也可W 將由該照相機(jī)取得的動(dòng)態(tài)圖像數(shù)據(jù)發(fā)送。此時(shí)的動(dòng)態(tài)圖像數(shù)據(jù)是由便攜電話exll4具有的 LSIe巧00編碼處理的數(shù)據(jù)。
[0294] 此外，也可W是，流媒體服務(wù)器exl03是多個(gè)服務(wù)器或多個(gè)計(jì)算機(jī)，是將數(shù)據(jù)分散 處理、記錄、及分發(fā)的。
[0W5]如W上運(yùn)樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。運(yùn)樣， 在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實(shí)時(shí)地接收、解碼、再現(xiàn)，即使是沒(méi) 有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個(gè)人廣播。
[0296] 另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖25所示，在數(shù)字廣播用系統(tǒng) ex200中也能夠裝入上述實(shí)施方式的至少圖像編碼裝置或圖像解碼裝置的某個(gè)。具體而言， 在廣播站ex201中，將對(duì)影像數(shù)據(jù)復(fù)用了音樂(lè)數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或 廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過(guò)上述各實(shí)施方式中說(shuō)明的圖像編碼方法編碼后的 數(shù)據(jù)。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM(jìn)行衛(wèi)星廣播接收 的家庭的天線ex204接收該電波，通過(guò)電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB)ex217等的裝置 將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)。
[0297] 此外，可W在將記錄在DVD、抓等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)?影像數(shù)據(jù)編碼再根據(jù)情況與音樂(lè)信號(hào)復(fù)用而寫(xiě)入記錄介質(zhì)ex215中的讀取器/記錄器ex218 中也能夠安裝上述各實(shí)施方式所示的圖像解碼裝置或圖像編碼裝置。在此情況下，可W將 再現(xiàn)的影像信號(hào)顯示在監(jiān)視器ex219上，通過(guò)記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置 或系統(tǒng)中能夠再現(xiàn)影像信號(hào)。此外，也可W在連接在有線電視用的線纜ex203或衛(wèi)星/地面 波廣播的天線ex204上的機(jī)頂盒ex217內(nèi)安裝圖像解碼裝置，將其用電視機(jī)的監(jiān)視器ex219 顯示。此時(shí)，也可W不是在機(jī)頂盒、而在電視機(jī)內(nèi)裝入圖像解碼裝置。
[0298] 圖26是表示使用在上述各實(shí)施方式中說(shuō)明的圖像解碼方法及圖像編碼方法的電 視機(jī)(接收機(jī))ex300的圖。電視機(jī)ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等 取得或者輸出對(duì)影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器6x301、將接收到的復(fù)用數(shù) 據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部6x302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離 為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘?hào)處理部ex306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/ 分罔部6x303。
[0299] 此外，電視機(jī)ex300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕?碼的聲音信號(hào)處理部ex304和影像信號(hào)處理部ex305的信號(hào)處理部ex306;具有將解碼后的 聲音信號(hào)輸出的揚(yáng)聲器ex307及顯示解碼后的影像信號(hào)的顯示器等的顯示部ex308的輸出 部6x309。進(jìn)而，電視機(jī)ex300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部 6x317。進(jìn)而，電視機(jī)ex300具有合并控制各部的控制部6x310、對(duì)各部供給電力的電源電路 部ex311。接口部ex317也可W除了操作輸入部ex312 W外，還具有與讀取器/記錄器ex218等 的外部設(shè)備連接的橋接部6x313、用來(lái)能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部6x314、用 來(lái)與硬盤(pán)等的外部記錄介質(zhì)連接的驅(qū)動(dòng)器6x315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另 夕h記錄介質(zhì)ex216是能夠通過(guò)收存的非易失性/易失性的半導(dǎo)體存儲(chǔ)元件電氣地進(jìn)行信息 的記錄的結(jié)構(gòu)。電視機(jī)ex300的各部經(jīng)由同步總線相互連接。
[0300] 首先，對(duì)電視機(jī)ex300將通過(guò)天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié) 構(gòu)進(jìn)行說(shuō)明。電視機(jī)ex300接受來(lái)自遙控器ex220等的用戶操作，基于具有CPU等的控制部 ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進(jìn)而，電 視機(jī)ex300將分離的聲音數(shù)據(jù)用聲音信號(hào)處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號(hào) 處理部ex305使用在上述各實(shí)施方式中說(shuō)明的解碼方法解碼。將解碼后的聲音信號(hào)、影像信 號(hào)分別從輸出部ex309朝向外部輸出。在輸出時(shí)，可W暫時(shí)將運(yùn)些信號(hào)儲(chǔ)存到緩沖器6x318、 ex319等中，W使聲音信號(hào)和影像信號(hào)同步再現(xiàn)。此外，電視機(jī)ex300也可W不是從廣播等、 而從磁/光盤(pán)、SD卡等的記錄介質(zhì)6x215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對(duì)電視機(jī)ex300 將聲音信號(hào)或影像信號(hào)編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進(jìn)行說(shuō)明。電視機(jī) ex300接受來(lái)自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號(hào)處理部 ex304將聲音信號(hào)編碼，由影像信號(hào)處理部ex305將影像信號(hào)使用在上述各實(shí)施方式中說(shuō)明 的編碼方法編碼。將編碼后的聲音信號(hào)、影像信號(hào)用復(fù)用/分離部ex303復(fù)用，向外部輸出。 在復(fù)用時(shí)，可W暫時(shí)將運(yùn)些信號(hào)儲(chǔ)存到緩沖器ex320、ex321等中，W使聲音信號(hào)和影像信 號(hào)同步再現(xiàn)。另外，緩沖器6義318、6義319、6義320、6記21既可^如圖示那樣具備多個(gè)，也可^ 是共用一個(gè)W上的緩沖器的結(jié)構(gòu)。進(jìn)而，在圖示W(wǎng)外，也可W在例如調(diào)制/解調(diào)部ex302或復(fù) 用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲(chǔ)存數(shù)據(jù)。
[0301] 此外，電視機(jī)ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)W外，也 可W具備受理麥克風(fēng)或照相機(jī)的AV輸入的結(jié)構(gòu)，對(duì)從它們中取得的數(shù)據(jù)進(jìn)行編碼處理。另 夕h運(yùn)里，將電視機(jī)ex300作為能夠進(jìn)行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進(jìn)行了說(shuō) 明，但也可W不能進(jìn)行運(yùn)些處理，而是僅能夠進(jìn)行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。
[0302] 此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上 述解碼處理或編碼處理由電視機(jī)6x300、讀取器/記錄器ex218的哪個(gè)進(jìn)行都可W，也可W是 電視機(jī)ex300和讀取器/記錄器ex218相互分擔(dān)進(jìn)行。
[0303] 作為一例，將從光盤(pán)進(jìn)行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的 結(jié)構(gòu)表示在圖27中。信息再現(xiàn)/記錄部ex400具備W下說(shuō)明的單元ex401、ex402、ex403、 ex404、ex405、ex406、ex407。光頭ex401對(duì)作為光盤(pán)的記錄介質(zhì)ex215的記錄面照射激光斑 而寫(xiě)入信息，檢測(cè)來(lái)自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電 氣地驅(qū)動(dòng)內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進(jìn)行激光的調(diào)制。再現(xiàn)解調(diào)部 ex403將由內(nèi)置在光頭ex401中的光檢測(cè)器電氣地檢測(cè)到來(lái)自記錄面的反射光而得到的再 現(xiàn)信號(hào)放大，將記錄在記錄介質(zhì)ex215中的信號(hào)成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖 器ex404將用來(lái)記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時(shí)保持。 盤(pán)馬達(dá)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406-邊控制盤(pán)馬達(dá)ex405的旋轉(zhuǎn)驅(qū)動(dòng)一 邊使光頭ex401移動(dòng)到規(guī)定的信息軌道，進(jìn)行激光斑的追蹤處理。系統(tǒng)控制部ex407進(jìn)行信 息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫(xiě)入的處理由系統(tǒng)控制部ex407利用保持 在緩沖器ex404中的各種信息、此外根據(jù)需要而進(jìn)行新的信息的生成、追加、并且一邊使調(diào) 制記錄部6x402、再現(xiàn)解調(diào)部6x403、伺服控制部ex406協(xié)調(diào)動(dòng)作、一邊通過(guò)光頭ex401進(jìn)行信 息的記錄再現(xiàn)來(lái)實(shí)現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過(guò)執(zhí)行讀出寫(xiě)入的程序 來(lái)執(zhí)行它們的處理。
[0304] W上，假設(shè)光頭ex401照射激光斑而進(jìn)行了說(shuō)明，但也可W是使用接近場(chǎng)光進(jìn)行高 密度的記錄的結(jié)構(gòu)。
[03化]在圖28中表示作為光盤(pán)的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面 上，W螺旋狀形成有導(dǎo)引槽(溝），在信息軌道ex230中，預(yù)先通過(guò)溝的形狀的變化而記錄有 表示盤(pán)上的絕對(duì)位置的地址信息。該地址信息包括用來(lái)確定作為記錄數(shù)據(jù)的單位的記錄塊 ex231的位置的信息，通過(guò)在進(jìn)行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信 息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域6x233、內(nèi)周區(qū)域6x232、外周 區(qū)域6x234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域6x233,配置在比數(shù)據(jù)記錄區(qū) 域ex233靠?jī)?nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄W外的特定 用途。信息再現(xiàn)/記錄部ex400對(duì)運(yùn)樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進(jìn)行編碼的聲 音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了運(yùn)些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫(xiě)。
[0306] W上，舉1層的DVD、抓等的光盤(pán)為例進(jìn)行了說(shuō)明，但并不限定于運(yùn)些，也可W是多 層構(gòu)造、在表面W外也能夠記錄的光盤(pán)。此外，也可W是在盤(pán)的相同的地方使用不同波長(zhǎng)的 顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進(jìn)行多維的記錄/再現(xiàn)的構(gòu)造的 光盤(pán)。
[0307] 此外，在數(shù)字廣播用系統(tǒng)ex200中，也可W由具有天線ex205的車ex210從衛(wèi)星 ex202等接收數(shù)據(jù)、在車ex210具有的車載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)動(dòng)態(tài)圖像。另 夕h車載導(dǎo)航儀ex211的結(jié)構(gòu)可W考慮例如在圖26所示的結(jié)構(gòu)中添加 GPS接收部的結(jié)構(gòu)，在 計(jì)算機(jī)exlll及便攜電話exll4等中也可W考慮同樣的結(jié)構(gòu)。此外，上述便攜電話exll4等的 終端與電視機(jī)ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端W外，還可W考慮只 有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng) ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂(lè)數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進(jìn)行了說(shuō)明， 但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可W，不是復(fù)用數(shù)據(jù)而是影像 數(shù)據(jù)本身也可W。
[0308] 運(yùn)樣，將在上述各實(shí)施方式中表示的圖像編碼方法或圖像解碼方法用在上述哪種 設(shè)備、系統(tǒng)中都可W，通過(guò)運(yùn)樣，能夠得到在上述各實(shí)施方式中說(shuō)明的效果。
[0309] 此外，本發(fā)明并不限定于運(yùn)樣的上述實(shí)施方式，能夠不脫離本發(fā)明的范圍而進(jìn)行 各種變形或修正。
[0310](實(shí)施方式11)
[0311] 也可W通過(guò)將在上述各實(shí)施方式中示出的圖像編碼方法或裝置、與依據(jù)MPEG-2、 MPEG4-AVC、VC-1等不同的標(biāo)準(zhǔn)的圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換，來(lái)生成影像 數(shù)據(jù)。
[0312] 運(yùn)里，在生成分別依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下，在解碼時(shí)，需要選擇 對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的解碼方法。但是，由于不能識(shí)別要解碼的影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)，所W產(chǎn) 生不能選擇適當(dāng)?shù)慕獯a方法的問(wèn)題。
[0313] 為了解決該問(wèn)題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像 數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的識(shí)別信息的結(jié)構(gòu)。W下，說(shuō)明包括通過(guò)在上述各實(shí)施方式中示出的圖 像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG-2傳 輸流形式的數(shù)字流。
[0314] 圖29是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖29所示，復(fù)用數(shù)據(jù)通過(guò)將視頻流、音頻流、 演示圖形流(PG)、交互圖形流中的1個(gè)W上進(jìn)行復(fù)用而得到。視頻流表示電影的主影像及副 影像，音頻流（IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電 影的字幕。運(yùn)里，所謂主影像，表示顯示在畫(huà)面上的通常的影像，所謂副影像，是在主影像中 用較小的畫(huà)面顯示的影像。此外，交互圖形流表示通過(guò)在畫(huà)面上配置GUI部件而制作的對(duì)話 畫(huà)面。視頻流通過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置、依據(jù)W往的MPEG-2、 MPEG4 - AVC、VC - 1等標(biāo)準(zhǔn)的圖像編碼方法或裝置編碼。音頻流由杜比AC - 3、Do 1 by Digital ?1113、]?1?、015、015-皿、或線性?〔1等的方式編碼。
[0315] 包含在復(fù)用數(shù)據(jù)中的各流通過(guò)PID被識(shí)別。例如，對(duì)在電影的影像中使用的視頻流 分配0x1011，對(duì)音頻流分配OxllOO到OxlllF,對(duì)演示圖形分配0x1200到0xl21F，對(duì)交互圖形 流分配Ox 1400到Ox 14 IF，對(duì)在電影的副影像中使用的視頻流分配Ox I BOO到Ox IB IF，對(duì)與主 聲音混合的副聲音中使用的音頻流分配OxlAOO到OxlAlF。
[0316] 圖30是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個(gè)視頻帖構(gòu)成的視頻 流6x235、由多個(gè)音頻帖構(gòu)成的音頻流ex238分別變換為PES包序列ex236及6x239,并變換為 TS包ex237及6x240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序 列ex242及6x245,再變換為T(mén)S包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過(guò)將運(yùn)些TS包復(fù)用到1條 流中而構(gòu)成。
[0317] 圖31更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖17的第1段表示視頻流的視 頻帖序列。第2段表示PES包序列。如圖17的箭頭yy 1、yy 2、yy3、yy4所示，視頻流中的多個(gè)作 為Video Presen化tion化it的I圖片、B圖片、P圖片按每個(gè)圖片被分割并保存到陽(yáng)S包的有 效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時(shí)刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時(shí)刻的DTS(Decoding Time-Stamp)。
[0318] 圖32表示最終寫(xiě)入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識(shí)別流的PID等信 息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長(zhǎng)度的包，上述 PES包被分割并保存到TS有效載荷中。在BD-ROM的情況下，對(duì)于TS包賦予4字節(jié)的TP_ Exha_Heade;r，構(gòu)成192字節(jié)的源包，寫(xiě)入到復(fù)用數(shù)據(jù)中。在TP_Extra_Heade;r中記載有ATS (A;r;rival_Time_Sl:amp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開(kāi)始時(shí)刻。在 復(fù)用數(shù)據(jù)中，源包如圖32下段所示排列，從復(fù)用數(shù)據(jù)的開(kāi)頭起遞增的號(hào)碼被稱作SPN(源包 號(hào))。
[0319] 此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流W外，還有PAT (Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為0。 PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、W及與各PID對(duì)應(yīng)的流的屬性 信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷 貝的拷貝控制信息等。PCR為了取得作為ATS的時(shí)間軸的ATCUrrival Time Clock)與作為 PTS及DTS的時(shí)間軸的STC(System Time Clock)的同步，擁有與該P(yáng)CR包被轉(zhuǎn)送至解碼器的 ATS對(duì)應(yīng)的STC時(shí)間的信息。
[0320] 圖33是詳細(xì)地說(shuō)明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開(kāi)頭，配置有記述了包含在該 PMT中的數(shù)據(jù)的長(zhǎng)度等的PMT頭。在其后面，配置有多個(gè)關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控 制信息等被記載為描述符。在描述符之后，配置有多個(gè)關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流 信息。流信息由記載有用來(lái)識(shí)別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(帖速 率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。
[0321] 在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記 5? O
[0322] 復(fù)用數(shù)據(jù)信息文件如圖34所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對(duì)一地對(duì) 應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息W及入口映射構(gòu)成。
[0323] 復(fù)用數(shù)據(jù)信息如圖34所示，由系統(tǒng)速率、再現(xiàn)開(kāi)始時(shí)刻、再現(xiàn)結(jié)束時(shí)刻構(gòu)成。系統(tǒng) 速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用 數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率W下。再現(xiàn)開(kāi)始時(shí)刻是復(fù)用數(shù)據(jù)的開(kāi)頭的視頻帖 的PTS，再現(xiàn)結(jié)束時(shí)刻設(shè)定為對(duì)復(fù)用數(shù)據(jù)的末端的視頻帖的PT巧日上I帖量的再現(xiàn)間隔的值。
[0324] 流屬性信息如圖35所示，按每個(gè)PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性 信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性 信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個(gè)圖片數(shù)據(jù)的分辨率是多 少、縱橫比是多少、帖速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編 解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對(duì)應(yīng)于哪種語(yǔ)言、采樣頻率是多少等的信 息。運(yùn)些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
[0325] 在本實(shí)施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介 質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言， 在上述各實(shí)施方式示出的圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對(duì) 包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過(guò)在上述各實(shí)施方式中示出的圖 像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過(guò)該結(jié)構(gòu)，能夠識(shí)別通過(guò)在上述各實(shí)施 方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[03%] 此外，在圖36中表示本實(shí)施方式的圖像解碼方法的步驟。在步驟exSlOO中，從復(fù) 用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著， 在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過(guò)在上述各實(shí)施方式中示 出的圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通 過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102 中，通過(guò)在上述各實(shí)施方式中示出的圖像解碼方法進(jìn)行解碼。此外，在流類型、或視頻流屬 性信息表示是依據(jù)W往的MPEG-2、MPEG4-AVC、VC - 1等的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，在步 驟exS103中，通過(guò)依據(jù)W往的標(biāo)準(zhǔn)的圖像解碼方法進(jìn)行解碼。
[0327]運(yùn)樣，通過(guò)在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時(shí)能夠判斷是 否能夠通過(guò)在上述各實(shí)施方式中示出的圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù) 不同的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所W能夠不發(fā)生錯(cuò) 誤地進(jìn)行解碼。此外，將在本實(shí)施方式中示出的圖像編碼方法或裝置、或者圖像解碼方法或 裝置用在上述任何設(shè)備、系統(tǒng)中。
[cm引（實(shí)施方式12)
[0329] 在上述各實(shí)施方式中示出的圖像編碼方法及裝置、圖像解碼方法及裝置典型地可 W由作為集成電路的LSI實(shí)現(xiàn)。作為一例，在圖37中表示1忍片化的LSIexSOO的結(jié)構(gòu)。 LSIe 巧 00 具備 W 下說(shuō)明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、 ex509,各單元經(jīng)由總線ex510連接。電源電路部ex505通過(guò)在電源是開(kāi)啟狀態(tài)的情況下對(duì)各 部供給電力，起動(dòng)為能夠動(dòng)作的狀態(tài)。
[0330] 例如在進(jìn)行編碼處理的情況下，LSIexSOO基于具有CPUex502、存儲(chǔ)器控制器 6x503、流控制器6x504、驅(qū)動(dòng)頻率控制部ex512等的控制部ex501的控制，通過(guò)AV I/Oe巧09 從麥克風(fēng)exl 17及照相機(jī)exl 13等輸入AV信號(hào)。被輸入的AV信號(hào)暫時(shí)儲(chǔ)存在SDRAM等的外部 的存儲(chǔ)器ex511中?；诳刂撇縠x501的控制，將儲(chǔ)存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)?分為多次等，向信號(hào)處理部ex507發(fā)送，在信號(hào)處理部ex507中進(jìn)行聲音信號(hào)的編碼及/或影 像信號(hào)的編碼。運(yùn)里，影像信號(hào)的編碼處理是在上述各實(shí)施方式中說(shuō)明的編碼處理。在信號(hào) 處理部ex507中，還根據(jù)情況而進(jìn)行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理， 從流I/Oe巧06向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215 中。另外，在復(fù)用時(shí)，可W暫時(shí)將數(shù)據(jù)儲(chǔ)存到緩沖器ex508中W使其同步。
[0331] 另外，在上述中，設(shè)存儲(chǔ)器ex511為L(zhǎng)SIe巧00的外部的結(jié)構(gòu)進(jìn)行了說(shuō)明，但也可W 是包含在LSIe巧00的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個(gè)，也可W具備多個(gè)緩沖 器。此外，LSIexSOO既可W形成1個(gè)忍片，也可W形成多個(gè)忍片。
[0332] 此外，在上述中，假設(shè)控制部ex510具有CP化巧02、存儲(chǔ)器控制器6x503、流控制器 6x504、驅(qū)動(dòng)頻率控制部ex512等，但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如，也可W是 信號(hào)處理部ex507還具備CPU的結(jié)構(gòu)。通過(guò)在信號(hào)處理部ex507的內(nèi)部中也設(shè)置CPU,能夠進(jìn) 一步提高處理速度。此外，作為其他例，也可W是CP化巧02具備信號(hào)處理部6x507、或作為信 號(hào)處理部ex507的一部分的例如聲音信號(hào)處理部的結(jié)構(gòu)。在運(yùn)樣的情況下，控制部ex501為 具備具有信號(hào)處理部ex507或其一部分的CP化巧02的結(jié)構(gòu)。
[0333] 另外，運(yùn)里設(shè)為L(zhǎng)SI,但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LSI、超級(jí)（S叩er) LSI、特級(jí)(ultra化SI的情況。
[0334] 此外，集成電路化的方法并不限定于LSI,也可W由專用電路或通用處理器實(shí)現(xiàn)。 也可W利用在LSI制造后能夠編程的FPGA化ield Programmable Gate Array)、或能夠重構(gòu) LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
[0335] 進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化 的技術(shù)，則當(dāng)然也可W使用該技術(shù)進(jìn)行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。
[0336] (實(shí)施方式13)
[0337] 在將通過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼 的情況下，考慮到與將依據(jù)W往的MPEG-2、MPEG4-AVC、VC - 1等標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相 比處理量會(huì)增加。因此，在LSIe巧00中，需要設(shè)定為比將依據(jù)W往的標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼時(shí) 的CP化巧02的驅(qū)動(dòng)頻率更高的驅(qū)動(dòng)頻率。但是，如果將驅(qū)動(dòng)頻率設(shè)得高，則發(fā)生消耗電力變 高的問(wèn)題。
[0338] 為了解決該問(wèn)題，電視機(jī)ex300、LSIe巧00等的圖像解碼裝置采用識(shí)別影像數(shù)據(jù)依 據(jù)哪個(gè)標(biāo)準(zhǔn)、并根據(jù)標(biāo)準(zhǔn)切換驅(qū)動(dòng)頻率的結(jié)構(gòu)。圖38表示本實(shí)施方式的結(jié)構(gòu)6x800。驅(qū)動(dòng)頻 率切換部ex803在影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置生成的 情況下，將驅(qū)動(dòng)頻率設(shè)定得高。并且，對(duì)執(zhí)行在上述各實(shí)施方式中示出的圖像解碼方法的解 碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)W往的標(biāo)準(zhǔn)的影像數(shù)據(jù) 的情況下，與影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置生成的數(shù)據(jù) 的情況相比，將驅(qū)動(dòng)頻率設(shè)定得低。并且，對(duì)依據(jù)W往的標(biāo)準(zhǔn)的解碼處理部ex802指示將影 像數(shù)據(jù)解碼。
[0339] 更具體地講，驅(qū)動(dòng)頻率切換部ex803由圖37的CP化巧02和驅(qū)動(dòng)頻率控制部ex512構(gòu) 成。此外，執(zhí)行在上述各實(shí)施方式中示出的圖像解碼方法的解碼處理部6x801、W及依據(jù)W 往的標(biāo)準(zhǔn)的解碼處理部ex802對(duì)應(yīng)于圖37的信號(hào)處理部ex507XP化巧02識(shí)別影像數(shù)據(jù)依據(jù) 哪個(gè)標(biāo)準(zhǔn)。并且，基于來(lái)自CPUe巧02的信號(hào)，驅(qū)動(dòng)頻率控制部ex512設(shè)定驅(qū)動(dòng)頻率。此外，基 于來(lái)自CPUe巧02的信號(hào)，信號(hào)處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。運(yùn)里，可W考慮在影像數(shù) 據(jù)的識(shí)別中使用例如在實(shí)施方式3中記載的識(shí)別信息。關(guān)于識(shí)別信息，并不限定于在實(shí)施方 式3中記載的信息，只要是能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的信息就可W。例如，在基于識(shí) 別影像數(shù)據(jù)利用于電視機(jī)還是利用于盤(pán)等的外部信號(hào)，來(lái)能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn) 的情況下，也可W基于運(yùn)樣的外部信號(hào)進(jìn)行識(shí)別。此外，CP化巧02的驅(qū)動(dòng)頻率的選擇例如可 W考慮如圖40所示的將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立對(duì)應(yīng)的查找表進(jìn)行。將查找表預(yù)先 保存到緩沖器6x508、或LSI的內(nèi)部存儲(chǔ)器中，CP化巧02通過(guò)參照該查找表，能夠選擇驅(qū)動(dòng)頻 率。
[0340]圖39表示實(shí)施本實(shí)施方式的方法的步驟。首先，在步驟exS200中，在信號(hào)處理部 e巧07中，從復(fù)用數(shù)據(jù)中取得識(shí)別信息。接著，在步驟exS201中，在CP化巧02中，基于識(shí)別信 息識(shí)別影像數(shù)據(jù)是否是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影 像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟 exS202中，CP化巧02向驅(qū)動(dòng)頻率控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得高的信號(hào)。并且，在驅(qū) 動(dòng)頻率控制部ex512中設(shè)定為高的驅(qū)動(dòng)頻率。另一方面，在表示是依據(jù)W往的MPEG-2、 1口￡64-4￥(：、￥(：-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟6技203中，〔?化巧02向驅(qū)動(dòng)頻率 控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得低的信號(hào)。并且，在驅(qū)動(dòng)頻率控制部ex512中，設(shè)定為與 影像數(shù)據(jù)是通過(guò)在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低 的驅(qū)動(dòng)頻率。
[0%1] 進(jìn)而，通過(guò)與驅(qū)動(dòng)頻率的切換連動(dòng)而變更對(duì)LSIe巧00或包括LSIe巧00的裝置施加 的電壓，由此能夠進(jìn)一步提高節(jié)電效果。例如，在將驅(qū)動(dòng)頻率設(shè)定得低的情況下，隨之，可W 考慮與將驅(qū)動(dòng)頻率設(shè)定得高的情況相比，將對(duì)LSIe巧00或包括LSIe巧00的裝置施加的電壓 設(shè)定得低。
[0342] 此外，驅(qū)動(dòng)頻率的設(shè)定方法只要是在解碼時(shí)的處理量大的情況下將驅(qū)動(dòng)頻率設(shè)定 得高、在解碼時(shí)的處理量小的情況下將驅(qū)動(dòng)頻率設(shè)定得低就可W，并不限定于上述的設(shè)定 方法。例如，可W考慮在將依據(jù)MPEG4-AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼的處理量大于將通過(guò)在上 述各實(shí)施方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上 述的情況相反地進(jìn)行驅(qū)動(dòng)頻率的設(shè)定。
[0343] 進(jìn)而，驅(qū)動(dòng)頻率的設(shè)定方法并不限定于使驅(qū)動(dòng)頻率低的結(jié)構(gòu)。例如，也可W考慮在 識(shí)別信息是通過(guò)在上述各實(shí)施方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況 下，將對(duì)LSIexSOO或包括LSIexSOO的裝置施加的電壓設(shè)定得高，在表示是依據(jù)W往的 1口66-2、]\0^(；4-4￥(：、￥(：-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對(duì)1^516巧00或包括1^516巧00 的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可W考慮在識(shí)別信息表示是通過(guò)在上述 各實(shí)施方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CP化巧02的驅(qū)動(dòng) 停止，在表示是依據(jù)W往的1?66-2、1?664-4￥(：、￥(：-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，由 于在處理中有富余，所W使CPUe巧02的驅(qū)動(dòng)暫停。也可W考慮在識(shí)別信息表示是通過(guò)在上 述各實(shí)施方式中示出的圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有 富余則使CPUex502的驅(qū)動(dòng)暫停。在此情況下，可W考慮與表示是依據(jù)W往的MPEG-2、 MPEG4-AVC、VC - 1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，將停止時(shí)間設(shè)定得短。
[0344] 運(yùn)樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標(biāo)準(zhǔn)來(lái)切換驅(qū)動(dòng)頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外， 在使用電池來(lái)驅(qū)動(dòng)LSIe巧00或包括LSIe巧00的裝置的情況下，能夠隨著節(jié)電而延長(zhǎng)電池的 壽命。
[0345] (實(shí)施方式14)
[0346] 在電視機(jī)、便攜電話等上述的設(shè)備、系統(tǒng)中，有時(shí)被輸入依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影 像數(shù)據(jù)。運(yùn)樣，為了使得在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下也能夠解碼， LSIe巧00的信號(hào)處理部ex507需要對(duì)應(yīng)于多個(gè)標(biāo)準(zhǔn)。但是，如果單獨(dú)使用對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的 信號(hào)處理部6x507,則發(fā)生LSIe巧00的電路規(guī)模變大、此外成本增加的問(wèn)題。
[0347] 為了解決該問(wèn)題，采用將用來(lái)執(zhí)行在上述各實(shí)施方式中示出的圖像解碼方法的解 碼處理部、和依據(jù)W往的1?66-2、1?664-4￥(：、￥(：-1等的標(biāo)準(zhǔn)的解碼處理部一部分共用的 結(jié)構(gòu)。圖41 (a)的ex900表示該結(jié)構(gòu)例。例如，在上述各實(shí)施方式中示出的圖像解碼方法和依 據(jù)MPEG4-AVC標(biāo)準(zhǔn)的圖像解碼方法在賭編碼、逆量化、解塊濾波器、運(yùn)動(dòng)補(bǔ)償?shù)鹊奶幚碇杏?一部分處理內(nèi)容共通。可W考慮如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用對(duì)應(yīng)于MPEG4-AVC標(biāo) 準(zhǔn)的解碼處理部6x902,關(guān)于不對(duì)應(yīng)于MPEG4-AVC標(biāo)準(zhǔn)的本發(fā)明的一個(gè)方式所特有的其他 的處理內(nèi)容，使用專用的解碼處理部6x901。特別是，本發(fā)明在分割區(qū)域的邊界的濾波處理 方面具有特征，因此可W考慮例如對(duì)于分割區(qū)域的邊界的濾波處理使用專用的解碼處理部 6x901，對(duì)于除此之外的賭編碼、解塊濾波、運(yùn)動(dòng)補(bǔ)償中的某一個(gè)或者全部的處理，共用解碼 處理部。關(guān)于解碼處理部的共用，也可W是如下結(jié)構(gòu)：關(guān)于共通的處理內(nèi)容，共用用來(lái)執(zhí)行 在上述各實(shí)施方式中示出的圖像解碼方法的解碼處理部，關(guān)于MPEG4-AVC標(biāo)準(zhǔn)所特有的處 理內(nèi)容，使用專用的解碼處理部。
[0348] 此外，用圖41(b)的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用 與本發(fā)明所特有的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部exlOOl、和與其他的W往標(biāo)準(zhǔn)所特有 的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部6x1002、和與在本發(fā)明的圖像解碼方法和其他的W往 標(biāo)準(zhǔn)的圖像解碼方法中共通的處理內(nèi)容對(duì)應(yīng)的共用的解碼處理部ex100 3的結(jié)構(gòu)。運(yùn)里，專 用的解碼處理部ex100 1、ex100 2并不一定是為本發(fā)明的一個(gè)方式、或者其他的W往標(biāo)準(zhǔn)所 特有的處理內(nèi)容而特殊化的，可W是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由 LSIe巧00安裝本實(shí)施方式的結(jié)構(gòu)。
[0349] 運(yùn)樣，對(duì)于在本發(fā)明的圖像解碼方法和W往的標(biāo)準(zhǔn)的圖像解碼方法中共通的處理 內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
[03加]產(chǎn)業(yè)上的可利用性
[0351] 根據(jù)本發(fā)明，能夠提高編碼效率，能夠應(yīng)用于存儲(chǔ)、傳輸、通信等各種用途。例如， 能夠應(yīng)用于電視機(jī)、數(shù)字視頻記錄器、汽車導(dǎo)航、便攜電話、數(shù)字照相機(jī)、數(shù)字視頻攝像機(jī)等 高清晰度的信息顯示設(shè)備或攝像設(shè)備，且應(yīng)用價(jià)值高。
[0352] 標(biāo)號(hào)說(shuō)明
[0353] 100、1300、2200圖像編碼裝置；101、1301帖存儲(chǔ)器；102、1302、2209運(yùn)動(dòng)檢測(cè)部； 103、908、1303、1708、2206、2305 參照?qǐng)D片用存儲(chǔ)器；104、1304 編碼控制部；105、906、1305、 1706、2212、2309邊界濾波部；106、1306、2201差分部；107、1307變換部；108、1308量化部； 109、1309、2211 可變長(zhǎng)編碼部；110、902、1310、1702逆量化部；111、903、1311、1703 逆變換 部；112、904、1312、1704、2204、2303加法部；900、1700、2300圖像解碼裝置;901、1701、2301 可變長(zhǎng)解碼部;905、1705解碼控制部;907、1707運(yùn)動(dòng)補(bǔ)償部；1313濾波信息記述部；1709濾 波信息解碼部;2210、2308開(kāi)關(guān);2202變換/量化部;2203、2302逆量化/逆變換部;2205、2304 編碼失真去除部;2207、2306面內(nèi)預(yù)測(cè)部;2208、2307運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部。
【主權(quán)項(xiàng)】
1. 一種圖像編碼方法，按照每個(gè)塊對(duì)輸入圖像進(jìn)行編碼來(lái)生成圖像編碼信號(hào)，其特征 在于， 該圖像編碼方法包括： 預(yù)測(cè)步驟，按照將處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處 理，由此生成所述處理對(duì)象塊的預(yù)測(cè)圖像； 邊界濾波步驟，在所述預(yù)測(cè)圖像中，在變換單位的邊界和所述預(yù)測(cè)單位的邊界不一致 時(shí)，進(jìn)行針對(duì)所述預(yù)測(cè)單位的邊界之中位于所述變換單位內(nèi)的邊界的濾波處理，所述變換 單位是將處理對(duì)象塊進(jìn)行分割得到的區(qū)域并且是頻率變換處理的處理單位;以及 差分步驟，通過(guò)計(jì)算所述濾波處理后的預(yù)測(cè)圖像與所述輸入圖像的差分，生成所述處 理對(duì)象塊的差分圖像。2. 根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于， 在所述邊界濾波步驟中不進(jìn)行針對(duì)所述變換單位的邊界的濾波處理。3. 根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于， 所述圖像編碼方法還包括： 濾波信息記述步驟，將表示所述邊界濾波步驟中的濾波處理的方法的濾波信息記述在 所述圖像編碼信號(hào)中。4. 根據(jù)權(quán)利要求1~3中任意一項(xiàng)所述的圖像編碼方法，其特征在于， 所述預(yù)測(cè)步驟包括： 運(yùn)動(dòng)檢測(cè)步驟，通過(guò)按照每個(gè)所述預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)估計(jì)，按每個(gè)所述預(yù)測(cè)單位檢測(cè) 運(yùn)動(dòng)矢量；以及 運(yùn)動(dòng)補(bǔ)償步驟，通過(guò)根據(jù)所檢測(cè)到的所述運(yùn)動(dòng)矢量按每個(gè)所述預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ) 償，生成所述處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像作為所述預(yù)測(cè)圖像。5. 根據(jù)權(quán)利要求1~3中任意一項(xiàng)所述的圖像編碼方法，其特征在于， 所述預(yù)測(cè)步驟包括： 面內(nèi)預(yù)測(cè)步驟，通過(guò)根據(jù)已編碼塊的重建圖像按每個(gè)所述預(yù)測(cè)單位進(jìn)行面內(nèi)預(yù)測(cè)，生 成所述處理對(duì)象塊的面內(nèi)預(yù)測(cè)圖像作為所述預(yù)測(cè)圖像。6. 根據(jù)權(quán)利要求1~3中任意一項(xiàng)所述的圖像編碼方法，其特征在于， 所述預(yù)測(cè)步驟包括： 運(yùn)動(dòng)檢測(cè)步驟，通過(guò)按照每個(gè)所述預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)估計(jì)，按每個(gè)所述預(yù)測(cè)單位檢測(cè) 運(yùn)動(dòng)矢量； 運(yùn)動(dòng)補(bǔ)償步驟，通過(guò)根據(jù)所檢測(cè)到的所述運(yùn)動(dòng)矢量按每個(gè)所述預(yù)測(cè)單位進(jìn)行運(yùn)動(dòng)補(bǔ) 償，生成所述處理對(duì)象塊的運(yùn)動(dòng)補(bǔ)償圖像； 面內(nèi)預(yù)測(cè)步驟，通過(guò)根據(jù)已編碼塊的重建圖像按每個(gè)所述預(yù)測(cè)單位進(jìn)行面內(nèi)預(yù)測(cè)，生 成所述處理對(duì)象塊的面內(nèi)預(yù)測(cè)圖像;以及 編碼方法切換步驟，將所述運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測(cè)圖像進(jìn)行比較，并選擇所述 運(yùn)動(dòng)補(bǔ)償圖像和所述面內(nèi)預(yù)測(cè)圖像中的一方作為所述預(yù)測(cè)圖像。7. -種圖像編碼裝置，按照每個(gè)塊對(duì)輸入圖像進(jìn)行編碼來(lái)生成圖像編碼信號(hào)，其特征 在于， 該圖像編碼裝置包括： 預(yù)測(cè)機(jī)構(gòu)，按照將處理對(duì)象塊進(jìn)行分割得到的每個(gè)區(qū)域即每個(gè)預(yù)測(cè)單位進(jìn)行預(yù)測(cè)處 理，由此生成所述處理對(duì)象塊的預(yù)測(cè)圖像； 邊界濾波機(jī)構(gòu)，在所述預(yù)測(cè)圖像中，在變換單位的邊界和所述預(yù)測(cè)單位的邊界不一致 時(shí)，進(jìn)行針對(duì)所述預(yù)測(cè)單位的邊界之中位于所述變換單位內(nèi)的邊界的濾波處理，所述變換 單位是將處理對(duì)象塊進(jìn)行分割得到的區(qū)域并且是頻率變換處理的處理單位;以及 差分機(jī)構(gòu)，通過(guò)計(jì)算所述濾波處理后的預(yù)測(cè)圖像與所述輸入圖像的差分，生成所述處 理對(duì)象塊的差分圖像。
【文檔編號(hào)】H04N19/86GK105847814SQ201610334858
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2011年4月12日
【發(fā)明人】笹井壽郎, 西孝啟, 柴原陽(yáng)司
【申請(qǐng)人】松下電器（美國(guó)）知識(shí)產(chǎn)權(quán)公司