彩色圖像編碼裝置、彩色圖像解碼裝置、彩色圖像編碼方法以及彩色圖像解碼方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及高效進行彩色動態(tài)圖像的編碼的彩色圖像編碼裝置和彩色圖像編碼 方法、以及對高效編碼后的彩色動態(tài)圖像進行解碼的彩色圖像解碼裝置和彩色圖像解碼方 法。
【背景技術(shù)】
[0002] 例如，在下面的非專利文獻1中記載的現(xiàn)有的彩色圖像編碼裝置中，將輸入的彩 色圖像分割為規(guī)定大小的最大編碼塊，并進一步將最大編碼塊分層分割為更細小的編碼 塊。
[0003] 并且，通過將該編碼塊進一步分割為更細小的預(yù)測塊，實施針對該預(yù)測塊的畫面 內(nèi)預(yù)測和/或運動補償預(yù)測，由此生成預(yù)測誤差。
[0004] 并且，在編碼塊內(nèi)將該預(yù)測誤差分層地分割為變換塊，對各自的變換系數(shù)進行熵 編碼，由此達成較高的壓縮率。
[0005] 在現(xiàn)有的彩色圖像編碼裝置中，當(dāng)進行YUV4:2:0信號的編碼的情況下，通過將色 差信號的編碼塊、預(yù)測塊以及變換塊的塊分割信息設(shè)為與亮度信號相同，從而無需對色差 信號的變換塊尺寸涉及的信息進行編碼，提高了色差信號的編碼效率。
[0006] 此時，關(guān)于色差信號的分割對象塊的尺寸，除了為可取的最小塊尺寸而無法再被 分割的情況以外，色差信號的塊尺寸在縱橫方向上均成為亮度信號的塊尺寸的一半的尺 寸。
[0007] 在先技術(shù)文獻
[0008] 非專利文獻
[0009] 非專利文獻 I :B. Bross，W. -J. Han，J. -R. Ohm，G. J. Sullivan，Y. -K. Wang and T.Wiegand，"High Efficiency Video Coding (HEVC) text specification draft 10(for FDIS&Consent) doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and IS0/IEC JTC1/SC29/WG11,12th Meeting,2013

【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的課題
[0011] 現(xiàn)有的彩色圖像編碼裝置按照如上所述構(gòu)成，因此，在彩色圖像的信號格式為 YUV4:2:0時色差信號的幀內(nèi)預(yù)測處理中使用的預(yù)測模式是與亮度信號的幀內(nèi)預(yù)測處理中 使用的預(yù)測模式相同的亮度色差公共內(nèi)部（Intra)預(yù)測模式（DM模式）的情況下，如圖25 所示，如果亮度信號的預(yù)測模式是方向性預(yù)測，則色差信號也進行與亮度信號相同的預(yù)測 方向（角度）的方向性預(yù)測即可。但是，在彩色圖像的信號格式為YUV4:2:2的情況下，色差 信號成為只有水平方向的像素被間疏（間引 <)為亮度信號的一半的像素數(shù)后的信號，因 此如圖26所示，當(dāng)以與亮度信號相同的預(yù)測方向（角度）進行色差信號的方向性預(yù)測時， 在認為是對水平方向的像素進行間疏前的色差信號的情況下，存在預(yù)測方向不同于亮度信 號的預(yù)測方向，色差信號的預(yù)測效率降低的問題。
[0012] 本發(fā)明正是為了解決上述這樣的問題而提出的，其目的在于，得到一種即使在彩 色圖像的信號格式為YUV4:2:2的情況下，也不會導(dǎo)致色差信號的預(yù)測效率的降低且能夠 提高編碼效率的彩色圖像編碼裝置以及彩色圖像編碼方法。
[0013] 并且，本發(fā)明的目的還在于，得到一種能夠準(zhǔn)確地由編碼效率得到改善的編碼數(shù) 據(jù)解碼出圖像的彩色圖像解碼裝置以及彩色圖像解碼方法。
[0014] 用于解決課題的手段
[0015] 本發(fā)明的彩色圖像編碼裝置在彩色圖像的信號格式為YUV4:2:2的情況下，內(nèi)部 預(yù)測單元變換示出針對亮度信號的內(nèi)部預(yù)測模式的索引，以變換后的索引所示的內(nèi)部預(yù)測 模式，實施色差信號的幀內(nèi)預(yù)測處理。
[0016] 發(fā)明效果
[0017] 根據(jù)本發(fā)明，構(gòu)成為在彩色圖像的信號格式為YUV4:2:2的情況下，內(nèi)部預(yù)測單 元變換示出針對亮度信號的內(nèi)部預(yù)測模式的索引，以變換后的索引所示的內(nèi)部預(yù)測模 式，實施色差信號的幀內(nèi)預(yù)測處理，因此具有如下的效果：即使在彩色圖像的信號格式為 YUV4:2:2的情況下，也不會導(dǎo)致色差信號的預(yù)測效率的降低且能夠提高編碼效率。
【附圖說明】
[0018] 圖1是示出本發(fā)明的實施方式1的彩色圖像編碼裝置的結(jié)構(gòu)圖。
[0019] 圖2是示出本發(fā)明的實施方式1的彩色圖像編碼裝置的處理內(nèi)容（圖像編碼方 法）的流程圖。
[0020] 圖3是示出本發(fā)明的實施方式1的彩色圖像解碼裝置的結(jié)構(gòu)圖。
[0021] 圖4是示出本發(fā)明的實施方式1的彩色圖像解碼裝置的處理內(nèi)容（圖像解碼方 法）的流程圖。
[0022] 圖5是示出最大編碼塊被分層地分割為多個編碼塊的示例的說明圖。
[0023] 圖6的（a)是示出分割后的編碼塊以及預(yù)測塊的分布的說明圖，（b)是示出通過 分層分割來分配編碼模式m (Bn)的情況的說明圖。
[0024] 圖7是示出編碼塊Bn內(nèi)的各預(yù)測塊P ^可選擇的內(nèi)部預(yù)測模式的一例的說明圖。
[0025] 圖8是示出在I1"= Hi1"= 4的情況下生成預(yù)測圖像生成塊內(nèi)的像素的預(yù)測值時使 用的像素的一例的說明圖。
[0026] 圖9是示出以預(yù)測圖像生成塊內(nèi)的左上像素為原點的相對坐標(biāo)的說明圖。
[0027] 圖10是示出量化矩陣的一例的說明圖。
[0028] 圖11是示出本發(fā)明的實施方式1的在彩色圖像編碼裝置的環(huán)路濾波部中使用多 個環(huán)路濾波處理的情況下的結(jié)構(gòu)例的說明圖。
[0029] 圖12是示出本發(fā)明的實施方式1的在彩色圖像解碼裝置的環(huán)路濾波部中使用多 個環(huán)路濾波處理的情況下的結(jié)構(gòu)例的說明圖。
[0030] 圖13是示出編碼比特流的一例的說明圖。
[0031] 圖14是示出像素自適應(yīng)偏移處理的類別分類方法的索引的說明圖。
[0032] 圖15是示出16X 16像素尺寸的正交變換中的變換系數(shù)的編碼順序的說明圖。
[0033] 圖16是示出16X 16像素尺寸的正交變換中的變換系數(shù)的分布的一例的說明圖。
[0034] 圖17是示出平均值預(yù)測時的濾波處理的濾波器切換區(qū)域的說明圖。
[0035] 圖18是示出平均值預(yù)測時的濾波處理的參照像素配置的說明圖。
[0036] 圖19是示出場編碼時對內(nèi)部預(yù)測圖像的濾波處理的說明圖。
[0037] 圖20是示出實施YUV4:2:0格式的信號中的亮度信號以及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0038] 圖21是示出實施YUV4:2:2格式的信號中的亮度信號以及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0039] 圖22是示出實施YUV4:4:4格式的信號中的亮度信號以及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0040] 圖23是示出色差信號的內(nèi)部預(yù)測參數(shù)與色差內(nèi)部預(yù)測模式的對應(yīng)示例的說明 圖。
[0041] 圖24是示出不使用LM模式的情況下的色差信號的內(nèi)部預(yù)測參數(shù)與色差內(nèi)部預(yù)測 模式的對應(yīng)示例的說明圖。
[0042] 圖25是示出在YUV4:2:0格式的信號中亮度信號和色差信號使用相同的方向性預(yù) 測的情況的說明圖。
[0043] 圖26是示出在YUV4:2:2格式的信號中亮度信號和色差信號使用相同的方向性預(yù) 測的情況的說明圖。
[0044] 圖27是示出YUV4:4:4格式與YUV4:2:2格式之間的關(guān)系的說明圖。
[0045] 圖28是示出與在YUV4:4:4格式的信號中亮度信號和色差信號使用相同的方向性 預(yù)測等效的、YUV4:2:2格式下的方向性預(yù)測的示例的說明圖。
[0046] 圖29是示出YUV4:2:2格式的信號的方向性預(yù)測的預(yù)測方向矢量的說明圖。
[0047] 圖30是示出方向性預(yù)測與角度之間的關(guān)系的說明圖。
[0048] 圖31是示出在YUV4:2:2格式的信號中亮度信號的內(nèi)部預(yù)測模式索引與色差信號 的內(nèi)部預(yù)測模式索引之間的關(guān)系的說明圖。
[0049] 圖32是示出內(nèi)部預(yù)測模式索引與tan Θ之間的關(guān)系的說明圖。
【具體實施方式】
[0050] 下面，為了更加詳細地說明本發(fā)明，按照附圖對用于實施本發(fā)明的實施方式進行 說明。
[0051] 實施方式1
[0052] 圖1是示出本發(fā)明的實施方式1的彩色圖像編碼裝置的結(jié)構(gòu)圖。
[0053] 被該實施方式1的彩色圖像編碼裝置作為處理對象的視頻信號是視頻幀由水平/ 垂直的二維數(shù)字采樣（像素）串構(gòu)成的任意的視頻信號，包含由亮度信號和2個色差信號 構(gòu)成的YUV信號、從數(shù)字攝像元件輸出的RGB信號等任意顏色空間的彩色視頻信號、單色圖 像信號、紅外線圖像信號等。
[0054] 各像素的灰度可以是8位，也可以是10位、12位等的灰度。
[0055] 并且，由于靜態(tài)圖像信號能夠被解釋為僅由1幀構(gòu)成的視頻信號，因此當(dāng)然輸入 信號也可以不是視頻信號而是靜態(tài)圖像信號。
[0056] 在下面的說明中，為了方便起見，在沒有特別指定的情況下，設(shè)輸入的視頻信號是 如下格式的信號：相對于亮度成分Y，2個色差成分U、V在縱橫方向上均被子米樣為1/2的 YUV4:2:0格式；相對于亮度成分Y，2個色差成分U、V在橫向上被子采樣為1/2的YUV4:2:2 格式；或者2個色差成分U、V與亮度成分Y采樣數(shù)相同的YUV4:4:4格式。并且，關(guān)于由紅 色（R)、綠色（G)、藍色（B)這三原色的信號構(gòu)成的RGB4:4:4格式的信號，將各個信號視為 YUV4:4:4格式的信號而進行與YUV4:4:4格式相同的編碼。但是，關(guān)于RGB4:4:4格式的各 信號（RGB)如何與YUV4:4:4格式的各信號（YUV)對應(yīng)并不作限定（可以任意設(shè)定）。
[0057] 另外，將與視頻的各幀對應(yīng)的處理數(shù)據(jù)單位稱為"圖片（picture) "，在該實施方式 1中，"圖片"作為被依次掃描（圖像順序掃描（progressive scan))的視頻幀的信號進行 說明。但是，在視頻信號為隔行（interlace)信號的情況下，"圖片"也可以是作為構(gòu)成視頻 幀的單位的場（field)圖像信號。
[0058] 在圖1中，片分割部14在輸入視頻信號作為輸入圖像時，實施依照由編碼控制部 2決定的片分割信息將該輸入圖像分割為一個以上的被稱為"片（slice) "的部分圖像的處 理。片的分割單位能夠細小至后文敘述的編碼塊單位。
[0059] 每當(dāng)輸入由片分割部14分割得到的片時，塊分割部1實施如下處理：將該片分割 為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，并且將該最大編碼塊分層分割 為各個編碼塊，直至達到由編碼控制部2決定出的上限層數(shù)。
[0060] 即，塊分割部1實施根據(jù)由編碼控制部2決定的分割將片分割為各個編碼塊并輸 出該編碼塊的處理。并且，各個編碼塊被分割為作為預(yù)測處理單位的一個或多個預(yù)測塊。
[0061] 編碼控制部2實施如下處理：決定作為實施編碼處理時的處理單位的編碼塊的最 大尺寸，并且決定分層分割最大尺寸的編碼塊時的上限分層數(shù)，由此決定各個編碼塊的尺 寸。
[0062] 另外，編碼控制部2實施從可選擇的一個以上的編碼模式（表示預(yù)測處理單位的 預(yù)測塊的尺寸等不同的一個以上的內(nèi)部編碼模式、預(yù)測塊的尺寸等不同的一個以上的幀間 (Inter)編碼模式）中選擇適用于從塊分割部1輸出的編碼塊的編碼模式的處理。作為選 擇方法的例子，有從可選擇的一個以上的編碼模式中選擇對從塊分割部1輸出的編碼塊的 編碼效率最高的編碼模式的方法。
[0063] 另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是內(nèi)部編碼模式 的情況下，按照每個預(yù)測塊決定以該內(nèi)部編碼模式對編碼塊實施內(nèi)部預(yù)測處理時使用的內(nèi) 部預(yù)測參數(shù)，其中，該預(yù)測塊是上述內(nèi)部編碼模式所示的預(yù)測處理單位；在編碼效率最高的 編碼模式是幀間編碼模式的情況下，按照每個預(yù)測塊決定以該幀間編碼模式對編碼塊實施 幀間預(yù)測處理時使用的幀間預(yù)測參數(shù)，其中，該預(yù)測塊是上述幀間編碼模式所示的預(yù)測處 理單位。
[0064] 另外，編碼控制部2實施決定提供給變換/量化部7以及逆量化/逆變換部8的 預(yù)測差分編碼參數(shù)的處理。預(yù)測差分編碼參數(shù)包含表示編碼塊中的成為正交變換處理單位 的變換塊的分割信息的變換塊分割信息、規(guī)定進行變換系數(shù)量化時的量化步階大小的量化 參數(shù)等。
[0065] 在此，圖20是示出實施YUV4:2:0格式的信號中的亮度信號以及色差信號的壓縮 處理（變換處理、量化處理）時的變換塊尺寸的說明圖。
[0066] 如圖20所示，變換塊尺寸由以四叉樹（Quadtree)狀對編碼塊進行分層分割的情 況來決定。
[0067] 例如，根據(jù)在分割變換塊的情況下和不分割變換塊的情況下的編碼量、考慮到編 碼誤差的評價尺度等，來決定是否分割變換塊以使評價值最小，由此能夠從編碼量和編碼 誤差折衷的觀點出發(fā)來決定最佳的變換塊的分割形狀。
[0068] 關(guān)于亮度信號，例如，如圖20所示，構(gòu)成為編碼塊被分層分割為一個或多個正方 形的變換塊。
[0069] 關(guān)于色差信號，如圖20所示，在輸入信號格式為YUV4:2:0信號的情況下，與亮度 信號同樣地，構(gòu)成為編碼塊被分層分割為一個或多個正方形的變換塊。
[0070] 在該情況下，色差信號的變換塊尺寸在縱橫方向上均為對應(yīng)的亮度信號的變換塊 的一半的尺寸。
[0071] 如圖21所示，在輸入信號格式為YUV4:2:2信號的情況下，進行與亮度信號同樣的 四叉樹狀的分層分割。并且，分割后的塊的形狀成為垂直方向的像素數(shù)為水平方向的像素 數(shù)的2倍的長方形，因此通過進一步在上下方向上對分割后的塊一分為二，成為由2個與 YUV4:2:0信號的色差信號相同塊尺寸（縱橫方向上均為亮度信號的變換塊的一半的尺寸） 的變換塊構(gòu)成。
[0072] 另外，如圖22所不，在輸入信號格式為YUV4:4:4信號的情況下，色差信號的變換 塊始終進行與亮度信號的變換塊同樣的分割，構(gòu)成為相同尺寸的變換塊。
[0073] 亮度信號的變換塊的分割信息例如作為表示是否按照每層進行分割的變換塊分 割標(biāo)志輸出給可變長度編碼部13。
[0074] 切換開關(guān)3實施如下處理：如果由編碼控制部2決定的編碼模式為內(nèi)部編碼模式， 則將從塊分割部1輸出的編碼塊輸出給內(nèi)部預(yù)測部4,如果由編碼控制部2決定的編碼模式 為幀間編碼模式，則將從塊分割部1輸出的編碼塊輸出給運動補償預(yù)測部5。
[0075] 內(nèi)部預(yù)測部4實施如下處理：在編碼控制部2選擇內(nèi)部編碼模式作為與從切換開 關(guān)3輸出的編碼塊對應(yīng)的編碼模式的情況下，參照存儲在內(nèi)部預(yù)測用存儲器10中的局域解 碼圖像，實施利用由編碼控制部2決定的內(nèi)部預(yù)測參數(shù)的內(nèi)部預(yù)測處理（幀內(nèi)預(yù)測處理）， 生成內(nèi)部預(yù)測圖像。另外，內(nèi)部預(yù)測部4構(gòu)成內(nèi)部預(yù)測單元。
[0076] 即，內(nèi)部預(yù)測部4對于亮度信號實施使用亮度信號的內(nèi)部預(yù)測參數(shù)的內(nèi)部預(yù)測處 理（幀內(nèi)預(yù)測處理），生成亮度信號的預(yù)測圖像。
[0077] 另一方面，對于色差信號，在色差信號的內(nèi)部預(yù)測參數(shù)示出使用與針對亮度信號 的內(nèi)部預(yù)測模式相同的預(yù)測模式的情況下（內(nèi)部預(yù)測參數(shù)示出亮度色差公共內(nèi)部預(yù)測模 式（DM模式）的情況下），實施與亮度信號相同的幀內(nèi)預(yù)測，生成色差信號的預(yù)測圖像。
[0078] 另外，在色差信號的內(nèi)部預(yù)測參數(shù)示出垂直方向預(yù)測模式或水平方向預(yù)測模式的 情況下，實施針對色差信號的方向性預(yù)測，生成色差信號的預(yù)測圖像。
[0079] 另外，在色差信號的內(nèi)部預(yù)測參數(shù)示出利用與亮度的相關(guān)性的色差信號預(yù)測模 式（LM模式）的情況下，使用與預(yù)測圖像的生成對象塊的上側(cè)和左側(cè)相鄰的多個像素的亮 度信號和色差信號，計算示出亮度信號與色差信號之間的相關(guān)性的相關(guān)性參數(shù)，使用該相 關(guān)性參數(shù)和與作為預(yù)測處理對象的色差信號的塊對應(yīng)的亮度信號，生成色差信號的預(yù)測圖 像。
[0080] 另外，也可以構(gòu)成為：在輸入信號格式為YUV4:4:4信號的情況下，實施上述DM模 式或者上述LM模式的處理而不選擇其它預(yù)測模式。
[0081] 在YUV4:4:4信號的情況下，亮度信號的邊緣位置與色差信號的邊緣位置之間存 在較高的相關(guān)性關(guān)系，因此禁止對色差信號應(yīng)用與亮度信號不同的預(yù)測模式，由此能夠削 減該色差信號的內(nèi)部預(yù)測模式的信息量，提高編碼效率。
[0082] 另外，在輸入信號格式為YUV4:2:2信號的情況下，如圖27所示，如果亮度信號為 正方形的塊，則色差信號成為與亮度信號相比水平方向的像素數(shù)為亮度信號的1/2的長方 形的塊。因此，如圖28所示，在將YUV4:4:4信號變換為YUV4:2:2信號時，為了使亮度信號 和色差信號成為同一方向的預(yù)測，在垂直方向預(yù)測和水平方向預(yù)測以外的方向性預(yù)測的情 況下，使YUV4:2:2信號的色差信號的預(yù)測方向不同于亮度信號的預(yù)測方向。
[0083] 具體而言，如圖29所示，在設(shè)亮度信號的預(yù)測方向矢量為\= (dx μ dyj的情況 下，色差信號的預(yù)測方向矢量為Vc= (dxy2，dyj。即，如圖30所示，在設(shè)預(yù)測方向的角度 為Θ的情況下，設(shè)亮度信號的預(yù)測方向的角度為Θ p色差信號的預(yù)測方向的角度為θε，則 需要在滿足tan Θ2tan Θ ^的關(guān)系的預(yù)測方向上進行預(yù)測。
[0084] 因此，在輸入信號格式為YUV4:2:2信號的情況下，當(dāng)實施上述DM模式時，將用于 亮度信號的內(nèi)部預(yù)測模式的索引變換為用于預(yù)測色差信號的內(nèi)部預(yù)測模式的索引，基于與 變換后的索引對應(yīng)的內(nèi)部預(yù)測模式，實施色差信號的預(yù)測處理。具體而言，可以構(gòu)成為準(zhǔn)備 索引的變換表，參照該變換表來變換索引，也可以構(gòu)成為預(yù)先準(zhǔn)備變換式，依照該變換式來 變換索引。
[0085] 通過這樣構(gòu)成，對方向性預(yù)測處理自身不進行變更而僅變換索引，即能夠?qū)嵤┡c YUV4:2:2信號的格式對應(yīng)的色差信號的適當(dāng)預(yù)測。
[0086] 運動補償預(yù)測部5實