在視頻譯碼中用于非亮度分量的自適應(yīng)解塊濾波的制作方法
【專利說明】
[00011 本申請案主張2013年7月12日提交的美國臨時申請案第61/845,508號以及2013年 7月15日提交的美國臨時申請案第61 /846，586號的權(quán)利，所述美國臨時申請案中的每一者 的全部內(nèi)容以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及視頻譯碼，并且更確切地說，涉及用于對視頻數(shù)據(jù)進(jìn)行濾波的技術(shù)。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可以并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線 廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒 體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置 等等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如通過MPEG-2、MPEG-4、ITU-TH.263、ITU-T H. 264/MPEG-4第10部分、高級視頻譯碼(AVC)、當(dāng)前正在開發(fā)的高效視頻譯碼(HEVC)標(biāo)準(zhǔn)和 此類標(biāo)準(zhǔn)的擴(kuò)展部分定義的標(biāo)準(zhǔn)中描述的技術(shù)，以便更有效地發(fā)射、接收和存儲數(shù)字視頻 信息。
[0004] 視頻壓縮技術(shù)包含空間預(yù)測和/或時間預(yù)測，以減少或移除視頻序列中所固有的 冗余。對于基于塊的視頻譯碼，視頻圖片或切片可以分割成多個塊。每一塊可以被進(jìn)一步分 害J。使用相對于同一圖片或切片中的相鄰塊中的參考樣本的空間預(yù)測對經(jīng)幀內(nèi)譯碼（I)的 圖片或切片中的塊進(jìn)行編碼。經(jīng)幀間譯碼(P或B)圖片或切片中的塊可以使用相對于同一圖 片或切片中的相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時 間預(yù)測。空間或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù)測 塊之間的像素差。
[0005] 根據(jù)指向形成預(yù)測塊的參考樣本塊的運(yùn)動向量和指示經(jīng)譯碼塊與預(yù)測塊之間的 差的殘余數(shù)據(jù)對經(jīng)幀間譯碼塊進(jìn)行編碼。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)對經(jīng)幀內(nèi)譯碼塊進(jìn) 行編碼。為了進(jìn)一步壓縮，可以將殘余數(shù)據(jù)從像素域變換到變換域，從而導(dǎo)致殘余變換系 數(shù)，接著可以對殘余變換系數(shù)進(jìn)行量化。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的技術(shù)大體上涉及在視頻譯碼過程中濾波。舉例來說，本發(fā)明的各方面大 體上涉及提供一種格式自適應(yīng)濾波方案以用于在視頻譯碼中應(yīng)用解塊濾波器。本發(fā)明的技 術(shù)包含基于正經(jīng)譯碼的視頻數(shù)據(jù)的顏色空間啟用可變解塊濾波(例如，啟用或停用強(qiáng)解塊 濾波）以用于色度分量。
[0007] 在一個實(shí)例中，用于對視頻數(shù)據(jù)執(zhí)行解塊濾波的方法包括:對于視頻數(shù)據(jù)的第一 非亮度顏色分量確定是基于第一解塊濾波過程還是第二解塊濾波過程執(zhí)行解塊濾波；以及 根據(jù)所確定的解塊濾波過程對第一非亮度顏色分量執(zhí)行解塊濾波。
[0008] 在另一實(shí)例中，用于對視頻數(shù)據(jù)執(zhí)行解塊濾波的設(shè)備包括經(jīng)配置以存儲視頻數(shù)據(jù) 的存儲器；以及至少一個處理器，其經(jīng)配置以：對于視頻數(shù)據(jù)的第一非亮度顏色分量確定是 基于第一解塊濾波過程還是第二解塊濾波過程執(zhí)行解塊濾波，并且根據(jù)所確定的解塊濾波 過程對第一非亮度顏色分量執(zhí)行解塊濾波。
[0009] 在另一實(shí)例中，有形非暫時性處理器可讀存儲媒體存儲指令，所述指令在經(jīng)執(zhí)行 時使一或多個處理器:對于視頻數(shù)據(jù)的第一非亮度顏色分量，確定是基于第一解塊濾波過 程還是第二解塊濾波過程執(zhí)行解塊濾波，并且根據(jù)所確定的解塊濾波過程對第一非亮度顏 色分量執(zhí)行解塊濾波。
[0010] 在另一實(shí)例中，用于對視頻數(shù)據(jù)進(jìn)行解塊濾波的方法包括:對于視頻數(shù)據(jù)的第一 非亮度顏色分量確定是基于第一解塊濾波過程還是第二解塊濾波過程執(zhí)行解塊濾波；以及 對語法元素進(jìn)行譯碼以指示用于第一非亮度顏色分量的所確定的解塊濾波過程。
[0011]在附圖和以下描述中闡述本發(fā)明的一或多個方面的細(xì)節(jié)。本發(fā)明中所描述的技術(shù) 的其它特征、目標(biāo)和優(yōu)點(diǎn)將從描述和圖式并且從權(quán)利要求書而顯而易見。
【附圖說明】
[0012] 圖1是說明可以實(shí)施本發(fā)明的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的框圖。
[0013] 圖2是說明可以實(shí)施本發(fā)明的技術(shù)的實(shí)例視頻編碼器的框圖。
[0014] 圖3是說明可以實(shí)施本發(fā)明的技術(shù)的實(shí)例視頻解碼器的框圖。
[0015]圖4A到4C是說明視頻數(shù)據(jù)的不同樣本格式的概念圖。
[0016] 圖5是說明根據(jù)4:2:0樣本格式而格式化的16X16譯碼單元的概念圖。
[0017] 圖6是說明根據(jù)4:2:2樣本格式而格式化的16 X 16譯碼單元的概念圖。
[0018] 圖7是根據(jù)本發(fā)明的技術(shù)說明用于對視頻數(shù)據(jù)進(jìn)行解塊的過程的流程圖。
[0019] 圖8是根據(jù)本發(fā)明的技術(shù)說明用于對視頻數(shù)據(jù)進(jìn)行譯碼的過程的流程圖。
[0020] 圖9是根據(jù)本發(fā)明的技術(shù)說明用于對視頻數(shù)據(jù)進(jìn)行譯碼的另一過程的流程圖。
[0021] 圖10是說明用于計算符合HEVC和本發(fā)明的技術(shù)的邊界強(qiáng)度的技術(shù)的流程圖。
【具體實(shí)施方式】
[0022] 本發(fā)明的各方面大體上涉及視頻譯碼和壓縮。在一些實(shí)例中，技術(shù)可以與高效視 頻譯碼(HEVC)范圍擴(kuò)展相關(guān)，其中可以支持除YCbCr 4:2:0以外的顏色空間。
[0023] 本發(fā)明的各方面可以涉及用于對視頻數(shù)據(jù)執(zhí)行解塊濾波的方法、設(shè)備和制造，其 可以包含對于視頻數(shù)據(jù)的第一非亮度顏色分量確定是基于第一解塊濾波過程還是第二解 塊濾波過程執(zhí)行解塊濾波。接著，可以根據(jù)所確定的解塊濾波過程對第一非亮度顏色分量 執(zhí)行解塊濾波。
[0024]視頻數(shù)據(jù)可以存在于各種顏色空間（例如，YCbCr和RGB)中。視頻數(shù)據(jù)包含還被稱 作顏色分量的分量--例如，Y、cb和Cr是YCbCr視頻數(shù)據(jù)的每一分量;并且R、G和B是RGB視 頻數(shù)據(jù)的每一分量。對于YCbCr顏色空間中的視頻數(shù)據(jù)，Y是亮度分量，并且Cb和Cr是色度分 量。本文中使用術(shù)語非亮度分量來描述視頻數(shù)據(jù)的不是亮度分量的任何分量。因此，對于 YCbCr顏色空間中的視頻數(shù)據(jù)，Y是亮度分量，并且Cb和Cr是非亮度分量。對于RBG顏色空間 中的視頻數(shù)據(jù)，R、G和B都是非亮度分量。
[0025] HEVC是ITU-T WP3/16和IS0/IEC JTC 1/SC 29/WG 11 的視頻編碼聯(lián)合協(xié)作小組 (JCT-VC)最近開發(fā)的視頻譯碼標(biāo)準(zhǔn)。HEVC的范圍擴(kuò)展包含擴(kuò)展用于除YCbCr 4:2:0以外的 顏色空間（例如，YCbCr 4:2:2、YCbCr 4:4:4和RGB)的視頻譯碼。
[0026] 舉例來說，譯碼單元(CU)或變換單元(TU)中的像素的亮度和色度分量可以以不同 的子取樣格式譯碼。在實(shí)例中，像素的亮度和色度分量可以以4:2:0格式譯碼。在4:2:0像素 格式中，對于每個2 X 2像素塊，存在四個亮度分量和2個色度分量(例如，1個Cr色度分量和1 個Cb色度分量）。因而，在2 X 2像素塊中，按1/2水平分辨率和1/2垂直分辨率來對色度分量 進(jìn)行取樣。在4: 2: 2像素格式中，對于每個2 X 2像素塊，存在四個亮度分量和4個色度分量 (例如，2個Cr色度分量和2個Cb色度分量）。因而，對于4: 2: 2格式，按二分之一（1/2)水平分 辨率和全垂直分辨率對色度分量進(jìn)行取樣。4:4:4像素格式不涉及色度分量的子取樣。也就 是說，通過4:4:4格式，對于2 X 2像素塊，存在四個亮度分量、四個Cr分量和四個Cb分量。在 RGB格式中，通過4:4:4格式，紅色樣本的數(shù)目、綠色樣本的數(shù)目和藍(lán)色樣本的數(shù)目通常相 等。
[0027] 某些視頻譯碼技術(shù)可以在視頻信號的重構(gòu)期間產(chǎn)生重構(gòu)誤差。在一些情況下，可 以在視頻譯碼過程中應(yīng)用濾波以補(bǔ)償重構(gòu)誤差。舉例來說，當(dāng)使用塊譯碼技術(shù)時，銳緣可以 在塊之間出現(xiàn)。為了解決例如銳緣等不存在于原始視頻信號中的成塊假象，視頻編解碼器 (視頻編碼器和/或視頻解碼器)可以執(zhí)行像素邊緣濾波操作以使塊邊緣平滑。
[0028] 通常通過濾波器參數(shù)(例如，邊界強(qiáng)度和與塊邊緣相關(guān)聯(lián)的邊緣閾值)指定濾波操 作。術(shù)語"邊緣閾值"是指邊緣銳度的閾值。舉例來說，可以在經(jīng)重構(gòu)視頻的特定塊邊界處基 于邊界處的邊緣銳利程度而應(yīng)用或不應(yīng)用解塊濾波。邊緣閾值越大，在經(jīng)重構(gòu)視頻的塊邊 界處的邊緣必須越鋒利，以便對邊緣進(jìn)行濾波。
[0029] 以下更詳細(xì)地解釋術(shù)語"邊界強(qiáng)度"。"邊界強(qiáng)度"是非負(fù)的整數(shù)值，其是經(jīng)重構(gòu)視 頻的塊邊界的特性，其中更有可能具有成塊假象的塊邊緣被賦予更大的邊界強(qiáng)度值。
[0030] 濾波器參數(shù)可以動態(tài)地從一個像素邊緣變成下一個像素邊緣并且從一個視頻譯 碼標(biāo)準(zhǔn)變成另一個。由此，視頻編解碼器在執(zhí)行實(shí)際濾波操作之前計算邊界強(qiáng)度和塊邊緣 的邊緣閾值。這些邊界強(qiáng)度和邊緣閾值計算可以在與視頻譯碼過程的濾波操作相同的管線 級中（被稱作在"環(huán)路"中）或在濾波操作之前的級中進(jìn)行。
[0031] 在生成邊界強(qiáng)度之后，視頻編解碼器可以執(zhí)行實(shí)際像素濾波。一些解塊實(shí)施可以 使用硬接線邏輯控制來從外部和/或內(nèi)部存儲元件(相對于視頻編解碼器)傳送相關(guān)像素， 選擇正確的解塊參數(shù)并且將經(jīng)解塊像素存儲回外部和/或內(nèi)部存儲元件中。
[0032] 在任何情況下，在HEVC版本1，H. 265:高效視頻譯碼(2013年4月13日）（最終HEVC標(biāo) 準(zhǔn)的第一版本）中，環(huán)路內(nèi)解塊濾波在解量化和逆變換之后應(yīng)用于經(jīng)重構(gòu)信號。術(shù)語"環(huán)路 內(nèi)"解塊濾波在本領(lǐng)域中眾所周知，并且是指在編碼路徑和解碼路徑中的任一者或兩者內(nèi) 執(zhí)行的解塊濾波。經(jīng)解塊濾波信號被存儲為用于幀間預(yù)測的參考幀。如上所述，對于YCbCr 4: 2:0格式，相比于Cb分量或Cr分量，更多信息存在于Y分量中，并且Cb和Cr分量相對于Y分 量減少取樣。歸因于Y分量的特性與Cb分量或Cr分量的特性的差，相對于應(yīng)用于Cb分量或Cr 分量的解塊濾波器方案，不同的解塊濾波方案應(yīng)用于Y分量。
[0033]在HEVC中，定義兩個濾波器以用于Y分量，包含強(qiáng)濾波器和弱濾波器(還可以分別 被稱作強(qiáng)解塊模式和弱解塊模式）。強(qiáng)濾波器用于強(qiáng)解塊，并且弱濾波器用于弱解塊。
[0034]通過弱解塊濾波或強(qiáng)解塊濾波，可以相對于鄰近視頻塊的邊緣像素而對視頻塊的 邊緣像素進(jìn)行濾波，使得查看器更難以感知鄰近視頻塊之間的轉(zhuǎn)變。舉例來說，根據(jù)弱解塊 濾波或強(qiáng)解塊濾波，可以通過調(diào)整邊緣像素的值以使其更類似于附近像素(例如，包含鄰近 像素）的值來執(zhí)行濾波，以便使鄰近視頻塊之間的邊界"平滑"。通過強(qiáng)濾波，邊緣像素值比 弱濾波更強(qiáng)烈地基于附近像素的值，例如通過使用更大的平均因子。在各種實(shí)例中，除具有 更強(qiáng)烈地基于附近像素值的邊緣像素值以外的因子可以用于使濾波器更強(qiáng)。
[0035]舉例來說，強(qiáng)濾波器通?？紤]比弱濾波器考慮的視頻數(shù)據(jù)線的數(shù)目更多的視頻數(shù) 據(jù)線和/或可以具有比弱濾波器更長的濾波器分接頭大小。在HEVC版本1中，僅弱濾波器應(yīng) 用于Cb和Cr分量，因?yàn)镃b和Cr分量具有與Y分量相比更少的能量。
[0036]舉例來說，根據(jù)HEVC版本1，對于亮度分量，存在強(qiáng)解塊濾波器和弱解塊濾波器。用 于亮度分量的強(qiáng)解塊濾波器修改經(jīng)濾波以使邊界平滑的邊緣的每一側(cè)上的三個像素。用于 亮度分量的弱濾波器僅修改經(jīng)濾波的邊緣的每一側(cè)上的兩個像素。出于此原因，用于亮度 分量的強(qiáng)解塊濾波器使經(jīng)濾波邊界比弱解塊濾波器更不平滑。根據(jù)HEVC版本1用于非亮度 分量的解塊濾波器僅修改邊緣的每一側(cè)上的一個像素。因此，根據(jù)HEVC版本1，所述解塊濾 波器比用于亮度分量的弱解塊濾波器更弱。
[0037] 如下，濾波器強(qiáng)度是一種權(quán)衡。應(yīng)用的解塊濾波越強(qiáng)，成塊假象移除將越好。然而， 隨著濾波器的強(qiáng)度增加，查看器感知的經(jīng)重構(gòu)圖像的銳度可能開始減少。
[0038] 在HEVC版本1中，用于視頻數(shù)據(jù)的亮度分量的解塊濾波過程在若干方式上不同于 用于非亮度分量的解塊濾波過程。在根據(jù)本發(fā)明的方面的一些實(shí)例中，作出關(guān)于用于視頻 數(shù)據(jù)的非亮度分量的解塊濾波過程是否應(yīng)該應(yīng)用在HEVC版本1中僅用于亮度分量的解塊濾 波過程的一或多個方面的確定。
[0039] 在各種實(shí)例中，可以基于以下更詳細(xì)論述的一或多個因素而作出這一確定。在一 個特定實(shí)例中，如果根據(jù)HEVC版本1僅用于亮度分量的解塊濾波過程的一或多個方面應(yīng)該 根據(jù)本發(fā)明應(yīng)用于一或多個非亮度分量，那么旗標(biāo)"deblock_chroma_as_luma"的值可以設(shè) 定成1。換句話說，在各種實(shí)例中，基于設(shè)定成1的"deblock_chroma_as_luma"旗標(biāo)的值，非 亮度分量中的一或多個的解塊濾波以與HEVC版本1中的亮度分量的解塊濾波相同（即，相同 于）的方式執(zhí)行。在一些情況下，設(shè)定成1的"deblock_chroma_as_luma"旗標(biāo)的值產(chǎn)生強(qiáng)濾 波可以應(yīng)用于非亮度分量的指示。
[0040] 此外，根據(jù)本發(fā)明，如果用于一或多個非亮度分量的解塊濾波應(yīng)該如在HEVC版本1 中指定的那樣執(zhí)行，那么deblock_chroma_as_luma旗標(biāo)的值設(shè)定成0。換句話說，在一些實(shí) 例中，基于設(shè)定成〇的"deblock_chroma_as_luma"旗標(biāo)的值，非亮度分量的解塊濾波根據(jù) HEVC版本1以常規(guī)方式執(zhí)行，使得(例如)強(qiáng)濾波器不被允許用于非亮度分量的解塊濾波。 [0041 ]在一個特定實(shí)例中，旗標(biāo)的值可以設(shè)定成0或1，其取決于視頻數(shù)據(jù)的顏色空間。在 其它實(shí)例中，其它因素可以用于確定根據(jù)HEVC版本1僅用于亮度分量的解塊濾波過程的一 或多個方面是否應(yīng)該應(yīng)用于如下文更詳細(xì)地論述的一或多個非亮度分量。另外，以下更詳 細(xì)地論述在deblock_chroma_as_luma旗標(biāo)的值設(shè)定成1時根據(jù)HEVC版本1僅用于亮度分量 并且可以根據(jù)本發(fā)明應(yīng)用于非亮度分量的解塊濾波過程的一或多個方面。
[0042]根據(jù)HEVC版本1，對于亮度分量，針對每一塊作出關(guān)于不應(yīng)用濾波器、應(yīng)用弱濾波 器還是強(qiáng)濾波器的確定。這一確定可以基于(例如）相應(yīng)塊的邊緣特性。亮度強(qiáng)濾波器具有 比如上文所論述的亮度弱濾波器更大的濾波強(qiáng)度。另外，根據(jù)HEVC版本1，對于非亮度分量， 針對每一塊，作出關(guān)于不應(yīng)用濾波器還是應(yīng)用弱濾波器的確定。這一確定可以基于(例如） 非亮度分量內(nèi)的相應(yīng)塊的邊緣特性。根據(jù)HEVC版本1，從不對非亮度分量執(zhí)行強(qiáng)濾波。此外， 根據(jù)HEVC版本1，可以對非亮度分量執(zhí)行的"弱"濾波在濾波強(qiáng)度上比根據(jù)HEVC版本1對亮度 分量執(zhí)行的"弱"濾波更弱。
[0043] 僅對色度分量應(yīng)用弱濾波器可能損害除YCbCr 4:2:0(例如RGB或YCbCr 4:4:4)以 外的顏色空間的視覺質(zhì)量，因?yàn)楦鞣N其它顏色空間中的色度分量的能量可以比與上文所描 述的YCbCr 4:2:0格式中的色度分量相關(guān)聯(lián)的能量更多。
[0044] 本發(fā)明的一些方面大體上涉及提供格式自適應(yīng)濾波方案。舉例來說，本發(fā)明的技 術(shù)包含（例如）基于正經(jīng)譯碼的視頻數(shù)據(jù)的至少一個顏色空間啟用用于色度分量的可變 (即，基于一或多個因素自適應(yīng))解塊濾波。如本文中所描述，術(shù)語"顏色空間"大體上是指顏 色分量(例如，RGB、YCbCr等等)和/或形成視頻數(shù)據(jù)的每一分量的取樣速率。如本文中所使 用，術(shù)語"顏色空間"不僅指顏色分量，還指顏色分量的相關(guān)聯(lián)的取樣格式，使得(例如)顏色 空間4:4:4和YCbCr 4: 2:0被認(rèn)為是不同的顏色空間。顏色空間也可以被稱作視頻格式，或 更簡單地稱作格式。
[0045] 在一些實(shí)例中，為了改良通過解塊濾波達(dá)成的視覺質(zhì)量，強(qiáng)濾波被允許用于（即， 可以應(yīng)用于)色度分量或用于所有顏色分量(例如，在RGB顏色空間情況下的R、G和B)。
[0046 ] 如上文所論述，例如旗標(biāo)"d e b 1 〇 c k_chr oma_a s_ 1 uma"等指示可以用信號發(fā)送以指 示根據(jù)HEVC版本1僅用于亮度分量的解塊濾波過程的一或多個方面是否應(yīng)該應(yīng)用于非亮度 分量。根據(jù)僅用于亮度分量的解塊濾波過程的方面中的一者是強(qiáng)濾波。強(qiáng)濾波根據(jù)HEVC版 本1不可以應(yīng)用于非亮度分量。在根據(jù)本發(fā)明操作的一些實(shí)例中，當(dāng)deblock_chroma_as_ luma旗標(biāo)的值為1時，強(qiáng)濾波可以應(yīng)用于經(jīng)重構(gòu)信號的所有顏色分量。在根據(jù)本發(fā)明的其它 實(shí)例中，當(dāng)deblock_chroma_as_luma旗標(biāo)的值為1時，不為經(jīng)重構(gòu)信號的非亮度分量啟用強(qiáng) 濾波，但是如下文更詳細(xì)地論述，根據(jù)HEVC版本1僅用于亮度分量的解塊濾波過程的其它方 面應(yīng)用于經(jīng)重構(gòu)視頻的非亮度分量的解塊濾波。
[0047] 舉例來說，例如旗標(biāo)"deblock_chroma_as_luma"等指示可以通過視頻編碼器用信 號發(fā)送以指示強(qiáng)濾波是否可以應(yīng)用于經(jīng)重構(gòu)信號的所有顏色