本申請請求2014年5月28日提交的申請?zhí)枮?2/003,612的美國臨時(shí)專利申請的優(yōu)先權(quán)。相關(guān)的專利申請的全文被本申請引用。

技術(shù)領(lǐng)域

本發(fā)明與視頻處理(例如視頻編碼)相關(guān)，更具體來說，本發(fā)明是關(guān)于一種具有變換單元尺寸選擇、模式信息單元尺寸選擇以及/或者圖像寬度/長度決定的視頻處理裝置以及相關(guān)的視頻處理方法。

背景技術(shù)：

傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)通常采用一種基于區(qū)塊的編碼技術(shù)來利用空間以及時(shí)間冗余。舉例來說，基本的途徑是分割整個(gè)源圖像為多個(gè)區(qū)塊、在每一個(gè)區(qū)塊執(zhí)行幀內(nèi)/幀間預(yù)測、每一區(qū)塊的變換殘余、以及執(zhí)行量化以及熵編碼。此外，一個(gè)重構(gòu)的圖像是在編碼循環(huán)中產(chǎn)生，來提供編碼后續(xù)區(qū)塊所需使用的參考像素?cái)?shù)據(jù)。對于某些視頻編碼標(biāo)準(zhǔn)，可使用環(huán)內(nèi)濾波來提供重構(gòu)圖像的圖像質(zhì)量。

在視頻編碼器中幀內(nèi)預(yù)測單元以及幀間預(yù)測單元是用來產(chǎn)生預(yù)測的像素/樣本，該預(yù)測的像素/樣本是在產(chǎn)生重構(gòu)圖像(作為參考圖像)時(shí)需要的。對于某些視頻編碼標(biāo)準(zhǔn)，一個(gè)當(dāng)前正在編碼的區(qū)塊(例如當(dāng)前轉(zhuǎn)換單元)的幀內(nèi)預(yù)測需要先前重構(gòu)區(qū)塊的重構(gòu)像素。如果當(dāng)前區(qū)塊跨越了一個(gè)圖像邊界，在該圖像邊界需要相鄰像素填充(pixel padding)來創(chuàng)造超出該圖像邊界的位于當(dāng)前區(qū)塊其上或者其左的填充像素。

因此，需要一種創(chuàng)新的視頻編碼器設(shè)計(jì)，其能夠避免在執(zhí)行幀內(nèi)預(yù)測之前，填充位于圖像邊界的當(dāng)前區(qū)塊其上或者其左的相鄰像素。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的之一是提供一種具有變換單元尺寸選擇、模式信息單元尺寸選擇以及/或者圖像寬度/高度決定的視頻處理裝置，以及相關(guān)的視頻處理方法。

依據(jù)本發(fā)明的一方面，提供一種視頻處理裝置，包含控制電路以及尺寸選擇電路?？刂齐娐酚脕頉Q定圖像邊界信息。尺寸選擇電路用來參考至少該圖像邊界信息來選擇編碼圖像相關(guān)的區(qū)塊的尺寸，其中該尺寸的選擇是被該圖像邊界信息所限制，從而保證具有該選擇的尺寸的該區(qū)塊不會(huì)跨過該圖像的圖像邊界。

依據(jù)本發(fā)明的另一方面，提供一種視頻處理裝置，包含圖像寬度決定電路與圖像高度決定電路。圖像寬度決定電路參考顯示寬度來決定待編碼的圖像的圖像寬度。圖像高度決定電路參考顯示高度來決定該編碼的該圖像的圖像高度。其中該圖像寬度是通過擴(kuò)展該顯示寬度至一個(gè)最接近的并且是超級(jí)區(qū)塊邊長整數(shù)倍的值來設(shè)置的，或者該圖像高度是通過擴(kuò)展該顯示高度至一個(gè)最接近的并且是該超級(jí)區(qū)塊邊長整數(shù)倍的值來設(shè)置的。

依據(jù)本發(fā)明的又一方面，提供一種視頻處理方法，該方法包含：決定圖像邊界信息；以及利用尺寸選擇電路來參考至少該圖像邊界信息，以選擇與圖像編碼相關(guān)的區(qū)塊的尺寸，其中該尺寸的選擇是被該圖像邊界信息而限制，來保證具有選擇的尺寸的該區(qū)塊不會(huì)跨過該圖像的圖像邊界。

依據(jù)本發(fā)明的再一方面，提供一種視頻處理方法，該方法包含：利用圖像寬度決定電路來參考顯示寬度來決定待編碼的圖像的圖像寬度；以及利用圖像高度決定電路來參考顯示高度來決定該編碼的該圖像的圖像高度；其中該圖像寬度是通過擴(kuò)展該顯示寬度至一個(gè)最接近的并且是超級(jí)區(qū)塊邊長整數(shù)倍的值來設(shè)置的，或者該圖像高度是通過擴(kuò)展該顯示高度至一個(gè)最接近的并且是該超級(jí)區(qū)塊邊長整數(shù)倍的值來設(shè)置的。

在本領(lǐng)域的技術(shù)人員閱讀了如下的本發(fā)明的細(xì)節(jié)說明與舉例的附圖之后，可了解本發(fā)明的其他目的。

附圖說明

圖1是依據(jù)本發(fā)明的第一實(shí)施例的視頻處理裝置的示意圖。

圖2是像素填充舉例的示意圖。

圖3是依據(jù)本發(fā)明的一實(shí)施例的變換單元尺寸選擇方法的流程圖。

圖4是將一個(gè)圖像分割為64x64尺寸的區(qū)塊(或稱為超級(jí)區(qū)塊)的舉例說明。

圖5是依據(jù)本發(fā)明的第二實(shí)施例的視頻處理裝置的示意圖。

圖6是依據(jù)本發(fā)明的一實(shí)施例的模式信息單元高度選擇方法的流程圖。

圖7是依據(jù)本發(fā)明的一實(shí)施例的模式信息單元寬度選擇方法的流程圖。

圖8是依據(jù)本發(fā)明的第三實(shí)施例的視頻處理裝置的示意圖。

具體實(shí)施方式

整個(gè)說明書和權(quán)利要求書采用確定的術(shù)語來指代特定的部件。正如本領(lǐng)域的技術(shù)人員將理解的是，制造商可以使用不同的名稱來指代某一部件。本文件無意于區(qū)分那些名稱不同但功能相同的部件。在下面的說明書和權(quán)利要求書中，用開放式方式使用術(shù)語“包含”和“包括”，因此應(yīng)當(dāng)被解釋為“包含，但是不限于……”。同樣地，術(shù)語“耦合”既可以表示間接電氣連接也可以表示直接電氣連接。因此，如果一個(gè)設(shè)備與另一個(gè)設(shè)備耦合，其連接可以是通過直接電氣連接或者是通過其他設(shè)備和連接件的間接電氣連接。

圖1是依據(jù)本發(fā)明第一實(shí)施例的一種視頻處理裝置的示意圖。該視頻處理裝置100可以是一個(gè)電子裝置的一部分，例如個(gè)人電腦(例如筆記本電腦或者桌上電腦)、移動(dòng)電話、平板或者可穿戴設(shè)備的一部分。該視頻處理裝置100可包括視頻編碼器的至少一部分(即部分或者全部)來編碼原始圖像，來產(chǎn)生包含多個(gè)連續(xù)的編碼的圖像的一個(gè)視頻序列。視頻編碼裝置100的至少一部分可由集成電路(IC)實(shí)現(xiàn)。簡單來說，任意的使用所提出的視頻編碼裝置100的電子裝置或者電子系統(tǒng)落入本發(fā)明的范圍。

如圖1所示，視頻處理裝置(例如部分視頻編碼器)100包含控制電路102、尺寸選擇電路104、運(yùn)動(dòng)補(bǔ)償電路106(表示為MC)、幀內(nèi)預(yù)測電路108(表示為IP)以及一個(gè)模式選擇電路110。模式選擇電路110是用來決定當(dāng)前區(qū)塊的一個(gè)預(yù)測模式。舉例來說，當(dāng)當(dāng)前區(qū)塊的預(yù)測模式是決定為幀間預(yù)測時(shí)，從運(yùn)動(dòng)補(bǔ)償電路106產(chǎn)生的預(yù)測的像素/采樣是輸出給后續(xù)的編碼步驟，例如重建電路(未表示)。為了另舉一例，當(dāng)當(dāng)前區(qū)塊的預(yù)測模式是決定為幀內(nèi)預(yù)測時(shí)，從幀內(nèi)預(yù)測電路108產(chǎn)生的預(yù)測的像素/采樣是輸出給后續(xù)的編碼步驟，例如重建電路(未表示)。

VP9編碼標(biāo)準(zhǔn)是一個(gè)由開發(fā)的開放的并且免授權(quán)費(fèi)用的視頻編碼標(biāo)準(zhǔn)。在這個(gè)實(shí)施例中，運(yùn)動(dòng)補(bǔ)償電路106以及幀內(nèi)預(yù)測電路108中的每一個(gè)都支持VP9編碼。VP9將一個(gè)圖像劃分為64x64大小的區(qū)塊，其稱為超級(jí)區(qū)塊SB_64x64。該圖像的超級(jí)區(qū)塊SB_64x64以光柵掃描的順序處理：從左至右、從上至下。此外，VP9支持基于四叉樹(quad-tree)的編碼。因此，可使用遞歸分區(qū)(recursive partitioning)來劃分每一個(gè)超級(jí)區(qū)塊SB_64x64為一個(gè)或者多個(gè)分區(qū)(例如更小尺寸的區(qū)塊)來進(jìn)行進(jìn)一步的處理。舉例來說，一個(gè)超級(jí)區(qū)塊SB_64x64可劃分為一個(gè)或者多個(gè)編碼單元(或稱為模式信息單元(MI))，其中由VP9編碼標(biāo)準(zhǔn)支持的子劃分分區(qū)可包含方形分區(qū)，例如64x64大小的區(qū)塊、32x32大小的區(qū)塊、16x16大小的區(qū)塊、8x8大小的區(qū)塊以及更進(jìn)一步包含非方形分區(qū)，例如64x32大小的區(qū)塊、32x64大小的區(qū)塊、32x16大小的區(qū)塊、16x32大小的區(qū)塊、…8x8大小的區(qū)塊。因此，可能的編碼單元(MI單元)的尺寸可包含64x64、32x32、16x16、8x8、64x32、32x64、32x16、16x32、…8x8。每一個(gè)編碼單元(MI單元)可進(jìn)一步分割為一個(gè)或者多個(gè)變換單元(TU)，每一個(gè)的TU尺寸是從32x32、16x16、8x8以及4x4中選擇。

在VP9中的幀內(nèi)預(yù)測是在變換區(qū)塊分區(qū)之后。換言之，幀內(nèi)預(yù)測可在由所使用的TU尺寸的4個(gè)不同的規(guī)格上執(zhí)行(即4x4、8x8、16x16以及32x32)。因此，幀內(nèi)預(yù)測操作是應(yīng)用至每一可能具有TU尺寸4x4、8x8、16x16以及32x32中的一個(gè)的方形變換區(qū)塊。舉例來說，一個(gè)16x8區(qū)塊具有8x8變換，將導(dǎo)致兩個(gè)8x8幀內(nèi)預(yù)測。VP9使用一共10種不同的幀內(nèi)預(yù)測操作，包含H_PRED(水平預(yù)測)、V_PRED(垂直預(yù)測)、DC_PRED(DC預(yù)測)、TM_PRED(真實(shí)運(yùn)動(dòng)預(yù)測)以及6角度預(yù)測模式。

與其他的編碼標(biāo)準(zhǔn)相似，當(dāng)前區(qū)塊的VP9的幀內(nèi)預(yù)測需要兩個(gè)一維陣列，其包含屬于相鄰區(qū)塊的左側(cè)重建像素以及上側(cè)重建像素。然而，依據(jù)VP9編碼標(biāo)準(zhǔn)，在圖像的邊界對于幀內(nèi)預(yù)測沒有限制。因此，在圖像邊界，所有的TU尺寸4x4、8x8、16x16以及32x32都是允許的，其中由VP9定義的圖像邊界是等于顯示邊界擴(kuò)展至是8的整數(shù)倍的最近的值。在一個(gè)典型的VP9編碼器設(shè)計(jì)中，針對一個(gè)跨過圖像邊界的變換區(qū)塊，在進(jìn)行幀內(nèi)預(yù)測之前，需要執(zhí)行相鄰像素填充。圖2是像素填充的一個(gè)舉例說明。變換區(qū)塊206-209具有相同的4x4的TU尺寸。變換區(qū)塊201、202以及210具有相同的8x8的TU尺寸。變換區(qū)塊203以及205具有相同的16x16的TU尺寸。變換區(qū)塊204具有32x32的TU尺寸。待編碼的圖像IMG具有圖像寬度W以及圖像高度H。此外，圖像IMG的圖像邊界具有圖像垂直邊界PB_V以及圖像水平邊界PB_H，其中，圖像垂直邊界PB_V等于顯示垂直邊界擴(kuò)展至一個(gè)是8的整數(shù)倍的最近的值，并且圖像水平邊界PB_V等于顯示水平邊界擴(kuò)展至一個(gè)是8的整數(shù)倍的最近的值。如圖2所示，變換區(qū)塊207、209以及210是在圖像垂直邊界PB_V上，并且變換區(qū)塊201以及202是在圖像水平邊界PB_H上。然而，變換區(qū)塊205是跨過圖像垂直邊界PB_V，變換區(qū)塊203是跨過圖像水平邊界PB_H，并且變換區(qū)塊204是跨過圖像水平邊界PB_H以及圖像垂直邊界PB_V。

如上所述，一個(gè)當(dāng)前區(qū)塊的VP9幀內(nèi)預(yù)測需要兩個(gè)一維陣列，其包含屬于相鄰區(qū)塊的左側(cè)重建像素以及上側(cè)重建像素。關(guān)于跨過圖像垂直邊界PB_V的變換區(qū)塊205，重建像素的上側(cè)陣列的一部分是不可獲得的。因此，在圖像垂直邊界PB_V上的一個(gè)重建邊界像素P1被復(fù)制，以形成超出圖像垂直邊界PB_V的多個(gè)填充像素P1’，其中重建邊界像素P1以及填充像素P1’對應(yīng)相同的行。關(guān)于跨過圖像水平邊界PB_H以及圖像垂直邊界PB_V的變換區(qū)塊204，重建像素的上側(cè)陣列的一部分是不可獲得的，重建像素的左側(cè)陣列的一部分是不可獲得的。因此在圖像垂直邊界PB_V上的一個(gè)重建邊界像素P2被復(fù)制，以形成超出圖像垂直邊界PB_V的多個(gè)填充P2’，其中重建的邊界像素P2以及填充的像素P2’對應(yīng)相同的行。此外，在圖像水平邊界PB_H上的一個(gè)重建邊界像素P3被復(fù)制，以形成超出圖像水平邊界PB_H的多個(gè)填充P3’，其中重建的邊界像素P3以及填充的像素P3’對應(yīng)相同的列。關(guān)于跨過圖像水平邊界PB_H的變換區(qū)塊203，重建像素的左側(cè)陣列的一部分是不可獲得的。因此，在圖像水平邊界PB_H上的一個(gè)重建邊界像素P4被復(fù)制，以形成超出圖像水平邊界PB_H的多個(gè)填充像素P4’，其中重建邊界像素P4以及填充像素P4’對應(yīng)相同的列。

如圖2所示，如果變換區(qū)塊205被更小尺寸的變換區(qū)塊代替(例如兩個(gè)在圖像垂直邊界PB_V垂直排列的8x8變換區(qū)塊)，對于每一個(gè)更小尺寸的變換區(qū)塊的幀內(nèi)預(yù)測，則不需要填充上側(cè)相鄰像素。相似地，如果變換區(qū)塊204被更小尺寸的變換區(qū)塊代替(例如位于圖像右底角落的一個(gè)8x8變換區(qū)塊，對于每一個(gè)更小尺寸的變換區(qū)塊的幀內(nèi)預(yù)測，則不需要填充上側(cè)與左側(cè)相鄰像素。如果變換區(qū)塊203被更小尺寸的變換區(qū)塊代替(例如兩個(gè)在圖像水平邊界PB_H水平排列的8x8變換區(qū)塊)，對于每一個(gè)更小尺寸的變換區(qū)塊的幀內(nèi)預(yù)測，則不需要填充左側(cè)相鄰像素。依據(jù)上述觀察，本發(fā)明因此提出一種修正的TU尺寸選擇機(jī)制來代替?zhèn)鹘y(tǒng)的TU尺寸選擇機(jī)制(其對在圖像邊界處的幀內(nèi)預(yù)測沒有限制)，因此避免了針對圖像邊界處，在執(zhí)行幀內(nèi)預(yù)測之前，需要填充上側(cè)或左側(cè)相鄰像素的問題。所提出的TU尺寸選擇機(jī)制的進(jìn)一步細(xì)節(jié)在以下部分中詳細(xì)說明。

所提出的TU尺寸選擇機(jī)制是通過尺寸選擇電路104與控制電路102合作完成的。控制電路102是安排來決定圖像邊界信息INF_PB。尺寸選擇電路104是安排來參考至少該圖像邊界信息INF_PB來選擇與一個(gè)圖像的編碼相關(guān)的一個(gè)區(qū)塊的尺寸(例如一個(gè)變換單元的一個(gè)TU尺寸Size_TU)，其中TU尺寸Size_TU的選擇是被圖像邊界信息INF_PB約束，從而保證與所選擇的TU尺寸相關(guān)的變換單元不會(huì)跨過圖像的圖像邊界(例如具有選擇的TU尺寸的變換單元是正好位于該圖像的圖像邊界上)。

在這個(gè)實(shí)施例中，控制電路102可依據(jù)圖像的寬度W、圖像的高度H、以及一個(gè)MI單元(該MI單元需要子分割為一個(gè)或者多個(gè)變換單元來進(jìn)行幀內(nèi)預(yù)測)的位置相關(guān)信息來設(shè)置圖像邊界信息，其中圖像邊界信息INF_PB指示MI單元是否跨過圖像邊界。舉例來說，圖像邊界信息INF_PB可使用一個(gè)跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag以及一個(gè)跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag來實(shí)現(xiàn)。當(dāng)前編碼的MI單元的位置相關(guān)信息可包含一個(gè)開始X軸位置XL、結(jié)束X軸位置XH、開始Y軸位置YL以及一個(gè)結(jié)束Y軸位置YH，其中XH>XL以及YH>YL。具體來說，MI單元的上-左角位于(XL，YH)，MI單元的上-右角位于(XH，YH)，MI單元的下-左角位于(XL,YL)，并且MI單元的下-右角位于(XH，YL)。圖像的圖像寬度W與圖像高度H可依據(jù)顯示區(qū)域的顯示寬度以及顯示高度分別決定。設(shè)置跨水平邊界旗標(biāo)MI_h_cross_boundary_flag的操作可通過如下的偽代碼實(shí)現(xiàn)。

If(XL<W)&&(XH>W)

MI_h_cross_boundary_flag＝1

else

MI_h_cross_boundary_flag＝0

設(shè)置跨垂直邊界旗標(biāo)MI_v_cross_boundary_flag的操作可通過如下的偽代碼實(shí)現(xiàn)。

If(YL<H)&&(YH>H)

MI_v_cross_boundary_flag＝1

else

MI_v_cross_boundary_flag＝0

需注意的是，上述舉例說明并非是本發(fā)明的限制。在一個(gè)替代設(shè)計(jì)中，控制電路102可配置為使用不同的計(jì)算算法來設(shè)置圖像邊界信息INF_PB，以指示MI單元是否跨過圖像邊界。

圖3是依據(jù)本發(fā)明的一個(gè)實(shí)施例的TU尺寸選擇方法的一個(gè)流程圖。如果結(jié)果是基本相同的，則步驟的順序不需依照圖3所示的順序執(zhí)行。TU尺寸選擇方法可由尺寸選擇電路104實(shí)現(xiàn)。尺寸選擇電路104至少部分地依據(jù)圖像邊界信息INF_PB來決定變換單元的TU尺寸。在步驟302，尺寸選擇電路104參考圖像邊界信息INF_PB(其可包含跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag)來決定MI單元是否跨過圖像垂直邊界(例如圖2中所示的PB_V)。當(dāng)跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag指示MI單元跨過圖像垂直邊界(即MI_v_cross_boundary_flag＝1)，方法執(zhí)行至步驟310。當(dāng)跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag指示MI單元是完全位于圖像垂直邊界之內(nèi)的(即MI_v_cross_boundary_flag＝0)，上述方法執(zhí)行至步驟304。

在步驟304，尺寸選擇電路104進(jìn)一步參考圖像邊界信息INF_PB(其可包含跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag)來決定MI單元是否跨過圖像水平邊界(例如圖2中所示的PB_H)。當(dāng)跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag指示MI單元跨過圖像水平邊界(即MI_h_cross_boundary_flag＝1)，方法執(zhí)行至步驟308。當(dāng)跨過跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag指示MI單元是完全位于圖像水平邊界之內(nèi)的(即MI_h_cross_boundary_flag＝0)，上述方法執(zhí)行至步驟306。

如上所述，VP9說明了MI單元可分割為一個(gè)或者更多的變換單元，每一個(gè)變換單元的TU尺寸從32x32、16x16、8x8以及4x4中選擇。因此，一個(gè)變換單元必須是一個(gè)方形分區(qū)，其具有邊長從32、16、8以及4中選擇，其中變換單元的寬度以及高度等于相同的邊長。更進(jìn)一步，MI單元中定義的變換單元必須等于或者小于MI單元，并且MI單元可以是一個(gè)方形分區(qū)或者一個(gè)非方形分區(qū)。因此，可選擇的TU尺寸是依賴于MI單元的寬度與MI單元的高度的最小值。因此，在每一個(gè)MI單元尺寸中，并非所有可能的TU尺寸32x32、16x16、8x8以及4x4都是可選擇的。在步驟306中，邊選擇電路104從可選擇的候選TU邊長中選擇一個(gè)目標(biāo)TU邊長，每一個(gè)候選邊長等于或者小于MI單元的寬度與MI單元的高度中的最小值。

在步驟308中，可實(shí)施額外的限制在可能的TU尺寸32x32、16x16、8x8以及4x4來決定可選擇的TU尺寸，從而保證具有一個(gè)最終選擇的TU尺寸的一個(gè)轉(zhuǎn)換單元不會(huì)跨過圖像的水平邊界。舉例來說，尺寸選擇電路104檢查圖像的高度H是否是可以被至少一個(gè)第一候選TU邊長(例如32或者16)整除來產(chǎn)生一個(gè)檢查結(jié)果，并且依據(jù)該檢查結(jié)果以及MI單元的尺寸來決定一個(gè)選擇的目標(biāo)TU邊長來設(shè)定TU尺寸。當(dāng)檢查結(jié)果指示圖像的高度H可以被第一候選TU邊長(例如32或者16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第一候選TU邊長(例如32或者16)、MI單元的寬度、MI單元的高度中的最小值。然而，當(dāng)檢查結(jié)果指示圖像的高度H不可以被任一個(gè)第一候選TU邊長(例如32以及16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第二候選TU邊長(例如8)、MI單元的寬度、MI單元的高度中的最小值，其中該第二候選TU邊長(例如8)小于每一第一候選TU邊長(例如32與16)。

在步驟310中，尺寸選擇電路104參考圖像邊界信息INF_PB(其可包含跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)MI_v_cross_boundary_flag)來決定MI單元是否跨過圖像水平邊界(例如圖2中所示的PB_H)。當(dāng)跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag指示MI單元跨過圖像水平邊界(即MI_h_cross_boundary_flag＝1)時(shí)，流程進(jìn)行至步驟314。當(dāng)跨過水平邊界旗標(biāo)MI_h_cross_boundary_flag指示MI單元是完全在圖像水平邊界內(nèi)時(shí)(即MI_h_cross_boundary_flag＝0)，流程進(jìn)行至步驟312。

在步驟312，可實(shí)施額外的限制在可能的TU尺寸32x32、16x16、8x8以及4x4來決定可選擇的TU尺寸，從而保證具有一個(gè)最終選擇的TU尺寸的一個(gè)轉(zhuǎn)換單元不會(huì)跨過圖像的垂直邊界。舉例來說，尺寸選擇電路104檢查圖像的寬度W是否是可以被至少一個(gè)第一候選TU邊長(例如32或者16)整除來產(chǎn)生一個(gè)檢查結(jié)果，并且依據(jù)該檢查結(jié)果以及MI單元的尺寸來決定一個(gè)選擇的目標(biāo)TU邊長來設(shè)定TU尺寸。當(dāng)檢查結(jié)果指示圖像的高度H可以被第一候選TU邊長(例如32或者16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第一候選TU邊長(例如32或者16)、MI單元的寬度、MI單元的高度中的最小值。然而，當(dāng)檢查結(jié)果指示圖像的寬度W不可以被任一個(gè)第一候選TU邊長(例如32以及16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第二候選TU邊長(例如8)、MI單元的寬度、MI單元的高度中的最小值，其中該第二候選TU邊長(例如8)小于每一第一候選TU邊長(例如32與16)。

在步驟314中，可實(shí)施額外的限制在可能的TU尺寸32x32、16x16、8x8以及4x4來決定可選擇的TU尺寸，從而保證具有一個(gè)最終選擇的TU尺寸的一個(gè)轉(zhuǎn)換單元不會(huì)跨過圖像的垂直邊界。舉例來說，尺寸選擇電路104檢查圖像的寬度W與高度H是否都是可以被至少一個(gè)相同的候選TU邊長(即至少一個(gè)第一候選TU邊長，例如32或者16)整除來產(chǎn)生一個(gè)檢查結(jié)果，并且依據(jù)該檢查結(jié)果以及MI單元的尺寸來決定一個(gè)選擇的目標(biāo)TU邊長來設(shè)定TU尺寸。當(dāng)檢查結(jié)果指示圖像的高度H與寬度W都可以被第一候選TU邊長(例如32或者16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第一候選TU邊長(例如32或者16)、MI單元的寬度、MI單元的高度中的最小值。然而，當(dāng)檢查結(jié)果指示圖像的寬度W與高度H不可以都被任一個(gè)相同的第一候選TU邊長(例如32以及16)整除時(shí)，尺寸選擇電路104從至少一個(gè)可選擇的候選TU邊長中選擇目標(biāo)TU邊長，每一個(gè)可選擇的候選TU邊長等于或者小于第二候選TU邊長(例如8)、MI單元的寬度、MI單元的高度中的最小值，其中該第二候選TU邊長(例如8)小于每一第一候選TU邊長(例如32與16)。

在一種情況下，當(dāng)在圖像邊界的幀內(nèi)預(yù)測沒有限制時(shí)，所有的TU尺寸4x4、8x8、16x16以及32x32在圖像邊界都被允許。為了避免在圖像邊界處，在執(zhí)行幀內(nèi)預(yù)測之前填充上側(cè)或者左側(cè)的相鄰像素，圖1中的視頻處理裝置使用尺寸選擇電路104來適當(dāng)?shù)乜刂芓U尺寸選擇。然而，這僅僅作為舉例說明，而并非是本發(fā)明的限制。在其他替代設(shè)計(jì)中，一個(gè)邊界MI單元的MI單元的尺寸可被適當(dāng)?shù)乜刂苼磉_(dá)到避免在執(zhí)行幀內(nèi)預(yù)測之前在圖像邊界填充相鄰像素的相同的目的，其中該邊界MI單元是在超級(jí)區(qū)塊中的并且最接近圖像的圖像邊界。

圖4是將一個(gè)圖像分割為64x64尺寸大小的區(qū)塊(或稱為超級(jí)區(qū)塊)的示意圖。待編碼的圖像IMG具有圖像寬度W以及圖像高度H。此外，圖像IMG的圖像邊界包含圖像垂直邊界PB_V以及圖像水平邊界PB_H。圖像邊界等于顯示邊界擴(kuò)展至最接近的8的整數(shù)倍。因此，圖像垂直邊界PB_V等于顯示垂直邊界擴(kuò)展至一個(gè)是8的整數(shù)倍的最近的值，并且圖像水平邊界PB_V等于顯示水平邊界擴(kuò)展至一個(gè)是8的整數(shù)倍的最近的值。為了清楚以及簡單說明，在圖4中僅僅繪示了3個(gè)超級(jí)區(qū)塊，其中超級(jí)區(qū)塊SB_64x64_1跨過圖像垂直邊界PB_V，超級(jí)區(qū)塊SB_64x64_2跨過圖像垂直邊界PB_V與圖像水平邊界PB_H兩者，并且超級(jí)區(qū)塊SB_64x64_3跨過圖像水平邊界PB_H。如上所述，一個(gè)MI單元可分割為一個(gè)或者多個(gè)變換區(qū)塊，每一個(gè)具有從32x32、16x16、8x8以及4x4中的TU尺寸。因此，如果MI單元尺寸可適當(dāng)?shù)剡x擇來保證MI單元MI₁-MI₉(其是接近圖像邊界的邊界MI單元)沒有跨過圖像邊界，在每一個(gè)MI單元MI₁-MI₉中的定義的任意的變換單元是保證完全位于圖像邊界內(nèi)的，因此不需要在執(zhí)行幀內(nèi)預(yù)測之前執(zhí)行相鄰像素填充。基于上述觀察，本發(fā)明因此提出一種修正的MI單元尺寸選擇機(jī)制來代替?zhèn)鹘y(tǒng)的MI單元尺寸選擇機(jī)制，從而避免最接近圖像邊界的邊界MI單元跨過圖像邊界。所提出的MI單元尺寸選擇機(jī)制將如下詳述。

圖5是依據(jù)本發(fā)明的第二實(shí)施例的視頻處理裝置的示意圖。視頻處理裝置500可以是電子裝置的一部分，例如個(gè)人電腦(例如筆記本電腦或者桌上電腦)、移動(dòng)電話、平板或者可穿戴設(shè)備的一部分。該視頻處理裝置500可包括視頻編碼器的至少一部分(即部分或者全部)來編碼原始圖像，來產(chǎn)生包含多個(gè)連續(xù)的編碼的圖像的一個(gè)視頻序列。視頻編碼裝置500的至少一部分可由集成電路(IC)實(shí)現(xiàn)。簡單來說，任意的使用所提出的視頻編碼裝置500的電子裝置或者電子系統(tǒng)落入本發(fā)明的范圍。

所提出的MI單元尺寸選擇機(jī)制是通過是通過尺寸選擇電路504與控制電路502合作完成的。控制電路502是安排來決定圖像邊界信息INF_PB’。尺寸選擇電路504是安排來參考至少該圖像邊界信息INF_PB’來選擇與一個(gè)圖像的編碼相關(guān)的一個(gè)區(qū)塊的尺寸(例如一個(gè)MI單元的一個(gè)MI單元尺寸Size_MI)，其中MI單元尺寸Size_MI的選擇是被圖像邊界信息INF_PB’約束，從而保證具有所選擇的MI單元尺寸的MI單元不會(huì)跨過圖像的圖像邊界(例如具有選擇的MI單元尺寸的MI單元是正好位于該圖像的圖像邊界上)。

視頻處理裝置100與500之間的主要差別是控制電路與尺寸選擇電路的設(shè)計(jì)。在圖5所示的實(shí)施例中，控制電路502依據(jù)圖像的寬度W、圖像的高度H以及超級(jí)區(qū)塊(其可子分割為一個(gè)或者多個(gè)MI單元)的位置相關(guān)信息來設(shè)置圖像邊界信息INF_PB’，其中圖像邊界信息INF_PB’指示超級(jí)區(qū)塊是否跨過圖像邊界。在這個(gè)實(shí)施例中，圖像邊界信息INF_PB’可通過使用跨過水平邊界旗標(biāo)SB_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)SB_v_cross_boundary_flag實(shí)現(xiàn)。舉例來說，當(dāng)前編碼的超級(jí)區(qū)塊的位置相關(guān)信息包含一個(gè)開始X軸位置XL’、結(jié)束X軸位置XH’、開始Y軸位置YL’以及一個(gè)結(jié)束Y軸位置YH’，其中XH’>XL’以及YH’>YL’。具體來說，超級(jí)區(qū)塊的上-左角位于(XL’,YH’)，超級(jí)區(qū)塊的上-右角位于(XH’,YH’)，超級(jí)區(qū)塊的下-左角位于(XL’,YL’)，并且超級(jí)區(qū)塊的下-右角位于(XH’,YL’)。圖像的圖像寬度W與圖像高度H可依據(jù)顯示區(qū)域的顯示寬度以及顯示高度分別決定。設(shè)置跨水平邊界旗標(biāo)SB_h_cross_boundary_flag的操作可通過如下的偽代碼實(shí)現(xiàn)。

If(XL’<W)&&(XH’>W)

SB_h_cross_boundary_flag＝1

else

SB_h_cross_boundary_flag＝0

設(shè)置跨垂直邊界旗標(biāo)SB_v_cross_boundary_flag的操作可通過如下的偽代碼實(shí)現(xiàn)。

If(YL’<H)&&(YH’>H)

SB_v_cross_boundary_flag＝1

else

SB_v_cross_boundary_flag＝0

需注意的是，上述舉例說明并非是本發(fā)明的限制。在一個(gè)替代設(shè)計(jì)中，控制電路502可配置為使用不同的計(jì)算算法來設(shè)置圖像邊界信息INF_PB’，以指示超級(jí)區(qū)塊是否跨過圖像邊界。

如上所述，一個(gè)具有區(qū)塊尺寸64x64的超級(jí)區(qū)塊可被分割為一個(gè)或者多個(gè)MI單元，其中可能的MI單元尺寸對應(yīng)方形分區(qū)(例如64x64尺寸區(qū)塊、32x32尺寸區(qū)塊、16x16尺寸區(qū)塊以及8x8尺寸區(qū)塊)以及非方形分區(qū)(例如64x32尺寸區(qū)塊、32x64尺寸區(qū)塊、32x16尺寸區(qū)塊、16x32尺寸區(qū)塊、…、8x8尺寸區(qū)塊)。因此關(guān)于最接近圖像邊界的邊界MI單元，需要決定邊界MI單元的寬度與高度，從而保證具有選擇的MI單元尺寸的MI單元不跨過圖像邊界。

圖6是依據(jù)本發(fā)明的實(shí)施例的一種MI單元高度選擇方法的流程圖。MI單元高度選擇方法由尺寸選擇電路504實(shí)現(xiàn)。尺寸選擇電路504至少依據(jù)圖像邊界信息INF_PB’決定MI單元(其是在一個(gè)超級(jí)區(qū)塊內(nèi)部的最接近圖像邊界的邊界MI單元)的高度。在步驟602,尺寸選擇電路504參考圖像邊界信息INF_PB’(其可包含跨過水平邊界旗標(biāo)SB_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)SB_v_cross_boundary_flag)來決定超級(jí)區(qū)塊是否跨過圖像水平邊界(例如圖4中所示的PB_H)。當(dāng)跨過跨過水平邊界旗標(biāo)SB_h_cross_boundary_flag指示超級(jí)區(qū)塊跨過圖像水平邊界(即SB_h_cross_boundary_flag＝1)，方法執(zhí)行至步驟606。然而，當(dāng)跨過水平邊界旗標(biāo)SB_h_cross_boundary_flag指示超級(jí)單元是完全位于圖像水平邊界之內(nèi)的(即SB_h_cross_boundary_flag＝0)，上述方法執(zhí)行至步驟604。

當(dāng)超級(jí)區(qū)塊是完全位于圖像水平邊界內(nèi)時(shí)，超級(jí)區(qū)塊內(nèi)定義的任意的MI單元都不會(huì)跨過圖像水平邊界。如上所述，可能的MI單元尺寸將包含64x64、32x32、16x16、8x8、64x32、32x64、32x16、16x32、…、8x8。因此，在步驟604中，邊選擇電路504從可選擇的候選MI單元高度中選擇一個(gè)目標(biāo)MI單元高度，每一個(gè)候選MI單元高度等于或者小于一個(gè)最大可能MI單元高度(即64)。

在步驟606中，可實(shí)施額外的限制在可能的MI單元高度64、32、16、8來決定可選擇的MI單元高度，從而保證具有選擇的MI單元高度的MI單元不會(huì)跨過圖像的水平邊界。舉例來說，尺寸選擇電路504檢查圖像的高度H是否是可以被至少一個(gè)第一候選MI單元高度(例如32或者16)整除來產(chǎn)生一個(gè)檢查結(jié)果，并且依據(jù)該檢查結(jié)果來決定一個(gè)選擇的目標(biāo)MI單元高度來設(shè)定MI單元尺寸。當(dāng)檢查結(jié)果指示圖像的高度H可以被第一候選MI單元高度(例如32或者16)整除時(shí)，尺寸選擇電路504從至少一個(gè)可選擇的候選MI單元高度中選擇目標(biāo)MI單元高度，每一個(gè)可選擇的候選MI單元高度等于或者小于第一候選MI單元高度(例如32或者16)。然而，當(dāng)檢查結(jié)果指示圖像的高度H不可以被任一個(gè)第一候選MI單元高度(例如32以及16)整除時(shí)，尺寸選擇電路504從至少一個(gè)可選擇的候選MI單元高度中選擇目標(biāo)MI單元高度，每一個(gè)可選擇的候選MI單元高度等于或者小于第二候選MI單元高度，例如最小可能MI單元高度(即8)。

圖7是依據(jù)本發(fā)明的實(shí)施例的一種MI單元寬度選擇方法的流程圖。MI單元寬度選擇方法由尺寸選擇電路504實(shí)現(xiàn)。尺寸選擇電路504至少部分地依據(jù)圖像邊界信息INF_PB’決定MI單元(其是在一個(gè)超級(jí)區(qū)塊內(nèi)部的最接近圖像邊界的邊界MI單元)的寬度。在步驟702,尺寸選擇電路504參考圖像邊界信息INF_PB’(其可包含跨過水平邊界旗標(biāo)SB_h_cross_boundary_flag以及跨過垂直邊界旗標(biāo)SB_v_cross_boundary_flag)來決定超級(jí)區(qū)塊是否跨過圖像垂直邊界(例如圖4中所示的PB_V)。當(dāng)跨過跨過跨過垂直邊界旗標(biāo)SB_v_cross_boundary_flag指示超級(jí)區(qū)塊跨過圖像垂直邊界(即SB_v_cross_boundary_flag＝1)，方法執(zhí)行至步驟706。然而，當(dāng)跨過垂直邊界旗標(biāo)SB_v_cross_boundary_flag指示超級(jí)單元是完全位于圖像垂直邊界之內(nèi)的(即SB_v_cross_boundary_flag＝0)，上述方法執(zhí)行至步驟704。

當(dāng)超級(jí)區(qū)塊是完全在圖像垂直邊界內(nèi)時(shí)，超級(jí)區(qū)塊內(nèi)定義的任意的MI單元都不會(huì)跨過圖像垂直邊界。如上所述，可能的MI單元尺寸將包含64x64、32x32、16x16、8x8、64x32、32x64、32x16、16x32、…、8x8。因此，在步驟704中，邊選擇電路504從可選擇的候選MI單元高度中選擇一個(gè)目標(biāo)MI單元高度，每一個(gè)候選MI單元高度等于或者小于一個(gè)最大可能MI單元高度(即64)。

在步驟706中，可實(shí)施額外的限制在可能的MI單元寬度64、32、16、8來決定可選擇的MI單元寬度，從而保證具有選擇的MI單元寬度的MI單元不會(huì)跨過圖像的垂直邊界。舉例來說，尺寸選擇電路504檢查圖像的寬度W是否是可以被至少一個(gè)第一候選MI單元寬度(例如32或者16)整除來產(chǎn)生一個(gè)檢查結(jié)果，并且依據(jù)該檢查結(jié)果來決定一個(gè)選擇的目標(biāo)MI單元寬度來設(shè)定MI單元尺寸。當(dāng)檢查結(jié)果指示圖像的寬度W可以被第一候選MI單元寬度(例如32或者16)整除時(shí)，尺寸選擇電路504從至少一個(gè)可選擇的候選MI單元寬度中選擇目標(biāo)MI單元寬度，每一個(gè)可選擇的候選MI單元寬度等于或者小于第一候選MI單元寬度(例如32或者16)。然而，當(dāng)檢查結(jié)果指示圖像的寬度W不可以被任一個(gè)第一候選MI單元寬度(例如32以及16)整除時(shí)，尺寸選擇電路504從至少一個(gè)可選擇的候選MI單元寬度中選擇目標(biāo)MI單元寬度，每一個(gè)可選擇的候選MI單元寬度等于或者小于第二候選MI單元寬度，例如最小可能MI單元寬度(即8)。

如上所述，一個(gè)圖像可分割為多個(gè)超級(jí)區(qū)塊，一個(gè)超級(jí)區(qū)塊可分割為一個(gè)或者M(jìn)I單元，一個(gè)MI單元可分割為一個(gè)或者多個(gè)TU。當(dāng)圖像的圖像邊界是通過顯示區(qū)域的顯示邊界擴(kuò)展至是8的整數(shù)倍的一個(gè)最接近的值時(shí)，每一個(gè)具有區(qū)塊尺寸64x64的超級(jí)區(qū)塊不能保證完全在圖像的圖像邊界之內(nèi)。因此，一個(gè)跨過圖像邊界的超級(jí)區(qū)塊中的一個(gè)MI中定義的一個(gè)TU可能并非完全在圖像邊界之內(nèi)。在另一個(gè)替代設(shè)計(jì)中，可適當(dāng)?shù)卦O(shè)定圖像邊界來達(dá)到在執(zhí)行幀內(nèi)預(yù)測之前在圖像邊界處需要相鄰像素填充的問題。

圖8是依據(jù)本發(fā)明的第三實(shí)施例的視頻處理裝置的示意圖。視頻處理裝置800可以是電子裝置的一部分，例如個(gè)人電腦(例如筆記本電腦或者桌上電腦)、移動(dòng)電話、平板或者可穿戴設(shè)備的一部分。該視頻處理裝置800可包括視頻編碼器的至少一部分(即部分或者全部)來編碼原始圖像，來產(chǎn)生包含多個(gè)連續(xù)的編碼的圖像的一個(gè)視頻序列。視頻編碼裝置800的至少一部分可由集成電路(IC)實(shí)現(xiàn)。簡單來說，任意的使用所提出的視頻編碼裝置800的電子裝置或者電子系統(tǒng)落入本發(fā)明的范圍。

如圖8所示，視頻處理裝置(例如部分視頻編碼器)800包含圖像寬度決定電路802以及圖像高度決定電路804。圖像寬度決定電路802被安排來參考顯示區(qū)域的顯示寬度W_DIS來決定待編碼的圖像的圖像寬度W_PIC。圖像高度決定電路804被安排來參考顯示區(qū)域的顯示高度H_DIS來決定待編碼的圖像的圖像高度H_PIC。顯示分辨率信息，包含顯示寬度W_DIS與顯示高度H_DIS，可在一個(gè)容器(container，例如MKV或者WebM)中設(shè)定，或者在編碼的視頻比特流的后續(xù)信息中設(shè)定。一個(gè)超級(jí)區(qū)塊(即64x64尺寸區(qū)塊)是具有邊長等于64的一個(gè)方形分區(qū)，其中超級(jí)區(qū)塊的寬度與高度都等于相同的邊長。在第一個(gè)實(shí)施例中，圖像寬度W_PIC是通過將顯示寬度W_DIS擴(kuò)展至一個(gè)是超級(jí)區(qū)塊(SB)邊長(即64)整數(shù)倍的最接近的值。舉例來說，設(shè)置圖像寬度W_PIC的操作可用如下的偽代碼表示：picture_width＝((display_width+63)>＞6)<<6，其中“>＞”是一個(gè)右比特-位移操作符，并且“<<”是一個(gè)左比特-位移操作符。由于圖像寬度W_PIC是SB邊長(即64)的整數(shù)倍，具有圖像寬度W_PIC的圖像將分割為多個(gè)SB，每一個(gè)SB并沒有跨過圖像垂直邊界。以這樣的方式，在一個(gè)SB中的每一個(gè)MI單元中定義的變換單元保證完全位于圖像垂直邊界之內(nèi)，因此在執(zhí)行幀內(nèi)預(yù)測之前在圖像垂直邊界處不需要相鄰像素填充。

在第二個(gè)實(shí)施例中，圖像高度H_PIC是通過將顯示高度H_DIS擴(kuò)展至一個(gè)是超級(jí)區(qū)塊(SB)邊長(即64)整數(shù)倍的最接近的值。舉例來說，設(shè)置圖像高度H_PIC的操作可用如下的偽代碼表示：picture_height＝((display_height+63)>＞6)<<6，其中“>＞”是一個(gè)右比特-位移操作符，并且“<<”是一個(gè)左比特-位移操作符。由于圖像高度H_PIC是SB邊長(即64)的整數(shù)倍，具有圖像高度H_PIC的圖像將分割為多個(gè)SB，每一個(gè)SB并沒有跨過圖像水平邊界。以這樣的方式，在一個(gè)SB中的每一個(gè)MI單元中定義的變換單元保證完全位于圖像水平邊界之內(nèi)，因此在執(zhí)行幀內(nèi)預(yù)測之前在圖像水平邊界處不需要相鄰像素填充。

在第三個(gè)實(shí)施例中，圖像寬度W_PIC是通過將顯示寬度W_DIS擴(kuò)展至一個(gè)是超級(jí)區(qū)塊(SB)邊長(即64)整數(shù)倍的最接近的值，圖像高度H_PIC是通過將顯示高度H_DIS擴(kuò)展至一個(gè)是超級(jí)區(qū)塊(SB)邊長(即64)整數(shù)倍的最接近的值。由于圖像高度H_PIC與圖像寬度W_PIC是SB邊長(即64)的整數(shù)倍，具有圖像寬度W_PIC與圖像高度H_PIC的圖像將分割為多個(gè)SB，每一個(gè)SB并沒有跨過圖像邊界。以這樣的方式，在一個(gè)SB中的每一個(gè)MI單元中定義的變換單元保證完全位于圖像邊界之內(nèi)，因此在執(zhí)行幀內(nèi)預(yù)測之前在圖像邊界處不需要相鄰像素填充。

本發(fā)明通過上述實(shí)施例進(jìn)行舉例說明，本發(fā)明并非局限于上述舉例說明。本發(fā)明應(yīng)理解為涵蓋本領(lǐng)域技術(shù)人員可了解的多種變型的實(shí)施方式與相似的安排。因此，本發(fā)明的權(quán)利要求書應(yīng)該理解為涵蓋本領(lǐng)域技術(shù)人員可了解的多種變型的實(shí)施方式與相似的安排的較廣范圍。