用于三維視頻編碼的容錯(cuò)亮度補(bǔ)償?shù)姆椒?br>【專(zhuān)利說(shuō)明】用于三維視頻編碼的容錯(cuò)亮度補(bǔ)償?shù)姆椒?br>[0001] 【交叉引用】
[0002] 本發(fā)明主張申請(qǐng)于2013年4月12日，序列號(hào)為PCT/CN2013/074136,標(biāo)題為 "Removal of Parsing Dependency for Illumination Compensation'，的 PCT 專(zhuān)利申請(qǐng)的 優(yōu)先權(quán)。將此PCT專(zhuān)利申請(qǐng)以參考的方式并入本文中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及視頻編碼。特別涉及三維/多視圖視頻編碼中的亮度補(bǔ)償。 【【背景技術(shù)】】
[0004] 三維（Three-dimensional，以下簡(jiǎn)稱(chēng)為3D)電視技術(shù)是近年來(lái)的技術(shù)發(fā)展趨勢(shì)， 其試圖給觀看者帶來(lái)轟動(dòng)的觀看體驗(yàn)（viewing experience)。多視圖視頻是一種用來(lái)捕 獲并呈現(xiàn)3D視頻的技術(shù)。多視圖視頻通常是通過(guò)由多個(gè)相機(jī)同時(shí)捕獲一個(gè)場(chǎng)景來(lái)創(chuàng)建，其 中，多個(gè)相機(jī)被合適地定位以使每個(gè)相機(jī)從一個(gè)視角（viewpoint)來(lái)捕獲該場(chǎng)景。具有大 量與視圖相關(guān)聯(lián)的視頻序列的多視圖視頻表示了巨量的數(shù)據(jù)（massive amount data)。因 此，多視圖視頻需要大量的存儲(chǔ)空間來(lái)存儲(chǔ)和/或需要高的帶寬來(lái)傳送。因此，在本領(lǐng)域 中，多視圖視頻編碼技術(shù)被開(kāi)發(fā)出來(lái)以減少所需要的存儲(chǔ)空間以及傳送帶寬。一個(gè)直接方 法可以簡(jiǎn)單地應(yīng)用于現(xiàn)有的視頻編碼技術(shù)，使每個(gè)單個(gè)視圖視頻序列獨(dú)立且忽視不同視圖 中的任何關(guān)聯(lián)。這樣的直接的技術(shù)將導(dǎo)致低下的編碼性能。
[0005] 為了提高多視圖視頻編碼效率，多視圖視頻編碼總是利用視圖間冗余。兩個(gè)視圖 之間的視差是由兩個(gè)相關(guān)相機(jī)的位置以及角度而導(dǎo)致。因?yàn)樗邢鄼C(jī)是從不同的視角捕獲 相同的場(chǎng)景，所以多視圖視頻數(shù)據(jù)包括大量視圖間冗余。利用視圖間冗余，使用視差向量 (disparity vector，DV)的編碼工具已經(jīng)被開(kāi)發(fā)以用于3D高效視頻編碼（High Efficiency Video Coding，HEVC)以及 3D 先進(jìn)視頻編碼（Advanced Video Coding)。例如，DV 被用作先 進(jìn)運(yùn)動(dòng)向量預(yù)測(cè)（Advanced Motion Vector Prediction, AMVP)以及合并模式中的時(shí)間視 圖間運(yùn)動(dòng)向量候選（temporal inter-view motion vector candidateJIVChDV也可被用 作AMVP以及合并模式中視差視圖間運(yùn)動(dòng)向量候選（disparity inter-view motion vector candidate，DIVC)。此外，DV 被用于視圖間殘差預(yù)測(cè)（inter-view residual prediction， IVRP)以及視圖合成預(yù)測(cè)（view synthesis prediction，VSP)。
[0006] 此外，亮度補(bǔ)償（Illumination Compensation，IC)是一種減少由不同相機(jī)于 不同位置捕獲的兩個(gè)視圖的不同光線區(qū)域而導(dǎo)致的光強(qiáng)度（intensity)差值的技術(shù)。于 HTM 中，Liu 等人所寫(xiě)的論文（"3D-CE2. h:Results of Illumination Compensation for Inter-View Prediction"，Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/ffG 11,2nd Meeting:Shanghai, CN, 13- 190ct. 2012, Document:JCT3V-B0045)中揭露了一種線性 IC 模型，用來(lái)補(bǔ)償不同視圖中的亮度差異。IC模型中的參數(shù)被估計(jì)以用于每個(gè)預(yù)測(cè)單元 (Prediction Unit，PU)，其中，每個(gè)PU使用可用的最近重建相鄰像素。因此，不需要將IC 參數(shù)傳送到解碼器。是否應(yīng)用IC是在編碼單元（coding unit，⑶）等級(jí)決定，且IC旗標(biāo)被 編碼以指示于此CU等級(jí)下IC是否被啟用。旗標(biāo)僅存在于使用視圖間預(yù)測(cè)來(lái)編碼的CU。如 果用于CU的IC被啟用，且CU中的PU通過(guò)時(shí)間預(yù)測(cè)（即，幀間預(yù)測(cè)）被編碼，則PU塊被認(rèn) 為是具有IC禁用。用于視圖間預(yù)測(cè)的線性IC模型如等式（1)所示：
[0007] p(i, j) = aIC · r(i+dvx, j+dvy)+bIC where (i, j) e PUc (I)
[0008] 其中，PUc是當(dāng)前PU, (i，j)為PUc中的像素坐標(biāo)，（dvx，dvy)為PU。的視差向量， P(i，j)PUc的預(yù)測(cè)，r ( ·，·）來(lái)自相鄰視圖的HJ的參考圖片，且a IC以及b κ為線性IC模型 的參數(shù)。
[0009] 此外，為了提供切片級(jí)（slice-level)的自適應(yīng)1C，編碼器可以決定是否將IC應(yīng) 用于當(dāng)前圖片，并傳送該決定到解碼器。一個(gè)1比特的旗標(biāo)可以被編碼到第一切片的切片 標(biāo)頭中，以指示是否IC被啟用以用于圖片中的第一切片以及其后續(xù)切片。用于IC決定的 決定過(guò)程的示例如下所示。
[0010] 1)形成當(dāng)前圖片以及視圖間參考原始圖片的像素光強(qiáng)度柱狀圖。
[0011] 2)計(jì)算兩個(gè)柱狀圖之間的SAD。
[0012] 3)如果SAD超過(guò)閾值，IC旗標(biāo)被設(shè)置為1 ;
[0013] 4)否則，IC旗標(biāo)被設(shè)置為0。
[0014] 當(dāng)前以及視圖間參考圖片的每個(gè)顏色的像素光強(qiáng)度分布是由柱狀圖來(lái)表示，且兩 個(gè)分布的相似性是通過(guò)兩個(gè)柱狀圖的絕對(duì)差和（Sum of Absolute Differences，SAD)來(lái)測(cè) 量。接著，將SAD與閾值相比較以確定是否對(duì)當(dāng)前圖片啟用1C。閾值可以根據(jù)從待編碼圖 片（underlying picture)或測(cè)試圖片中收集的圖片特性來(lái)確定。當(dāng)IC被禁用于圖片時(shí)， 編碼器不需要確定是否對(duì)當(dāng)前圖片的CU提供1C。在此情況下，不需要向解碼器傳送CU等 級(jí)旗標(biāo)。因此，在編碼器側(cè)以及解碼器側(cè)，都可以避免不必要的IC決定。
[0015] 雖然IC可以提供顯著的編碼增益，但是根據(jù)當(dāng)前基于HEVC的測(cè)試模型 (HEVC-based Test Model，HTM)，IC 會(huì)導(dǎo)致解析依賴(lài)（parsing dependency)問(wèn)題。根據(jù)現(xiàn) 存的HTM，IC旗標(biāo)（ic_flag)僅被使用于（signalled)圖片間CU(inter CU)，其中，視圖間 預(yù)測(cè)被使用。解析器必須檢查是否視圖間參考數(shù)據(jù)被使用。如果視圖間參考數(shù)據(jù)被使用， 解析器將解析用于當(dāng)前CU的ic_flag。因此，如果參考列表僅包含視圖間參考圖片，則ic_ flag總是需要被解析。另一方面，如果參考列表僅包含跨時(shí)間參考圖片，則ic_flag從來(lái)不 需要被解析。在這兩種情形下是沒(méi)有解析依賴(lài)的。
[0016] 當(dāng)參考列表包括視圖間以及跨時(shí)間（即，時(shí)間）參考圖片時(shí)，可能會(huì)出現(xiàn)解析問(wèn) 題。如果當(dāng)前CU中的所有PU都是以非合并模式（例如，AMVP模式）被編碼，因?yàn)樗?被使用的參考圖片是通過(guò)用于非合并模式的參考索引（reference indices)來(lái)顯式地表 示，所以不會(huì)有解析依賴(lài)，其中AMVP模式為先進(jìn)運(yùn)動(dòng)向量預(yù)測(cè)（Advanced Motion vector Prediction)模式。然而，根據(jù)現(xiàn)存的HTM，用于使用合并模式編碼的PU的參考圖片不是 顯式地表示?？商娲模瑓⒖妓饕╮eference index)是由所選擇的合并候選中導(dǎo)出。由 于合并候選列表結(jié)構(gòu)中的修剪過(guò)程（pruning process)，所導(dǎo)出的參考圖片可取決于其相 鄰塊的運(yùn)動(dòng)向量（motion vector，MV)。因?yàn)橄噜弶K的MV來(lái)自于對(duì)應(yīng)圖片（collocated picture)，所導(dǎo)出的參考圖片可間接地取決于對(duì)應(yīng)圖片。如果對(duì)應(yīng)圖片損壞（例如，由于傳 送錯(cuò)誤），則ic_flag的解析問(wèn)題可能會(huì)發(fā)生。
[0017] 圖IA以及圖IB為由于間接解析依賴(lài)而發(fā)生解析問(wèn)題的示例的示意圖。在此示例 中，參考圖片Ref 0以及參考圖片Ref 1分別為跨時(shí)間（inter-time)以及視圖間參考圖 片。當(dāng)前CU被編碼為2Nx2N合并模式，且所選擇的合并候選是由合并索引1來(lái)指示。在此 示例中，與前三個(gè)候選相關(guān)聯(lián)的參考索引為〇、〇、以及1。由前兩個(gè)候選中導(dǎo)出的MV被表 示為MVa以及MVb，如圖IA所示的示例中，MVa以及MVb是相等的，即，MVa = MVb。此外， MVb是由時(shí)間運(yùn)動(dòng)向量預(yù)測(cè)（Temporal Motion Vector Prediction，TMVP)從對(duì)應(yīng)圖片中 獲取。在合并候選修剪過(guò)程中，因?yàn)榈诙赡芎蜻x與第一可能候選相等，第二可能候選將從 候選列表中移除。此過(guò)程將導(dǎo)致如圖IB所示的候選列表110。因此，合并索引1指的是具 有視圖間參考的第三原始候選（于第二候選被移除之前）。其結(jié)果是，如果對(duì)應(yīng)圖片在解 碼器中被正確地接收，則ic_flag需要被解析以用于此⑶。然而，如果對(duì)應(yīng)圖片被損壞（例 如，由于傳送錯(cuò)誤），與相鄰塊相關(guān)聯(lián)的候選MVb可能會(huì)被錯(cuò)誤解碼。這將會(huì)導(dǎo)致MVa != MVb，且在此情況下，第二候選將不會(huì)從候選列表中移除。這就會(huì)導(dǎo)致如圖IB所示的候選列 表120。因此，合并索引1將指向此候選列表中的第二可能候選，第二可能候選是一個(gè)跨時(shí) 間參考。因此，根據(jù)現(xiàn)存的HTM，ic_flag不會(huì)被解析以用于此⑶，且會(huì)出現(xiàn)解析問(wèn)題。
[0018] 因此，