3d視頻編碼/解碼方法和設(shè)備的制造方法
【專利摘要】本發(fā)明提供一種3D視頻解碼方法和設(shè)備。根據(jù)本發(fā)明的3D視頻解碼方法包括下述步驟：使用紋理圖片的運(yùn)動(dòng)信息，確定是否應(yīng)用用于引導(dǎo)深度圖片的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量繼承；當(dāng)確定應(yīng)用運(yùn)動(dòng)向量繼承時(shí)，深度圖片內(nèi)的當(dāng)前塊引導(dǎo)到用于運(yùn)動(dòng)向量繼承的子塊大小的深度子塊；從與深度子塊相對(duì)應(yīng)的紋理圖片內(nèi)的紋理塊引導(dǎo)深度子塊的運(yùn)動(dòng)向量；以及基于深度子塊的運(yùn)動(dòng)向量，通過(guò)生成深度子塊的預(yù)測(cè)采樣來(lái)引導(dǎo)當(dāng)前塊的重建采樣。
【專利說(shuō)明】
3D視頻編碼/解碼方法和設(shè)備
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及與視頻編譯相關(guān)聯(lián)的技術(shù)，并且更加具體地，涉及3D視頻圖片的編譯。
【背景技術(shù)】
[0002]近年來(lái)，對(duì)高分辨率和高質(zhì)量視頻的需要已經(jīng)在各種應(yīng)用領(lǐng)域中增長(zhǎng)。然而，視頻數(shù)據(jù)的分辨率和質(zhì)量變得越高，視頻數(shù)據(jù)的量變得越大。
[0003]因此，當(dāng)使用諸如現(xiàn)有的有線或者無(wú)線寬帶線傳送視頻數(shù)據(jù)或者視頻數(shù)據(jù)被存儲(chǔ)在現(xiàn)有的存儲(chǔ)介質(zhì)中時(shí)，傳送成本及其存儲(chǔ)成本增加。能夠使用高效率的視頻壓縮技術(shù)以有效地傳送、存儲(chǔ)和再現(xiàn)高分辨率和高質(zhì)量的視頻數(shù)據(jù)。
[0004]另一方面，隨著處理高分辨率/大容量視頻的能力的實(shí)現(xiàn)，使用3D視頻的數(shù)字廣播服務(wù)已經(jīng)作為下一代廣播服務(wù)引起注意。3D視頻能夠使用多視圖信道提供真實(shí)感和沉浸感。
[0005]3D視頻能夠在諸如自由視點(diǎn)視頻(FVV)、自由視點(diǎn)TV(FTV)、3DTV、監(jiān)視以及家庭娛樂(lè)的各種領(lǐng)域中使用。
[0006]不同于單個(gè)視圖視頻，使用多視圖的3D視頻在具有相同的圖片順序計(jì)數(shù)POC的視圖之間具有高的相關(guān)性。因?yàn)橐远鄠€(gè)鄰近的相機(jī)拍攝相同的場(chǎng)景，即，除視差和微小的照度差值之外，多個(gè)視圖、多視圖視頻具有幾乎相同的信息，并且因此不同的視圖在其間具有高的相關(guān)性。
[0007]因此，在不同的視圖之間的相關(guān)性能夠被考慮用于編碼/解碼多視圖視頻，并且能夠獲得對(duì)于編碼和/或解碼當(dāng)前視圖的需求的信息。例如，能夠參考在另一視圖中的塊來(lái)預(yù)測(cè)或者解碼在當(dāng)前的視圖中要解碼的塊。

【發(fā)明內(nèi)容】

[0008]技術(shù)問(wèn)題
[0009]本發(fā)明提供一種用于在三維(3D)視頻編譯中從紋理圖片導(dǎo)出深度圖片的運(yùn)動(dòng)向量的方法和設(shè)備。
[0010]本發(fā)明提供一種用于在3D視頻編譯中使用運(yùn)動(dòng)向量繼承(MVI)通過(guò)子塊導(dǎo)出深度圖片的運(yùn)動(dòng)向量的方法和設(shè)備。
[0011]本發(fā)明提供一種用于在3D視頻編譯中導(dǎo)出不具有運(yùn)動(dòng)信息的深度圖片中的子塊的運(yùn)動(dòng)向量的方法和設(shè)備。
[0012]技術(shù)方案
[0013]根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供一種3D視頻解碼方法。3D視頻解碼方法包括:使用關(guān)于紋理圖片的運(yùn)動(dòng)信息來(lái)確定是否應(yīng)用導(dǎo)出深度圖片的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量繼承；當(dāng)確定應(yīng)用運(yùn)動(dòng)向量繼承時(shí)導(dǎo)出深度圖片中的當(dāng)前塊作為用于運(yùn)動(dòng)向量繼承的具有子塊大小的深度子塊;從與深度子塊相對(duì)應(yīng)的紋理圖片中的紋理塊導(dǎo)出深度子塊的運(yùn)動(dòng)向量；以及基于深度子塊的運(yùn)動(dòng)向量，通過(guò)生成深度子塊的預(yù)測(cè)采樣來(lái)導(dǎo)出當(dāng)前塊的重建采樣。
[0014]根據(jù)本發(fā)明的另一實(shí)施例，提供一種3D視頻解碼設(shè)備。3D視頻解碼設(shè)備包括:預(yù)測(cè)單元，該預(yù)測(cè)單元使用關(guān)于紋理圖片的運(yùn)動(dòng)信息來(lái)確定是否應(yīng)用導(dǎo)出深度圖片的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量繼承，當(dāng)確定應(yīng)用運(yùn)動(dòng)向量繼承時(shí)導(dǎo)出深度圖片中的當(dāng)前塊作為用于運(yùn)動(dòng)向量繼承的具有子塊大小的深度子塊，從與深度子塊相對(duì)應(yīng)的紋理圖片中的紋理塊導(dǎo)出深度子塊的運(yùn)動(dòng)向量，以及基于深度子塊的運(yùn)動(dòng)向量通過(guò)生成深度子塊的預(yù)測(cè)采樣來(lái)導(dǎo)出當(dāng)前塊的重建采樣。
[0015]有益效果
[0016]根據(jù)本發(fā)明，在3D視頻編譯中，可以從紋理圖片中導(dǎo)出深度圖片的運(yùn)動(dòng)向量，從而增加編譯效率。
[0017]根據(jù)本發(fā)明，在3D視頻編譯中，可以使用MVI通過(guò)子塊導(dǎo)出深度圖片的運(yùn)動(dòng)向量，從而增加預(yù)測(cè)效果。
[0018]根據(jù)本發(fā)明，在3D視頻編譯中，可以導(dǎo)出在不具有運(yùn)動(dòng)信息的深度圖片中的子塊的運(yùn)動(dòng)向量，從而增加預(yù)測(cè)效果。
【附圖說(shuō)明】
[0019]圖1簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的3維(3D)視頻編碼和解碼過(guò)程。
[0020]圖2簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的視頻編碼設(shè)備的結(jié)構(gòu)。
[0021]圖3簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的視頻解碼設(shè)備的結(jié)構(gòu)。
[0022 ]圖4簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的多視圖視頻編譯。
[0023]圖5簡(jiǎn)要地圖示使用運(yùn)動(dòng)向量繼承(MVI)導(dǎo)出深度圖片的運(yùn)動(dòng)向量的過(guò)程。
[0024]圖6簡(jiǎn)要地圖示使用MVI通過(guò)子塊導(dǎo)出深度圖片的運(yùn)動(dòng)向量的過(guò)程。
[0025]圖7簡(jiǎn)要地圖示根據(jù)本發(fā)明的實(shí)施例的當(dāng)使用MVI通過(guò)子塊導(dǎo)出用于深度圖片的運(yùn)動(dòng)向量時(shí)填充用于不具有運(yùn)動(dòng)向量的子塊的運(yùn)動(dòng)向量的方法。
[0026]圖8是簡(jiǎn)要地圖示根據(jù)本發(fā)明的實(shí)施例的使用MVI通過(guò)子塊導(dǎo)出用于深度圖片的運(yùn)動(dòng)向量的方法的流程圖。
【具體實(shí)施方式】
[0027]可以以各種形式修改本發(fā)明并且本發(fā)明可以具有各種實(shí)施例，并且將會(huì)在附圖中圖示其特定的實(shí)施例。然而，這些實(shí)施例不是旨在限制本發(fā)明。在下面的描述中使用的術(shù)語(yǔ)被用于僅描述特定的實(shí)施例，并且不旨在限制本發(fā)明的技術(shù)精神。單數(shù)的表達(dá)包括復(fù)數(shù)的表達(dá)，只要其已經(jīng)清楚地不同地閱讀。在本描述中的諸如“包括”和“具有”的術(shù)語(yǔ)旨在指示在下面的描述中使用的特征、數(shù)目、步驟、操作、要素、組件、或者其組合存在，并且因此應(yīng)理解，不排除一個(gè)或者多個(gè)不同特征、數(shù)目、步驟、操作、要素、組件、或者其組合的存在或者添加的可能性。
[0028]另一方面，為了對(duì)不同特定功能的解釋的方便起見(jiàn)獨(dú)立地繪制在本發(fā)明中描述的附圖的元件，并且不意指通過(guò)獨(dú)立的硬件或者獨(dú)立的軟件體現(xiàn)元件。例如，元件之中的兩個(gè)或更多個(gè)元件可以被組合以形成單個(gè)元件，或者一個(gè)元件可以被分離成多個(gè)元件。在沒(méi)有脫離本發(fā)明的概念的情況下其中元件被組合和/或分離的實(shí)施例屬于本發(fā)明的范圍。
[0029]在下文中，將會(huì)參考附圖詳細(xì)地描述本發(fā)明的實(shí)施例。在下文中，在整個(gè)附圖中相同的附圖標(biāo)記被用于指示相同的元件，并且關(guān)于相同的元件的相同的描述將會(huì)被省略。
[0030]在本說(shuō)明書(shū)中，像素或者像元可以意指組成一個(gè)圖片的最小單元。此外，“采樣”可以用作指示特定像素的值的術(shù)語(yǔ)。采樣通常指示像素的像素，但是可以僅指示亮度(Iuma)分量的像素值或者僅指示色度分量的像素值。
[0031]單元可以意指圖片的圖片處理或者特定位置的基本單元。在一些情況下單元可以與諸如塊或者區(qū)域的術(shù)語(yǔ)混合地使用。在通常情況下，MXN個(gè)塊可以指示通過(guò)M列和N行或者變換系數(shù)組成的采樣的集合。
[0032]圖1簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的3維(3D)視頻編碼和解碼過(guò)程。
[0033]參考圖1，3個(gè)視頻編碼器編碼視頻圖片和深度和相機(jī)參數(shù)以輸出為比特流。
[0034]可以通過(guò)相對(duì)于需要視頻圖片(紋理圖片)的像素在相機(jī)和主題之間的距離信息(深度信息)組成深度圖。例如，深度圖可以是通過(guò)根據(jù)比特深度標(biāo)準(zhǔn)化深度信息獲得的圖片。在這種情況下，可以通過(guò)在沒(méi)有色度表達(dá)的情況下記錄的深度信息構(gòu)成深度圖。
[0035]通常，因?yàn)榫嘀黝}的距離和視差相互成反比例，所以可以通過(guò)使用相機(jī)參數(shù)從深度圖的深度信息中推導(dǎo)指示在視圖之間的相關(guān)性的視差信息。
[0036]包括深度圖和相機(jī)信息以及常規(guī)的彩色圖片，S卩，視頻圖片(紋理圖片)的比特流可以通過(guò)網(wǎng)絡(luò)或者存儲(chǔ)介質(zhì)被發(fā)送給解碼器。
[0037]解碼器接收比特流以重建視頻。當(dāng)3D視頻解碼器用作解碼器時(shí)，3D視頻解碼器可以從比特流解碼視頻圖片，和深度圖和相機(jī)參數(shù)?？梢曰诮獯a的視頻圖片、深度圖和相機(jī)參數(shù)合成對(duì)于多視圖顯示所要求的視圖。在這種情況下，當(dāng)使用的顯示器是立體顯示器時(shí)，可以通過(guò)使用在重建的多視圖之中的兩個(gè)圖片顯示3D圖片。
[0038]當(dāng)使用立體視頻解碼器時(shí)，立體視頻解碼器可以從比特流中重建要入射到兩只眼睛的兩個(gè)圖片。立體顯示器可以通過(guò)使用視圖差異或者在左眼入射的左圖片和在右眼入射的右圖片之間的視差顯示3D圖片。當(dāng)多視圖顯示器與立體視頻解碼器一起使用時(shí)，可以通過(guò)基于兩個(gè)重建的圖片產(chǎn)生其他視圖顯示多視圖。
[0039]當(dāng)使用2D解碼器時(shí)，2D圖片被重建以通過(guò)2D顯示器輸出該圖片。2D顯示器被使用，但是當(dāng)3D視頻解碼器或者立體視頻解碼器用作解碼器時(shí)，重建的圖片中的一個(gè)可以通過(guò)2D顯示器輸出。
[0040]在圖1的配置中，視圖合成可以通過(guò)解碼器或者顯示器來(lái)執(zhí)行。此外，解碼器和顯示器可以是一個(gè)裝置或者分開(kāi)的裝置。
[0041]在圖1中，為了容易描述，描述3D視頻解碼器、立體視頻解碼器，和2D視頻解碼器是分開(kāi)的解碼器，但是一個(gè)解碼裝置可以執(zhí)行所有的3D視頻解碼、立體視頻解碼和2D視頻解碼。此外，3D視頻解碼裝置可以執(zhí)行3D視頻解碼，立體視頻解碼設(shè)備可以執(zhí)行立體視頻解碼，并且2D視頻解碼設(shè)備可以執(zhí)行2D視頻解碼。此外，多視圖顯示器可以輸出2D視頻或者立體視頻。
[0042]圖2簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的視頻編碼裝置的結(jié)構(gòu)。
[0043]參考圖2，視頻編碼裝置200包括圖片分割單元205、預(yù)測(cè)單元210、減法單元215、變換單元220、量化單元225、重排單元230、熵編碼單元235、去量化單元240、反變換單元245、加法單元250、濾波單元255和存儲(chǔ)器260。
[0044]圖片分割單元205可以將輸入圖片分離為至少一個(gè)處理單元塊。在這種情況下，處理單元塊可以是編譯單元塊、預(yù)測(cè)單元塊，或者變換單元塊。可以根據(jù)四樹(shù)結(jié)構(gòu)從最大編譯單元塊分離作為編譯的單元塊的編譯單元塊。作為從編譯單元塊分割的塊的預(yù)測(cè)單元塊可以是采樣預(yù)測(cè)的單元塊。在這種情況下，預(yù)測(cè)單元塊可以被劃分為子塊。作為編譯單元塊的變換單元塊可以根據(jù)四樹(shù)結(jié)構(gòu)分離，并且可以是推導(dǎo)變換系數(shù)的單元塊，或者從變換系數(shù)推導(dǎo)殘留信號(hào)的單元塊。
[0045]在下文中，為了方便描述，編譯單元塊被稱為編譯塊或者編譯單元，并且預(yù)測(cè)單元塊被稱為預(yù)測(cè)塊或者預(yù)測(cè)單元，并且變換單元塊被稱為變換塊或者變換單元。
[0046]預(yù)測(cè)塊或者預(yù)測(cè)單元可以意指塊狀的特定區(qū)域或者預(yù)測(cè)采樣的陣列。此外，變換塊或者變換單元可以意指塊狀的特定區(qū)域或者變換系數(shù)或者殘留采樣的陣列。
[0047]預(yù)測(cè)單元210可以執(zhí)行用于處理目標(biāo)塊(在下文中，被稱為當(dāng)前塊)的預(yù)測(cè)，并且產(chǎn)生包括用于當(dāng)前塊的預(yù)測(cè)采樣的預(yù)測(cè)塊。由預(yù)測(cè)單元210執(zhí)行的預(yù)測(cè)的單元可以是編譯塊、變換塊或者預(yù)測(cè)塊。
[0048]預(yù)測(cè)單元210可以決定內(nèi)部預(yù)測(cè)應(yīng)用于當(dāng)前塊還是中間預(yù)測(cè)應(yīng)用于當(dāng)前塊。
[0049]在內(nèi)部預(yù)測(cè)的情況下，預(yù)測(cè)單元210可以基于在當(dāng)前塊所屬的圖片(在下文中，當(dāng)前圖片)中的鄰近塊像素推導(dǎo)用于當(dāng)前塊的預(yù)測(cè)采樣。在這種情況下，預(yù)測(cè)單元210可以(i)基于當(dāng)前塊的鄰近參考采樣的平均值或者插值推導(dǎo)預(yù)測(cè)采樣，或者(ii)相對(duì)于在當(dāng)前塊的鄰近塊之中的預(yù)測(cè)目標(biāo)像素基于存在于特定方向的參考采樣推導(dǎo)預(yù)測(cè)采樣。為了容易描述，(i)的情形稱為非定向模式，并且(ii)的情形稱為定向模式。預(yù)測(cè)單元210可以通過(guò)使用應(yīng)用于鄰近塊的預(yù)測(cè)模式?jīng)Q定應(yīng)用于當(dāng)前塊的預(yù)測(cè)模式。
[0050]在中間預(yù)測(cè)的情況下，預(yù)測(cè)單元210可以基于由在共置的圖片上的運(yùn)動(dòng)向量指定的采樣推導(dǎo)用于當(dāng)前塊的預(yù)測(cè)采樣。預(yù)測(cè)單元10應(yīng)用跳過(guò)模式、合并模式和MVP模式的任何一個(gè)以推導(dǎo)用于當(dāng)前塊的預(yù)測(cè)采樣。在跳過(guò)模式和合并模式的情形下，預(yù)測(cè)單元210可以使用鄰近塊的運(yùn)動(dòng)信息作為當(dāng)前塊的運(yùn)動(dòng)信息。在跳過(guò)模式的情況下，與合并模式不同，不發(fā)送在預(yù)測(cè)采樣和原始采樣之間的差異(殘留)。在MVP模式的情況下，鄰近塊的運(yùn)動(dòng)向量被用作運(yùn)動(dòng)向量預(yù)測(cè)器(MVP)以推導(dǎo)當(dāng)前塊的運(yùn)動(dòng)向量。
[0051]在中間預(yù)測(cè)的情況下，鄰近塊包括存在于當(dāng)前圖片中的空間鄰近塊和存在于共置的圖片中的空間鄰近塊。運(yùn)動(dòng)信息包括運(yùn)動(dòng)向量和共置的圖片。在跳過(guò)模式和合并模式中，當(dāng)使用空間鄰近塊的運(yùn)動(dòng)信息時(shí)，在共置的圖片列表上最高的圖片可以被用作共置的圖片。
[0052]在編碼相關(guān)視圖的情況下，預(yù)測(cè)單元210可以執(zhí)行視圖間預(yù)測(cè)。
[0053]預(yù)測(cè)單元210可以配置包括另一視圖的圖片的共置的圖片列表。對(duì)于視圖間預(yù)測(cè)，預(yù)測(cè)單元210可以推導(dǎo)視差向量。不同于指定在當(dāng)前視圖中的另一個(gè)圖片中與當(dāng)前塊相對(duì)應(yīng)的塊的運(yùn)動(dòng)向量，視差向量可以指定在與當(dāng)前圖片相同的接入單元的另一個(gè)視圖中與當(dāng)前塊相對(duì)應(yīng)的塊。
[0054]預(yù)測(cè)單元210可以基于視差向量指定在深度視圖中的深度塊，并且執(zhí)行合并列表、視圖間運(yùn)動(dòng)預(yù)測(cè)、照度補(bǔ)償(1C)、視圖合成等的配置。
[0055]用于當(dāng)前塊的視差向量可以通過(guò)使用相機(jī)參數(shù)從深度值推導(dǎo)，或者從在當(dāng)前的或者另一視圖中的鄰近塊的運(yùn)動(dòng)向量或者視差向量推導(dǎo)。
[0056]例如，預(yù)測(cè)單元210可以將對(duì)應(yīng)于參考視圖的空間運(yùn)動(dòng)信息的視圖間合并候選(IvMC)、對(duì)應(yīng)于視差向量的視圖間視差向量候選(IvDC)、通過(guò)視差的移位推導(dǎo)的移位的IvMC、從與當(dāng)前塊是在深度圖上的塊情況對(duì)應(yīng)的紋理推導(dǎo)的紋理合并候選(T)、通過(guò)使用視差從紋理合并候選推導(dǎo)的視差導(dǎo)出合并候選(D)、基于視圖合成導(dǎo)出的視圖合成預(yù)測(cè)合并候選(VSP)等添加到合并候選列表。
[0057]在這種情況下，在應(yīng)用于相關(guān)視圖的合并候選列表中包括的候選的數(shù)目可能受到預(yù)先確定的值的限制。
[0058]此外，預(yù)測(cè)單元210可以通過(guò)應(yīng)用視圖間運(yùn)動(dòng)向量預(yù)測(cè)基于視差向量預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)向量。在這種情況下，預(yù)測(cè)單元210可以基于在相應(yīng)的深度塊中最大深度值的變換導(dǎo)出視差向量。當(dāng)通過(guò)將視差向量添加到參考視圖中的當(dāng)前塊的采樣位置指定參考視圖中的參考采樣的位置時(shí)，包括參考采樣的塊可以用作參考?jí)K。預(yù)測(cè)單元210可以將參考?jí)K的運(yùn)動(dòng)向量用作當(dāng)前塊的候選運(yùn)動(dòng)參數(shù)或者運(yùn)動(dòng)向量預(yù)測(cè)器候選，并且將視差向量用作用于DCP的候選視差向量。
[0059]減法單元215產(chǎn)生殘留采樣，該殘留采樣是在原始采樣和預(yù)測(cè)采樣之間的差。當(dāng)應(yīng)用跳過(guò)模式時(shí)，減法單元215可以不產(chǎn)生如上所述的殘留采樣。
[0060]變換單元210通過(guò)以變換塊為單元使用變換殘留的采樣產(chǎn)生變換系數(shù)。量化單元225量化變換系數(shù)以產(chǎn)生量化的變換系數(shù)。
[0061 ]重排單元230重新排序量化的變換系數(shù)。重排單元230可以通過(guò)掃描方法以ID向量形狀重新排序塊狀的量化的變換系數(shù)。
[0062]熵編碼單元235可以執(zhí)行量化的變換系數(shù)的熵編碼。作為熵編碼，可以使用例如包括指數(shù)Golomb、上下文自適應(yīng)可變長(zhǎng)編譯(CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)編譯(CABAC)等的編碼方法。除了量化的變換系數(shù)之外，熵編碼單元235可以共同地或者分別地編碼對(duì)于視頻重建所要求的信息(例如，語(yǔ)法元素的值等)。
[0063]熵編碼的信息可以作為比特流的形式通過(guò)網(wǎng)絡(luò)抽象化層的單元被發(fā)送或者存儲(chǔ)。
[0064]去量化單元240將量化的變換系數(shù)去量化以產(chǎn)生變換系數(shù)。逆變換單元245將變換系數(shù)逆變換以產(chǎn)生殘留采樣。
[0065]加法單元250將殘留采樣和預(yù)測(cè)采樣相加以重建圖片。殘留采樣和預(yù)測(cè)采樣通過(guò)塊的單元彼此相加以產(chǎn)生重建塊。在此，加法單元250被描述為單獨(dú)的部件，但是，加法單元250可以是預(yù)測(cè)單元210的一部分。
[0066]濾波器單元255可以將去塊濾波器和/或偏移應(yīng)用于被重建的圖片。通過(guò)去塊濾波和/或偏移可以校正在人為或者重建的圖片中的塊邊界的量化過(guò)程期間的失真。該偏移可以通過(guò)采樣的單元被應(yīng)用，并且在去塊濾波的處理完成之后被應(yīng)用。
[0067]存儲(chǔ)器260可以存儲(chǔ)被重建的圖片或者對(duì)于編碼/解碼所要求的信息。例如，存儲(chǔ)器60可以存儲(chǔ)被用于中間預(yù)測(cè)/視圖間預(yù)測(cè)的圖片。在這種情況下，被用于中間預(yù)測(cè)/視圖間預(yù)測(cè)的圖片可以由共置的圖片集或者共置的圖片列表來(lái)指定。
[0068]在此，描述一個(gè)編碼裝置編碼獨(dú)立視圖或者相關(guān)視圖，但是這是為了易于描述并且單獨(dú)的編碼裝置被配置用于每個(gè)視圖或者單獨(dú)的內(nèi)部模塊(例如，用于每個(gè)視圖的預(yù)測(cè)單元)可以被配置用于每個(gè)視圖。
[0069]圖3簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的視頻解碼裝置的結(jié)構(gòu)。
[0070]參考圖3，視頻解碼裝置300包括熵解碼單元310、重排單元320、去量化單元330、逆變換單元340、預(yù)測(cè)單元350、加法單元360、過(guò)濾器單元370和存儲(chǔ)器380。
[0071]當(dāng)輸入包括視頻信息的比特流時(shí)，視頻解碼裝置300可以重建視頻以對(duì)應(yīng)于其中視頻信息由視頻編碼裝置處理的過(guò)程。
[0072]例如，視頻解碼裝置300可以通過(guò)使用在視頻編碼裝置中應(yīng)用的處理單元執(zhí)行視頻解碼。在這種情況下，視頻解碼的處理單元塊可以是編譯單元塊、預(yù)測(cè)單元塊，或者變換單元塊。作為解碼的單元塊的編譯單元塊可以根據(jù)四樹(shù)結(jié)構(gòu)從最大編譯單元塊分離。作為從編譯單元塊分割的塊的預(yù)測(cè)單元塊可以是采樣預(yù)測(cè)的單元塊。在這種情況下，預(yù)測(cè)單元塊可以被劃分為子塊。作為編譯單元塊的變換單元塊可以根據(jù)四樹(shù)結(jié)構(gòu)被分離，并且可以是導(dǎo)出變換系數(shù)的單元塊或者從變換系數(shù)導(dǎo)出殘留信號(hào)的單元塊。
[0073]熵解碼單元310解析比特流以輸出對(duì)于視頻重建或者圖片重建所要求的信息。例如，熵解碼模塊310可以基于指數(shù)Go I omb、CAVLC、CABAC等解碼比特流中的信息并且輸出對(duì)于視頻重建所要求的語(yǔ)法元素的值、與殘留相關(guān)聯(lián)的變換系數(shù)的量化的值等。
[0074]當(dāng)多個(gè)視圖被處理以便于再現(xiàn)3D視頻時(shí)，可以為每個(gè)視圖輸入比特流?？商孢x地，關(guān)于各自的視圖的信息可以在比特流中被復(fù)用。在這種情況下，熵解碼單元310解復(fù)用該比特流以解析用于每個(gè)視圖的被解復(fù)用的比特流。
[0075]重排單元320可以以2D塊形式重排量化的變換系數(shù)。重排單元320可以執(zhí)行重排以對(duì)應(yīng)于由編碼裝置執(zhí)行的系數(shù)掃描。
[0076]去量化單元330基于(去)量化的參數(shù)去量化被量化的變換系數(shù)以輸出變換系數(shù)?？梢詮木幋a裝置用信號(hào)發(fā)送用于導(dǎo)出被量化的參數(shù)的信息。
[0077]逆變換單元340逆變換該變換系數(shù)以導(dǎo)出殘留采樣。
[0078]預(yù)測(cè)單元350可以執(zhí)行用于當(dāng)前塊的預(yù)測(cè)并且產(chǎn)生包括用于當(dāng)前塊的預(yù)測(cè)采樣的預(yù)測(cè)塊。由預(yù)測(cè)單元350執(zhí)行的預(yù)測(cè)的單元可以是編譯塊、變換塊或者預(yù)測(cè)塊。
[0079]預(yù)測(cè)單元350可以決定內(nèi)部預(yù)測(cè)應(yīng)用于當(dāng)前塊還是中間預(yù)測(cè)應(yīng)用于當(dāng)前塊。在這種情況下，用于決定應(yīng)用內(nèi)部預(yù)測(cè)或者中間預(yù)測(cè)的單元和用于產(chǎn)生預(yù)測(cè)采樣的單元可以相互不同。另外，用于在中間預(yù)測(cè)和內(nèi)部預(yù)測(cè)中產(chǎn)生預(yù)測(cè)采樣的單元也可以相互不同。
[0080]在內(nèi)部預(yù)測(cè)的情況下，預(yù)測(cè)單元350可以基于在當(dāng)前圖片中的鄰近塊像素導(dǎo)出用于當(dāng)前塊的預(yù)測(cè)采樣。預(yù)測(cè)單元350可以基于當(dāng)前塊的鄰近參考?jí)K通過(guò)應(yīng)用定向模式或者非定向模式導(dǎo)出用于當(dāng)前塊的預(yù)測(cè)采樣。在這種情況下，可以通過(guò)使用鄰近塊的內(nèi)部預(yù)測(cè)模式?jīng)Q定要應(yīng)用于當(dāng)前塊的預(yù)測(cè)模式。
[0081]在中間預(yù)測(cè)的情況下，預(yù)測(cè)單元350可以基于由共置的圖片上的運(yùn)動(dòng)向量指定的采樣導(dǎo)出用于當(dāng)前塊的預(yù)測(cè)采樣。預(yù)測(cè)單元10應(yīng)用跳過(guò)模式、合并模式和MVP模式的任何一個(gè)以導(dǎo)出用于當(dāng)前塊的預(yù)測(cè)采樣。
[0082]在跳過(guò)模式和合并模式的情形下，預(yù)測(cè)單元350可以使用鄰近塊的運(yùn)動(dòng)信息作為當(dāng)前塊的運(yùn)動(dòng)信息。在這種情況下，鄰近塊可以包括空間鄰近塊和時(shí)間鄰近塊。
[0083]預(yù)測(cè)單元350可以將合并候選列表配置成可用的鄰近塊的運(yùn)動(dòng)信息，并且由在合并候選列表上的合并索引指示的信息可以用作當(dāng)前塊的運(yùn)動(dòng)向量?？梢詮木幋a裝置用信號(hào)發(fā)送該合并索引。運(yùn)動(dòng)信息包括運(yùn)動(dòng)向量和共置的圖片。在跳過(guò)模式和合并模式中，當(dāng)使用時(shí)間鄰近塊的運(yùn)動(dòng)信息時(shí)，在共置的圖片列表上的最高的圖片可以用作共置的圖片。
[0084]在跳過(guò)模式的情況下，不同于合并模式，不發(fā)送在預(yù)測(cè)采樣和原始采樣之間的差異(殘留)。
[0085]在MVP模式的情況下，鄰近塊的運(yùn)動(dòng)向量被用作運(yùn)動(dòng)向量預(yù)測(cè)器(MVP)以導(dǎo)出當(dāng)前塊的運(yùn)動(dòng)向量。在這種情況下，鄰近塊可以包括空間鄰近塊和時(shí)間鄰近塊。
[0086]在編碼相關(guān)視圖的情況下，預(yù)測(cè)單元350可以執(zhí)行視圖間預(yù)測(cè)。在這種情況下，預(yù)測(cè)單元350可以配置包括另一視圖的圖片的共置的圖片列表。
[0087]對(duì)于視圖間預(yù)測(cè)，預(yù)測(cè)單元350可以導(dǎo)出視差向量。預(yù)測(cè)單元350可以基于視差向量指定在深度視圖中的深度塊，并且執(zhí)行合并列表、視圖間運(yùn)動(dòng)預(yù)測(cè)、照度補(bǔ)償(1C)、視圖合成等的配置。
[0088]用于當(dāng)前塊的視差向量可以通過(guò)使用相機(jī)參數(shù)從深度值導(dǎo)出，或者從在當(dāng)前或者另一視圖中的鄰近塊的視差向量或者運(yùn)動(dòng)向量導(dǎo)出?？梢詮木幋a裝置用信號(hào)發(fā)送相機(jī)參數(shù)。
[0089]當(dāng)合并模式應(yīng)用于相關(guān)視圖的當(dāng)前塊時(shí)，預(yù)測(cè)單元350可以將與參考視圖的時(shí)間運(yùn)動(dòng)信息相對(duì)應(yīng)的IvDC、與視差向量相對(duì)應(yīng)的IvDC、通過(guò)視差向量的移位導(dǎo)出的移位IvMC、從與當(dāng)前塊是在深度圖上的塊的情形相對(duì)應(yīng)的紋理導(dǎo)出的紋理合并候選(T)、通過(guò)使用視差從紋理合并候選導(dǎo)出的視差推導(dǎo)合并候選(D)、基于視圖合成導(dǎo)出的視圖合成預(yù)測(cè)合并候選(VSP)等添加到合并候選列表。
[0090]在這種情況下，包括在應(yīng)用于相關(guān)視圖的合并候選列表中的候選的數(shù)目可能受到預(yù)先確定的值的限制。
[0091]此外，預(yù)測(cè)單元350可以通過(guò)應(yīng)用視圖間運(yùn)動(dòng)向量預(yù)測(cè)基于視差向量預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)向量。在這種情況下，預(yù)測(cè)單元350可以使用在由視差向量指定的參考視圖中的塊作為參考?jí)K。預(yù)測(cè)單元350可以使用參考?jí)K的運(yùn)動(dòng)向量作為候選運(yùn)動(dòng)參數(shù)或者當(dāng)前塊的運(yùn)動(dòng)向量預(yù)測(cè)器候選并且使用視差向量作為用于DCP的候選視差向量。
[0092]加法單元360將殘留采樣和預(yù)測(cè)采樣相加以重建當(dāng)前塊或者當(dāng)前圖片。加法單元360以塊為單元相加殘留采樣和預(yù)測(cè)采樣以重建當(dāng)前圖片。當(dāng)應(yīng)用跳過(guò)模式時(shí)，因?yàn)闅埩魶](méi)有被發(fā)送，所以預(yù)測(cè)采樣可以變?yōu)橹亟ú蓸印Ｔ诖?，加法單?60被描述為單獨(dú)的組件，但是加法單元360可以是預(yù)測(cè)單元350的一部分。
[0093]濾波器單元370可以將去塊濾波和/或偏移應(yīng)用于重建的圖片。在這種情況下，偏移可以被適應(yīng)地應(yīng)用為采樣單元的偏移。
[0094]存儲(chǔ)器380可以存儲(chǔ)重建的圖片或者對(duì)于解碼所要求的信息。例如，存儲(chǔ)器380可以存儲(chǔ)被用于中間預(yù)測(cè)/視圖間預(yù)測(cè)的圖片。在這種情況下，被用于中間預(yù)測(cè)/視圖間預(yù)測(cè)的圖片可以由共置的圖片集或者共置的圖片列表指定。重建的圖片可以用作被共置的圖片。
[0095]此外，存儲(chǔ)器380可以根據(jù)輸出順序輸出重建的圖片。為了再現(xiàn)3D圖片，雖然未圖示，輸出單元可以顯示多個(gè)不同的視圖。
[0096]在圖3的示例中，描述了一個(gè)解碼裝置解碼獨(dú)立視圖和相關(guān)視圖，但這是為了易于描述并且本發(fā)明不限于此。例如，每個(gè)解碼裝置可以對(duì)于每個(gè)視圖操作，并且一個(gè)解碼裝置可以包括與其中的每個(gè)視圖相對(duì)應(yīng)的操作單元(例如，預(yù)測(cè)單元)。
[0097]多視圖視頻編譯可以對(duì)與當(dāng)前圖片屬于相同的接入單元(AU)的另一視圖使用被編譯的數(shù)據(jù)編譯當(dāng)前圖片，從而增加當(dāng)前視圖的視頻編譯效率。在此，AU可以指的是具有相同的POC的圖片的集合。POC對(duì)應(yīng)于轉(zhuǎn)動(dòng)以顯示圖片。
[0098]在多視圖編譯中，可以通過(guò)AU編譯視圖或者可以通過(guò)視圖編譯圖片。根據(jù)給定的順序可以編譯視圖。被首先編譯的視圖可以被稱為基本視圖或者獨(dú)立視圖。在獨(dú)立的視圖被編譯之后要參考另一視圖編譯的視圖可以被稱為相關(guān)視圖。當(dāng)當(dāng)前視圖是相關(guān)視圖時(shí)，被用作用于編譯當(dāng)前視圖的參考的另一視圖可以被稱為參考視圖。
[0099]圖4簡(jiǎn)要地圖示本發(fā)明可應(yīng)用的多視圖視頻編譯。
[0100]在編譯多視圖視頻中，根據(jù)預(yù)先定義的視圖編譯順序編譯在一個(gè)AU中具有不同的視圖標(biāo)識(shí)符(ID)但是具有相同的POC的圖片。
[0101]例如，如在圖4中所圖示，假定按照視圖VO和視圖Vl的順序編譯兩個(gè)視圖(視圖VO和視圖VI)。在此，在AU中被首先編譯的視圖VO是基本視圖或者獨(dú)立視圖并且接下來(lái)被編譯的視圖Vl是相關(guān)視圖。
[0102]參考屬于基本視圖，不是另一視圖的圖片編譯基本視圖。參考已經(jīng)編譯的另一視圖編譯緊跟基本視圖的相關(guān)視圖。
[0103]在多視圖視頻編譯中，可以參考已經(jīng)編譯的圖片執(zhí)行用于屬于相關(guān)視圖的編譯單元(CU)的中間預(yù)測(cè)。在此，參考具有相同的視圖1D的圖片執(zhí)行預(yù)測(cè)的方法被稱為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)，同時(shí)在相同的AU中參考具有不同的視圖1D的圖片的預(yù)測(cè)的方法被稱為視差補(bǔ)償預(yù)測(cè)(DCP)。
[0104]例如，參考圖4，參考屬于與塊A相同的視圖(Vl)的圖片，塊A可以經(jīng)歷MCP以導(dǎo)出預(yù)測(cè)采樣。參考在相同的AU中與塊B不同的視圖(VO)中的圖片，塊B可以被經(jīng)歷DCP以導(dǎo)出預(yù)測(cè)米樣。
[0105]同時(shí)，3D視頻具有一般的顏色圖像信息的紋理圖片和具有關(guān)于紋理圖片的深度信息的深度(或者深度-映射)圖片。
[0106]可以(同時(shí))參考關(guān)于來(lái)自于相同視圖的紋理圖片的編譯信息編譯深度圖片。即，可以參考關(guān)于具有與深度圖片相同的POC的紋理圖片的編譯信息編譯深度圖片。
[0107]因?yàn)樯疃葓D片可以同時(shí)與紋理圖片同時(shí)捕獲或者通過(guò)同時(shí)計(jì)算關(guān)于紋理圖片的深度信息產(chǎn)生，所以深度圖片和紋理圖片同時(shí)具有非常高的相關(guān)性。
[0108]因此，在編譯深度圖片中，關(guān)于已經(jīng)編譯的紋理圖片的信息，諸如關(guān)于紋理圖片的塊分割信息或者運(yùn)動(dòng)信息，可以被使用。例如，關(guān)于紋理圖片的相同的運(yùn)動(dòng)信息可以被用于深度圖片，其被稱為運(yùn)動(dòng)參數(shù)繼承(MPI)。特別地，從紋理圖片繼承運(yùn)動(dòng)向量的方法被稱為運(yùn)動(dòng)向量繼承(MVI)。
[0109]圖5簡(jiǎn)要地圖示使用MVI導(dǎo)出深度圖片的運(yùn)動(dòng)向量的過(guò)程。
[0110]參考圖5，在與深度圖片510中的當(dāng)前塊520相同的位置處從紋理圖片530中的相應(yīng)塊540繼承運(yùn)動(dòng)向量。例如，可以從相應(yīng)塊540的中心導(dǎo)出運(yùn)動(dòng)向量550以被用作用于當(dāng)前塊520的運(yùn)動(dòng)向量560。在此，當(dāng)在與當(dāng)前塊520相同的位置處的相應(yīng)塊540是內(nèi)部預(yù)測(cè)塊時(shí)，相應(yīng)塊540的運(yùn)動(dòng)向量550沒(méi)有被繼承。
[0111]圖5圖示從紋理圖片中的相應(yīng)塊的中心導(dǎo)出運(yùn)動(dòng)信息并且將該運(yùn)動(dòng)信息應(yīng)用于深度圖片中的當(dāng)前塊的方法。根據(jù)另一方法，紋理圖片中的相應(yīng)塊被分割成具有有規(guī)則的大小的子塊并且通過(guò)要被應(yīng)用于深度圖片中的當(dāng)前塊的被分割的子塊得到運(yùn)動(dòng)信息。在此，相應(yīng)塊可以是預(yù)測(cè)單元(PU)，并且子塊可以是子HJ。
[0112]圖6簡(jiǎn)要地圖示使用MVI通過(guò)子塊導(dǎo)出深度圖片的運(yùn)動(dòng)向量的過(guò)程。
[0113]圖6的實(shí)施例圖示從紋理圖片通過(guò)子塊(子PU)導(dǎo)出深度圖片的運(yùn)動(dòng)向量的方法。
[0114]參考圖6，可以從紋理圖片630中的相應(yīng)塊640繼承用于深度圖片610的用于當(dāng)前塊620的運(yùn)動(dòng)向量。在此，可以通過(guò)子塊實(shí)現(xiàn)運(yùn)動(dòng)向量的繼承。
[0115]當(dāng)當(dāng)前塊620是PU(或者預(yù)測(cè)塊)時(shí)，在當(dāng)前塊620中的子塊Cl和在相應(yīng)塊640中的子塊C’I至C’4是子PU(或者子預(yù)測(cè)塊)。
[0116]子PU的大小可以被設(shè)置為NX M(N和M是大于O的整數(shù))并且可以基于被定義的子PU的大小從相應(yīng)塊640中的子塊C’I至C’4得到用于在當(dāng)前塊620中的子塊Cl至C4的運(yùn)動(dòng)向量，不論關(guān)于在紋理圖片中的塊的最初分割信息如何。
[0117]在此，在子中從其得到運(yùn)動(dòng)信息的位置可以是子PU的中心或者子的左上位置。
[0118]如上所述，當(dāng)通過(guò)子PU從紋理圖片導(dǎo)出用于深度圖片的運(yùn)動(dòng)信息時(shí)，可能不存在用于特定的子PU的運(yùn)動(dòng)信息。在下文中，本發(fā)明提供當(dāng)使用MVI通過(guò)子PU導(dǎo)出用于深度圖片的運(yùn)動(dòng)信息時(shí)填充用于不具有運(yùn)動(dòng)信息的子PU的運(yùn)動(dòng)信息的方法。
[0119]圖7簡(jiǎn)要地圖示根據(jù)本發(fā)明的實(shí)施例的當(dāng)使用MVI通過(guò)子塊導(dǎo)出用于深度圖片的運(yùn)動(dòng)向量時(shí)填充用于不具有運(yùn)動(dòng)向量的子塊的運(yùn)動(dòng)向量的方法。
[0120]參考圖7，當(dāng)使用MVI通過(guò)子塊導(dǎo)出運(yùn)動(dòng)向量時(shí)，根據(jù)預(yù)先定義的子塊大小可以分割當(dāng)前要編譯(編碼/解碼)的深度圖片710的深度塊720。預(yù)先定義的子塊大小可以是從編碼設(shè)備用信號(hào)發(fā)送的信息，其可以是N X M大小(N和M是大于O的整數(shù))。
[0121]深度塊720的每個(gè)被分割的子塊(在下文中，在深度塊720中的子塊被稱為深度子塊)可以在與紋理圖片730中的每個(gè)深度子塊的相應(yīng)位置處從紋理子塊獲得運(yùn)動(dòng)向量。
[0122]在此，深度塊720可以是預(yù)測(cè)塊或者PU，并且深度子塊可以是子預(yù)測(cè)塊或者子PU。
[0123]紋理圖片730可以是與深度圖片710同時(shí)的圖片，S卩，具有與深度圖片710相同的POC的圖片，并且可以是具有與深度圖片710相同的視圖1D的圖片。紋理子塊可以是在與深度子塊的相同位置處存在的紋理圖片730中的預(yù)測(cè)塊(或者PU)。紋理塊740可以是在與深度塊720相同的位置處存在的紋理圖片730中的預(yù)測(cè)塊(或者PU)。
[0124]在從紋理圖片730中的紋理子塊導(dǎo)出用于深度子塊的運(yùn)動(dòng)向量中，可以不存在紋理子塊742的運(yùn)動(dòng)向量。例如，當(dāng)在內(nèi)部預(yù)測(cè)模式下編譯紋理子塊時(shí)，可以不存在運(yùn)動(dòng)向量。在這樣的情況下，相應(yīng)的深度子塊722可以不從紋理子塊742獲得運(yùn)動(dòng)向量。
[0125]在此，相鄰塊的運(yùn)動(dòng)向量可以填充用于深度子塊722的運(yùn)動(dòng)向量。相鄰塊的運(yùn)動(dòng)向量可以是左或者上深度子塊(或者紋理子塊)的運(yùn)動(dòng)向量。
[0126]可替選地，預(yù)先定義的運(yùn)動(dòng)向量可以填充用于深度子塊722的運(yùn)動(dòng)向量。預(yù)先定義的運(yùn)動(dòng)向量可以是通過(guò)來(lái)自于相鄰塊(NBDV)或者深度導(dǎo)向的(depth-oriented)NBDV的視差向量指示的塊的運(yùn)動(dòng)向量?？商孢x地，預(yù)先定義的運(yùn)動(dòng)向量可以是作為最后導(dǎo)出的運(yùn)動(dòng)向量的最新運(yùn)動(dòng)向量，其可以連續(xù)地更新。可替選地，預(yù)先定義的運(yùn)動(dòng)向量可以是零向量(O，O)。在此，從相鄰塊導(dǎo)出的視差向量被稱為NBDV并且通過(guò)使用深度信息修改從NBDV導(dǎo)出的視差向量獲得的視差向量被稱為DoNBDV。
[0127]可替選地，在深度塊720中的特定位置處存在的運(yùn)動(dòng)向量可以填充用于深度子塊722的運(yùn)動(dòng)向量。在此，特定位置可以是塊中的中心位置、左上位置、右下位置等。
[0128]例如，計(jì)算在深度塊720中的特定位置(例如，當(dāng)前位置)。如果與特定位置相對(duì)應(yīng)的紋理子塊的運(yùn)動(dòng)向量存在，則紋理子塊的運(yùn)動(dòng)向量可以被定義為默認(rèn)運(yùn)動(dòng)向量。參考圖7，與深度塊720的中心位置相對(duì)應(yīng)的紋理塊740的子塊可以是紋理子塊744。在此，如果紋理子塊744的運(yùn)動(dòng)向量存在，則此運(yùn)動(dòng)向量可以被設(shè)置為用于深度塊720的默認(rèn)運(yùn)動(dòng)向量。如果在導(dǎo)出用于深度子塊的運(yùn)動(dòng)向量中從紋理子塊沒(méi)有填充運(yùn)動(dòng)信息，則默認(rèn)運(yùn)動(dòng)向量可以被設(shè)置為用于深度子塊722的運(yùn)動(dòng)向量。
[0129]如上所述，當(dāng)在特定位置處存在的運(yùn)動(dòng)向量被定義以用作默認(rèn)運(yùn)動(dòng)向量時(shí)，在特定位置處的運(yùn)動(dòng)向量的不存在使得本身不能設(shè)置為默認(rèn)運(yùn)動(dòng)向量。在這樣的情況下，取決于是否默認(rèn)運(yùn)動(dòng)向量被設(shè)置可以確定是否執(zhí)行MVI。例如，當(dāng)默認(rèn)運(yùn)動(dòng)向量沒(méi)有被設(shè)置時(shí)，用于深度塊720的MVI不可以被執(zhí)行?？商孢x地，當(dāng)默認(rèn)運(yùn)動(dòng)向量沒(méi)有被設(shè)置時(shí)，通過(guò)NBDV或者DoNBDV指示的運(yùn)動(dòng)向量或者零向量可以被設(shè)置為用于不具有運(yùn)動(dòng)向量的深度子塊722的運(yùn)動(dòng)向量。
[0130]圖8是根據(jù)本發(fā)明的實(shí)施例的使用MVI通過(guò)子塊導(dǎo)出用于深度圖片的方法的流程圖?？梢酝ㄟ^(guò)在圖2中圖示的編碼設(shè)備和圖3中圖示的解碼設(shè)備執(zhí)行圖8的方法。為了描述的方便，本實(shí)施例圖示通過(guò)圖2的編碼設(shè)備和圖3的解碼設(shè)備的預(yù)測(cè)單元執(zhí)行方法。
[0131]參考圖8，預(yù)測(cè)單元確定是否應(yīng)用MVI(S800)。
[0132]如上所述，MVI指的是使用關(guān)于紋理圖片的運(yùn)動(dòng)信息導(dǎo)出用于深度圖片的運(yùn)動(dòng)向量的方法。即，關(guān)于紋理圖片的相同運(yùn)動(dòng)信息可以被用于深度圖片。
[0133]解碼設(shè)備可以基于從編碼設(shè)備用信號(hào)發(fā)送的信息確定是否將MVI應(yīng)用于深度圖片。
[0134]當(dāng)確定將MVI應(yīng)用于深度圖片時(shí)，預(yù)測(cè)單元導(dǎo)出深度圖片中的當(dāng)前塊作為應(yīng)用MVI的深度子塊(S810)。
[0135]當(dāng)前塊可以是作為用于執(zhí)行預(yù)測(cè)的單元的預(yù)測(cè)塊或者PU。
[0136]可以基于用于MVI的子塊大小信息確定深度子塊。用于MVI的子塊大小信息是從編碼設(shè)備用信號(hào)發(fā)送的信息，其可以是N X M大小(N和M是大于O的整數(shù))。
[0137]預(yù)測(cè)單元從紋理圖片通過(guò)深度子塊導(dǎo)出運(yùn)動(dòng)(S820)。更加具體地，預(yù)測(cè)單元可以導(dǎo)出在與深度子塊的相同位置處存在的紋理圖片中的紋理塊(紋理子塊)并且可以將紋理塊的運(yùn)動(dòng)向量設(shè)置為用于深度子塊的運(yùn)動(dòng)向量。
[0138]紋理圖片是與深度圖片同時(shí)的圖片，其可以具有與深度圖片相同的POC和相同的視圖1D。
[0139]在此，當(dāng)不存在關(guān)于紋理塊的運(yùn)動(dòng)信息(例如，在內(nèi)部預(yù)測(cè)模式中編譯紋理塊時(shí))，深度子塊可以不從紋理圖片的紋理塊獲得運(yùn)動(dòng)向量。
[0140]在這樣的情況下，預(yù)測(cè)單元可以導(dǎo)出如在上面圖7中所描述的用于深度子塊的運(yùn)動(dòng)向量。
[0141]例如，預(yù)測(cè)單元可以從與當(dāng)前塊的特定位置(中心位置、左上位置、右下位置等)相對(duì)應(yīng)的紋理圖片中的相應(yīng)塊導(dǎo)出默認(rèn)運(yùn)動(dòng)向量。如果在導(dǎo)出用于深度子塊的運(yùn)動(dòng)向量中不存在關(guān)于紋理塊的運(yùn)動(dòng)信息，則預(yù)測(cè)單元可以將默認(rèn)運(yùn)動(dòng)向量設(shè)置為用于深度子塊的運(yùn)動(dòng)向量。
[0142]在此，當(dāng)不存在關(guān)于相應(yīng)塊的運(yùn)動(dòng)信息時(shí)，也不能夠?qū)С瞿J(rèn)運(yùn)動(dòng)向量。即，可能不能夠設(shè)置默認(rèn)運(yùn)動(dòng)向量。在這樣的情況下，預(yù)測(cè)單元可以基于是否默認(rèn)運(yùn)動(dòng)向量被設(shè)置確定是否執(zhí)行MVI。例如，當(dāng)默認(rèn)運(yùn)動(dòng)向量沒(méi)有被設(shè)置時(shí)，預(yù)測(cè)單元不可以執(zhí)行用于當(dāng)前塊的MVI?？商孢x地，當(dāng)默認(rèn)運(yùn)動(dòng)向量沒(méi)有被設(shè)置時(shí)，預(yù)測(cè)單元可以將由NBDV或者DoNBDV指示的運(yùn)動(dòng)向量設(shè)置為用于深度子塊的運(yùn)動(dòng)向量。
[0143]在另一示例中，當(dāng)在導(dǎo)出用于深度子塊的運(yùn)動(dòng)向量中不存在關(guān)于紋理塊的運(yùn)動(dòng)信息時(shí)，預(yù)測(cè)單元可以將相鄰塊的運(yùn)動(dòng)向量設(shè)置為用于深度子塊的運(yùn)動(dòng)向量。相鄰塊的運(yùn)動(dòng)向量可以是左或者上深度子塊的運(yùn)動(dòng)向量。可替選地，相鄰塊的運(yùn)動(dòng)向量可以是被布置在不具有運(yùn)動(dòng)信息的紋理塊的左側(cè)或者上側(cè)上的紋理塊的運(yùn)動(dòng)向量。
[0144]在又一示例中，當(dāng)在導(dǎo)出用于深度子塊的運(yùn)動(dòng)向量中不存在關(guān)于紋理塊的運(yùn)動(dòng)信息時(shí)，預(yù)測(cè)單元可以將預(yù)先定義的運(yùn)動(dòng)向量設(shè)置為用于深度子塊的運(yùn)動(dòng)向量。例如，預(yù)先定義的運(yùn)動(dòng)向量可以是零向量、作為最后導(dǎo)出的運(yùn)動(dòng)向量的最新運(yùn)動(dòng)向量、或者由NBDV或者DoNBDV指示的塊的運(yùn)動(dòng)向量。
[0145]預(yù)測(cè)單元基于所導(dǎo)出的深度子塊的運(yùn)動(dòng)向量生成深度子塊的預(yù)測(cè)采樣(S830)。
[0146]例如，預(yù)測(cè)單元可以使用由參考圖片中的深度子塊的運(yùn)動(dòng)向量指示的區(qū)域中的采樣作為用于深度子塊的預(yù)測(cè)采樣。
[0147]預(yù)測(cè)單元可以基于深度子塊的預(yù)測(cè)采樣構(gòu)造用于當(dāng)前塊的預(yù)測(cè)采樣并且可以添加當(dāng)前塊的預(yù)測(cè)采樣和殘留采樣以導(dǎo)出重建的塊。
[0148]如上所述，當(dāng)從相應(yīng)的紋理圖片的紋理塊中導(dǎo)出用于當(dāng)前要被編譯(編碼/解碼)的深度圖片中的當(dāng)前塊的運(yùn)動(dòng)向量時(shí)，PU或者子PU可以被用作單元。在本發(fā)明中，附加的標(biāo)志可以被用于自適應(yīng)地選擇PU或者子HJ中的一個(gè)作為單元。
[0149]在上述示例性系統(tǒng)中，已經(jīng)基于使用作為一系列步驟或者塊的流程圖描述了方法，但是方法不限于本發(fā)明的步驟的順序，并且任何步驟可以以與前述步驟或者順序不同的步驟或者順序出現(xiàn)或者可以與前述步驟或者順序同時(shí)出現(xiàn)。前述的實(shí)施例包括各種方面的示例。因此，能夠進(jìn)行屬于隨附的權(quán)利要求的本發(fā)明的所有的其他替代、修改以及變化。
【主權(quán)項(xiàng)】
1.一種三維(3D)視頻解碼方法，包括: 使用關(guān)于紋理圖片的運(yùn)動(dòng)信息來(lái)確定是否應(yīng)用導(dǎo)出深度圖片的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量繼承； 當(dāng)確定應(yīng)用所述運(yùn)動(dòng)向量繼承時(shí)，導(dǎo)出所述深度圖片中的當(dāng)前塊作為用于所述運(yùn)動(dòng)向量繼承的具有子塊大小的深度子塊； 從與所述深度子塊相對(duì)應(yīng)的紋理圖片中的紋理塊導(dǎo)出所述深度子塊的運(yùn)動(dòng)向量；以及 基于所述深度子塊的運(yùn)動(dòng)向量，通過(guò)生成所述深度子塊的預(yù)測(cè)采樣來(lái)導(dǎo)出所述當(dāng)前塊的重建采樣。2.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，進(jìn)一步包括:從與所述當(dāng)前塊的中心位置相對(duì)應(yīng)的紋理圖片的相應(yīng)塊導(dǎo)出默認(rèn)運(yùn)動(dòng)向量， 其中，當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)，所述深度子塊的運(yùn)動(dòng)向量的導(dǎo)出將所述默認(rèn)運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量。3.根據(jù)權(quán)利要求2所述的3D視頻解碼方法，其中，當(dāng)不存在關(guān)于所述相應(yīng)塊的運(yùn)動(dòng)信息時(shí)，所述深度子塊的運(yùn)動(dòng)向量的導(dǎo)出將由來(lái)自于相鄰塊(NBDV)或者深度導(dǎo)向的NBDV的視差向量所指示的塊的運(yùn)動(dòng)向量或者零向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量。4.根據(jù)權(quán)利要求2所述的3D視頻解碼方法，其中，當(dāng)不存在關(guān)于所述相應(yīng)塊的運(yùn)動(dòng)信息時(shí)，所述深度子塊的運(yùn)動(dòng)向量的導(dǎo)出不將所述運(yùn)動(dòng)向量繼承應(yīng)用于所述深度子塊。5.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)所述深度子塊的運(yùn)動(dòng)向量的導(dǎo)出將相鄰塊的運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量，以及所述相鄰塊的運(yùn)動(dòng)向量是被定位在所述深度子塊的左側(cè)或者上側(cè)上的塊的運(yùn)動(dòng)向量。6.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)所述深度子塊的運(yùn)動(dòng)向量的導(dǎo)出將預(yù)先定義的運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量，以及所述預(yù)先定義的運(yùn)動(dòng)向量是由NBDV或者DoNBDV所指示的塊的運(yùn)動(dòng)向量、零向量、在所述紋理塊中的特定位置處的子塊的運(yùn)動(dòng)向量、或者最后導(dǎo)出的最新運(yùn)動(dòng)向量。7.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，所述紋理圖片是具有與所述深度圖片相同的圖片順序計(jì)數(shù)(POC)和相同的視圖標(biāo)識(shí)符(ID)的圖片。8.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，所述紋理塊是在與所述紋理圖片中的深度子塊相同的位置處的塊。9.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，所述子塊具有基于從編碼器接收到的信息所確定的大小。10.根據(jù)權(quán)利要求1所述的3D視頻解碼方法，其中，所述當(dāng)前塊是預(yù)測(cè)塊。11.一種三維(3D)視頻解碼設(shè)備，包括: 預(yù)測(cè)單元，所述預(yù)測(cè)單元使用關(guān)于紋理圖片的運(yùn)動(dòng)信息來(lái)確定是否應(yīng)用導(dǎo)出深度圖片的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量繼承， 當(dāng)確定應(yīng)用所述運(yùn)動(dòng)向量繼承時(shí)，導(dǎo)出所述深度圖片中的當(dāng)前塊作為用于所述運(yùn)動(dòng)向量繼承的具有子塊大小的深度子塊， 從與所述深度子塊相對(duì)應(yīng)的紋理圖片中的紋理塊導(dǎo)出所述深度子塊的運(yùn)動(dòng)向量，以及 基于所述深度子塊的運(yùn)動(dòng)向量，通過(guò)生成所述深度子塊的預(yù)測(cè)采樣來(lái)導(dǎo)出所述當(dāng)前塊的重建采樣。12.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，所述預(yù)測(cè)單元從與所述當(dāng)前塊的中心位置相對(duì)應(yīng)的紋理圖片的相應(yīng)塊導(dǎo)出默認(rèn)運(yùn)動(dòng)向量，以及當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)將所述默認(rèn)運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量。13.根據(jù)權(quán)利要求12所述的3D視頻解碼設(shè)備，其中，當(dāng)不存在關(guān)于所述相應(yīng)塊的運(yùn)動(dòng)信息時(shí)，所述預(yù)測(cè)單元將由來(lái)自于相鄰塊(NBDV)或者深度導(dǎo)向的NBDV的視差向量所指示的塊的運(yùn)動(dòng)向量或者零向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量。14.根據(jù)權(quán)利要求12所述的3D視頻解碼設(shè)備，其中，當(dāng)不存在關(guān)于所述相應(yīng)塊的運(yùn)動(dòng)信息時(shí)，所述預(yù)測(cè)單元不將所述運(yùn)動(dòng)向量繼承應(yīng)用于所述深度子塊。15.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)所述預(yù)測(cè)單元將相鄰塊的運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量，以及所述相鄰塊的運(yùn)動(dòng)向量是被定位在所述深度子塊的左側(cè)或者上側(cè)上的塊的運(yùn)動(dòng)向量。16.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，當(dāng)不存在關(guān)于所述紋理塊的運(yùn)動(dòng)信息時(shí)所述預(yù)測(cè)單元將預(yù)先定義的運(yùn)動(dòng)向量設(shè)置為所述深度子塊的運(yùn)動(dòng)向量，以及所述預(yù)先定義的運(yùn)動(dòng)向量是由NBDV或者DoNBDV所指示的塊的運(yùn)動(dòng)向量、零向量、在所述紋理塊中的特定位置處的子塊的運(yùn)動(dòng)向量、或者最后導(dǎo)出的最新運(yùn)動(dòng)向量。17.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，所述紋理圖片是具有與所述深度圖片相同的圖片順序計(jì)數(shù)(POC)和相同的視圖標(biāo)識(shí)符(ID)的圖片。18.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，所述紋理塊是在與所述紋理圖片中的深度子塊相同的位置處的塊。19.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，所述子塊具有基于從編碼器接收到的信息所確定的大小。20.根據(jù)權(quán)利要求11所述的3D視頻解碼設(shè)備，其中，所述當(dāng)前塊是預(yù)測(cè)塊。
【文檔編號(hào)】H04N13/00GK106068649SQ201580012725
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2015年3月10日 公開(kāi)號(hào)201580012725.5, CN 106068649 A, CN 106068649A, CN 201580012725, CN-A-106068649, CN106068649 A, CN106068649A, CN201580012725, CN201580012725.5, PCT/2015/2275, PCT/KR/15/002275, PCT/KR/15/02275, PCT/KR/2015/002275, PCT/KR/2015/02275, PCT/KR15/002275, PCT/KR15/02275, PCT/KR15002275, PCT/KR1502275, PCT/KR2015/002275, PCT/KR2015/02275, PCT/KR2015002275, PCT/KR201502275
【發(fā)明人】柳先美, 南廷學(xué), 芮世薰
【申請(qǐng)人】Lg電子株式會(huì)社