本發(fā)明屬于編解碼，具體涉及一種三維網(wǎng)格序列編解碼方法及裝置。

背景技術(shù)：

1、近年來，隨著多媒體技術(shù)的迅速發(fā)展，相關(guān)研究成果迅速產(chǎn)業(yè)化，并成為人們生活中不可或缺的重要組成部分。三維模型成為繼音頻、圖像、視頻之后的新一代數(shù)字化媒體。三維網(wǎng)格是一種常用的三維模型表示方式。三維網(wǎng)格模型與傳統(tǒng)的圖像、視頻等多媒體相比具有更強的交互性和逼真性，使其在商業(yè)、制造業(yè)、建筑業(yè)、教育、醫(yī)學、娛樂、藝術(shù)、軍事等各個領(lǐng)域都得到了越來越廣泛的應(yīng)用。

2、盡管目前有許多種三維網(wǎng)格的表示方法，但三角網(wǎng)格仍是目前最通用的表示方法。三維網(wǎng)格可以被視為由頂點、邊和面這三種基本元素組成。頂點是網(wǎng)格中最基本的元素，它們定義了一個三維空間中的位置。邊是連接網(wǎng)格中兩個頂點的線段。面可以視為由邊的閉合路徑形成的多邊形。對于三角網(wǎng)格來說，每一個面都是一個三角形。

3、網(wǎng)格中包含的信息通常分為幾何信息，連接信息以及屬性信息這三類。幾何信息即網(wǎng)格的每個頂點在三維空間中的位置。連接信息描述了網(wǎng)格中各元素之間的關(guān)聯(lián)關(guān)系，即頂點之間的連接關(guān)系。屬性信息是可選的，它可以將屬性關(guān)聯(lián)到對應(yīng)的網(wǎng)格元素中去(如頂點顏色、法向量等可以與網(wǎng)格頂點相關(guān)聯(lián))。還可以利用網(wǎng)格參數(shù)化將網(wǎng)格從三維空間映射到二維平面區(qū)域，這種映射關(guān)系通常由一組參數(shù)坐標描述，稱為uv坐標或紋理坐標，與網(wǎng)格頂點相關(guān)聯(lián)。該二維映射可以用來表示高分辨率的屬性信息，如紋理、法向量等。

4、在幾乎所有使用三維網(wǎng)格的應(yīng)用領(lǐng)域，如計算模擬、娛樂、醫(yī)學成像、數(shù)字化文物、計算機設(shè)計、電子商務(wù)等，隨著人們對三維網(wǎng)格模型在視覺效果上越來越高的需求，模型正變得越來越復(fù)雜，模型的精度也越來越高，因此表示三維網(wǎng)格所需要的數(shù)據(jù)量也相應(yīng)的增大。以上問題就導(dǎo)致了三維網(wǎng)格的處理、可視化、傳輸和存儲都越來越復(fù)雜。三維網(wǎng)格壓縮可以視為解決上述問題的一個途徑，它減少了模型數(shù)據(jù)的大小，有利于三維網(wǎng)格的處理、存儲和傳輸。

5、動態(tài)網(wǎng)格是由多個靜態(tài)網(wǎng)格幀組成的網(wǎng)格序列，其包含大量隨時間變化的信息，因此，需要高效的壓縮編碼技術(shù)來存儲和傳輸這些內(nèi)容。目前已經(jīng)有許多關(guān)于網(wǎng)格壓縮編碼方法，這些方法大多數(shù)只關(guān)注靜態(tài)網(wǎng)格的壓縮編碼。因此，有必要提出一種新的壓縮編碼方法來對動態(tài)網(wǎng)格序列進行壓縮，以達到減少數(shù)據(jù)量的目的。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種三維網(wǎng)格序列編解碼方法及裝置。本發(fā)明要解決的技術(shù)問題通過以下技術(shù)方案實現(xiàn)：

2、第一方面，本發(fā)明提供了一種三維網(wǎng)格序列編碼方法，包括：

3、對輸入的參考幀網(wǎng)格以及攜帶有第一屬性圖的當前幀網(wǎng)格進行處理，得到第一信息、第二信息、第三信息、第四信息和第五信息；其中，所述參考幀網(wǎng)格為已編碼且被重建的網(wǎng)格；所述當前幀網(wǎng)格為待編碼的網(wǎng)格；所述第五信息用于各部分信息之間的關(guān)聯(lián)對應(yīng)并表征編碼方案；

4、至少對所述第一信息、所述第四信息和所述第五信息進行編碼，形成包括第一碼流、第四碼流和第五碼流的多個碼流；

5、將所述多個碼流合并為比特流。

6、在本發(fā)明的一個實施例中，對輸入的參考幀網(wǎng)格以及攜帶有第一屬性圖的當前幀網(wǎng)格進行處理，包括：

7、對所述參考幀網(wǎng)格和所述當前幀網(wǎng)格按照預(yù)定匹配方式進行幀間匹配，得到所述第一信息；所述第一信息包括參考幀列表，每個參考幀對應(yīng)的時域運動向量和運動向量標識；并且，當幀間匹配存在幀內(nèi)子網(wǎng)格時，所述第一信息還包括幀內(nèi)子網(wǎng)格；

8、其中，所述第五信息中包括所述預(yù)定匹配方式的指示標識。

9、在本發(fā)明的一個實施例中，在利用幀間匹配獲取所述第一信息時，若在檢測到不匹配區(qū)域后，通過調(diào)整不匹配區(qū)域的每個頂點的運動向量，以使不匹配區(qū)域的頂點與匹配頂點進行合并，對應(yīng)所述第一信息包括參考幀列表，每個參考幀對應(yīng)的時域運動向量以及幀內(nèi)子網(wǎng)格。

10、在本發(fā)明的一個實施例中，在進行幀間匹配時，對所述參考幀網(wǎng)格頂點按照預(yù)定排序方式進行排序后確定所述參考幀網(wǎng)格頂點的遍歷順序，其中，所述第五信息中包括所述預(yù)定排序方式的指示標識。

11、在本發(fā)明的一個實施例中，當幀間匹配存在幀內(nèi)子網(wǎng)格時，對所述幀內(nèi)子網(wǎng)格進行網(wǎng)格簡化處理，將簡化后的網(wǎng)格作為第一幀內(nèi)子網(wǎng)格。

12、在本發(fā)明的一個實施例中，對所述第一信息進行編碼形成所述第一碼流；其中，所述時域運動向量進行時域運動向量編碼后形成第一子碼流，所述運動向量標識進行運動向量標識編碼后形成第二子碼流，所述幀內(nèi)子網(wǎng)格或所述第一幀內(nèi)子網(wǎng)格進行幀內(nèi)子網(wǎng)格編碼后形成第三子碼流。

13、在本發(fā)明的一個實施例中，所述第二信息包括紋理坐標，所述紋理坐標的獲取過程，包括：

14、對所述第一碼流進行解碼和網(wǎng)格重建，得到第一重建網(wǎng)格；

15、對所述第一重建網(wǎng)格中每個屬性圖，通過網(wǎng)格參數(shù)化生成對應(yīng)的紋理坐標，并對第一重建網(wǎng)格進行更新，得到參數(shù)化后的第一重建網(wǎng)格，其中，各屬性圖對應(yīng)的紋理坐標通過添加的對應(yīng)標識進行指定。

16、在本發(fā)明的一個實施例中，若所述第一重建網(wǎng)格包括：重建幀間子網(wǎng)格得到的第一重建子網(wǎng)格，以及重建幀內(nèi)子網(wǎng)格得到的第二重建子網(wǎng)格，將第一重建子網(wǎng)格和第二重建子網(wǎng)格進行網(wǎng)格合并后生成對應(yīng)的紋理坐標；或者，分別獲取第一重建子網(wǎng)格和第二重建子網(wǎng)格對應(yīng)的紋理坐標；其中，所述第五信息中包括用于指示網(wǎng)格是否合并的標識。

17、在本發(fā)明的一個實施例中，所述三維網(wǎng)格序列編碼方法，還包括：

18、對所述第二信息進行紋理坐標編碼形成第二碼流，并與其余碼流合并；其中，當存在多個屬性圖時，標識屬性圖與紋理坐標的對應(yīng)關(guān)系；其中，該標識也作為所述第五信息的內(nèi)容，所述第五信息中還包括用于指示是否進行紋理坐標編碼的標識。

19、在本發(fā)明的一個實施例中，所述第三信息包括空域位移，相應(yīng)地，所述三維網(wǎng)格序列編碼方法，還包括：

20、對所述參數(shù)化后的第一重建網(wǎng)格進行網(wǎng)格細分變形，得到細分變形的基礎(chǔ)網(wǎng)格以及細分變形的基礎(chǔ)網(wǎng)格每個頂點的空域位移；

21、對該空域位移或該空域位移與參考幀網(wǎng)格匹配點的空域位移之間的殘差，按照預(yù)定編碼方式進行編碼形成第三碼流，并與其余碼流合并；

22、其中，所述第五信息中包括第三碼流的預(yù)定編碼方式的指示標識。

23、在本發(fā)明的一個實施例中，所述第四信息包括屬性圖，所述屬性圖的獲得過程，包括：

24、對所述第三碼流進行解碼和重建得到重建的空域位移；

25、利用細分的基礎(chǔ)網(wǎng)格和所述重建的空域位移進行細分變形網(wǎng)格重建，得到第二重建網(wǎng)格；

26、利用所述第二重建網(wǎng)格、所述第一屬性圖和所述當前幀網(wǎng)格進行屬性圖轉(zhuǎn)換，得到第二屬性圖；其中，第二屬性圖進行屬性圖編碼后形成所述第四碼流。

27、第二方面，本發(fā)明提供了一種三維網(wǎng)格序列編碼裝置，包括：

28、編碼信息獲得模塊，用于對輸入的參考幀網(wǎng)格以及攜帶有第一屬性圖的當前幀網(wǎng)格進行處理，得到第一信息、第二信息、第三信息、第四信息和第五信息；其中，所述參考幀網(wǎng)格為已編碼且被重建的網(wǎng)格；所述當前幀網(wǎng)格為待編碼的網(wǎng)格；所述第五信息用于各部分信息之間的關(guān)聯(lián)對應(yīng)并表征編碼方案；

29、編碼模塊，用于至少對所述第一信息、所述第四信息和所述第五信息進行編碼，形成包括第一碼流、第四碼流和第五碼流的多個碼流；

30、碼流合并模塊，用于將所述多個碼流合并為比特流。

31、第三方面，本發(fā)明提供了一種三維網(wǎng)格序列解碼方法，包括：

32、對三維網(wǎng)格已編碼完成的比特流進行解復(fù)用，得到包括第一碼流、第三碼流、第四碼流和第五碼流在內(nèi)的多種碼流，對獲得的各碼流進行解碼處理；

33、利用第二信息以及解碼得到的第一信息、第三信息、第四信息和第五信息，重建得到解碼重建網(wǎng)格和解碼重建屬性圖；其中，所述第五信息用于各部分信息之間的關(guān)聯(lián)對應(yīng)并表征編碼方案。

34、在本發(fā)明的一個實施例中，所述第一信息通過利用第五信息對所述第一碼流進行解碼得到，包括：

35、當所述第五信息指示當前幀網(wǎng)格存在時域運動向量標識，利用第五信息對所述第一碼流進行解碼，得到包括參考幀列表、時域運動向量和運動向量標識的第一信息；

36、當所述第五信息指示當前幀網(wǎng)格不存在時域運動向量標識，利用第五信息對所述第一碼流進行解碼，得到包括參考幀列表和時域運動向量的第一信息；

37、并且，當存在幀內(nèi)子網(wǎng)格時，使用第五信息指示的靜態(tài)網(wǎng)格解碼器對第一碼流進行解碼，得到第二重建子網(wǎng)格，并將所述第二重建子網(wǎng)格也作為解碼輸出的第一信息的內(nèi)容。

38、在本發(fā)明的一個實施例中，所述第二信息為紋理坐標，若第五信息指示編碼端不進行紋理坐標編碼，所述紋理坐標的獲得過程，包括：

39、利用所述第五信息和所述第一信息進行基礎(chǔ)網(wǎng)格重建，得到第一重建網(wǎng)格；

40、對所述第一重建網(wǎng)格中每個屬性圖，通過網(wǎng)格參數(shù)化生成對應(yīng)的紋理坐標，并對第一重建網(wǎng)格進行更新，得到參數(shù)化后的第一重建網(wǎng)格；其中，各屬性圖對應(yīng)的紋理坐標通過添加的對應(yīng)標識進行指定。

41、在本發(fā)明的一個實施例中，若所述第一重建網(wǎng)格包括：重建幀間子網(wǎng)格得到的第一重建子網(wǎng)格，以及重建幀內(nèi)子網(wǎng)格得到的第二重建子網(wǎng)格，根據(jù)所述第五信息中用于指示網(wǎng)格是否合并的標識，對所述第一重建子網(wǎng)格和所述第二重建子網(wǎng)格進行合并或單獨處理得到對應(yīng)的紋理坐標。

42、在本發(fā)明的一個實施例中，若第五信息指示編碼端進行紋理坐標編碼，所述紋理坐標的獲得過程，包括：

43、對三維網(wǎng)格已編碼完成的比特流進行解復(fù)用，得到第二碼流；

44、利用第五信息和所述第一信息，對所述第二碼流進行紋理坐標解碼，得到紋理坐標，以用于配合所述第一信息進行網(wǎng)格重建。

45、在本發(fā)明的一個實施例中，當存在多個屬性圖時，根據(jù)所述第五信息中標識的屬性圖與紋理坐標的對應(yīng)關(guān)系，將紋理坐標與屬性圖對應(yīng)。

46、在本發(fā)明的一個實施例中，所述第三信息包括空域位移，所述空域位移的獲得過程，包括：

47、按照第五信息中指示的第三碼流的編碼方式，對所述第三碼流進行解碼，得到所述空域位移；

48、若所述第三碼流的編碼方式為視頻編碼，根據(jù)第五信息中指示的視頻解碼器類型，對所述第三碼流進行視頻解碼，得到二維圖像；利用第五信息中指示的預(yù)定頂點排序方式將頂點從二維圖像中按照對應(yīng)的順序恢復(fù)出來，并重建出頂點相應(yīng)的空域位移；

49、若所述第三碼流的編碼方式為熵編碼，根據(jù)第五信息中指示的熵編碼方式，對所述第三碼流進行熵解碼，重建得到頂點相應(yīng)的空域位移。

50、在本發(fā)明的一個實施例中，若第五信息指示第三碼流編碼過程使用了參考幀網(wǎng)格作為參考，解碼得到的為當前幀網(wǎng)格頂點相對于參考幀網(wǎng)格匹配點的空域位移的殘差，通過參考幀的第二重建網(wǎng)格的頂點以及殘差恢復(fù)當前幀的頂點的空域位移。

51、在本發(fā)明的一個實施例中，所述解碼重建網(wǎng)格的獲得過程，包括：

52、對當前幀的第一重建網(wǎng)格進行細分，得到細分后的網(wǎng)格；

53、利用所述細分后的網(wǎng)格和所述空域位移進行細分變形網(wǎng)格重建，得到第二重建網(wǎng)格作為解碼重建網(wǎng)格。

54、在本發(fā)明的一個實施例中，所述解碼重建屬性圖的獲得過程，包括：

55、利用第五信息，對所述第四碼流進行屬性圖解碼，得到包括多個屬性圖的第四信息，作為解碼重建屬性圖。

56、在本發(fā)明的一個實施例中，利用第五信息，對所述第四碼流進行屬性圖解碼，包括：

57、采用第五信息中指示的視頻解碼器對所述第四碼流進行屬性圖解碼；其中，對于多種類型的屬性圖，在得到第四信息后將每一種屬性圖按照標識與對應(yīng)的紋理坐標進行對應(yīng)。

58、在本發(fā)明的一個實施例中，對所述第四碼流進行屬性圖解碼之后，根據(jù)第五信息中指示的顏色空間轉(zhuǎn)換標識，對屬性圖進行顏色空間轉(zhuǎn)換得到與第一屬性圖一致的圖像格式。

59、第四方面，本發(fā)明提供了一種三維網(wǎng)格序列解碼裝置，包括：

60、解碼模塊，用于對三維網(wǎng)格已編碼完成的比特流進行解復(fù)用，得到包括第一碼流、第三碼流、第四碼流和第五碼流在內(nèi)的多種碼流，并對獲得的各碼流進行解碼處理；

61、重建模塊，用于利用第二信息以及解碼得到的第一信息、第三信息、第四信息和第五信息，重建得到解碼重建網(wǎng)格和解碼重建屬性圖；其中，所述第五信息用于各部分信息之間的關(guān)聯(lián)對應(yīng)并表征編碼方案。

62、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

63、本發(fā)明實施例提出了一種三維網(wǎng)格序列編解碼方案，在編碼方案中，對輸入的參考幀網(wǎng)格以及攜帶有原始屬性圖的當前幀網(wǎng)格進行處理，得到基礎(chǔ)網(wǎng)格信息、紋理坐標、空域位移、屬性圖和輔助信息；至少對基礎(chǔ)網(wǎng)格信息、屬性圖和輔助信息進行編碼，形成多個碼流；將多個碼流合并為比特流輸出即可完成編碼。在解碼方案中，對三維網(wǎng)格已編碼完成的比特流進行解復(fù)用，得到包括輔助信息碼流、基礎(chǔ)網(wǎng)格碼流、空域位移子碼流和屬性圖子碼流在內(nèi)的多種碼流；對獲得的各碼流進行解碼處理，利用紋理坐標以及解碼得到的輔助信息、基礎(chǔ)網(wǎng)格信息、空域位移和屬性圖，重建得到解碼重建網(wǎng)格和解碼重建屬性圖。本發(fā)明的編解碼方案用于壓縮編碼帶有屬性信息的動態(tài)網(wǎng)格序列，能夠充分利用已編碼網(wǎng)格與待編碼網(wǎng)格之間的時空相關(guān)性，以減少網(wǎng)格信息冗余，從而降低碼流比特率。

64、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。