基于cs測量值多描述的視頻編解碼方法
【專利摘要】本發(fā)明公開了一種基于CS測量值多描述的視頻編碼方法，編碼方法包括：將視頻圖像序列分為關(guān)鍵幀和CS幀：對關(guān)鍵幀采用基于塊的測量、量化、熵編碼；對CS幀利用多描述的思想將基于塊的測量值分兩路描述，分別進行量化、熵編碼。解碼方法包括：接收關(guān)鍵幀數(shù)據(jù)后先進行熵解碼反量化得到測量值，對關(guān)鍵幀的塊初始重構(gòu)、幀內(nèi)多假設(shè)預(yù)測重構(gòu)；接收CS幀多描述碼流后，熵解碼反量化；基于多描述的測量值生成；CS幀多描述自適應(yīng)幀間多假設(shè)重構(gòu)。本發(fā)明在不增加編碼端復(fù)雜度的情況下，提高視頻圖像重構(gòu)質(zhì)量及魯棒性。
【專利說明】基于CS測量值多描述的視頻編解碼方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于CS測量值多描述的視頻編碼方法，還涉及一種針對該視頻 編碼的視頻編碼方法，屬于圖像通信【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 隨著多媒體技術(shù)的發(fā)展，大量的視頻數(shù)據(jù)傳輸成為迫切的需求。由此帶來的網(wǎng)絡(luò) 擁塞，隨機比特錯誤及數(shù)據(jù)包丟失給視頻數(shù)據(jù)傳輸帶來巨大挑戰(zhàn)。分布式視頻壓縮感知系 統(tǒng)利用聯(lián)合稀疏模型（JSM, Joint Sparsity Model)結(jié)合壓縮感知和分布式視頻編碼的特 點，在視頻編碼端對視頻數(shù)據(jù)進行分別壓縮感知測量，在解碼端利用連續(xù)幀相關(guān)性生成邊 信息實現(xiàn)聯(lián)合解碼。降低編碼端復(fù)雜度，提高重構(gòu)質(zhì)量及系統(tǒng)的魯棒性。
[0003] 多描述編碼（MDC, Multiple Description Coding)為解決高誤碼環(huán)境下數(shù)據(jù)傳輸 的抗差錯和抗誤碼率方法，通過將信號分解成多個可獨立但同時又有一定相關(guān)性的碼流并 在多個信道中傳輸。由于多個信道同時出錯概率非常低，即使部分描述碼流丟失，仍可得到 可接受的圖像質(zhì)量。收到的描述越多，重建質(zhì)量越高。
[0004] 現(xiàn)有的多描述方法主要有：基于抽樣的多描述編碼、基于量化的多描述編碼、基于 變換的多描述編碼和基于非平等保護的多描述編碼：基于抽樣的多描述編碼利用視頻信號 的空間、時間上的相關(guān)性，在時間或空間抽樣形成多描述，由于視頻信號具有空間、時間上 的相關(guān)性，因此在時間或空間上抽樣形成的多路描述就具有了一定的冗余度，且容易形成 平衡多描述；基于量化的多描述編碼是通過對信號源進行不同精度量化和冗余分配相結(jié)合 形成多個描述，但基于量化的多描述編碼相對較復(fù)雜，對實時性要求較高的場合不太適用； 基于相關(guān)變換的多描述編碼方案將成對相關(guān)變換思想引入到多描述編碼方案中，但成對相 關(guān)變換只適用于兩路描述的情況；基于非平等保護的多描述編碼方案是將信源碼流分成不 同重要程度的數(shù)據(jù)段，然后使用不同數(shù)量的糾錯碼來保護不同的數(shù)據(jù)段，但是基于非平等 保護的多描述編碼方案要求原始的碼流具有一定的質(zhì)量可分級性，即待編碼碼流需要具有 不同程度的重要性，實際中使用的編碼方法中并非總是能滿足這個要求，因此限制了其實 際應(yīng)用。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于CS測量值多描述的視 頻編碼方法，能夠在不增加編碼復(fù)雜度的情況下，提高視頻圖像重構(gòu)質(zhì)量及魯棒性。
[0006] 基于CS測量值多描述的視頻編碼方法所采用的技術(shù)方案具體如下：
[0007] 基于CS測量值多描述的視頻編碼方法，包括以下步驟：
[0008] 11)將視頻幀分為關(guān)鍵幀和CS幀；
[0009] 12)對關(guān)鍵幀編碼
[0010] 12a)對關(guān)鍵幀進行基于塊的壓縮測量，得到基于塊的關(guān)鍵幀測量值；
[0011] 12b)對得到的關(guān)鍵幀測量值進行量化、熵編碼；
[0012] 13)對CS幀編碼
[0013] 13a)對CS幀進行基于塊的壓縮測量，得到基于塊的CS幀測量值；
[0014] 13b)對得到CS幀測量值進行智能多描述編碼，形成兩路描述；
[0015] 13c)對得到的兩路描述分別進行量化、熵編碼。
[0016] 步驟12a)、13a)中所述基于塊的壓縮測量步驟如下：
[0017] 第1步，將擬采樣的視頻幀分成大小相同、互不重疊的方形圖像塊；
[0018] 第2步，用隨機測量矩陣對圖像塊其進行壓縮采樣，得到每個圖像塊的測量值向 量。
[0019] 步驟12a)中所述基于塊的壓縮測量中關(guān)鍵幀的測量率大于步驟13a)中CS幀的 測量率。
[0020] 步驟13b)中所述CS幀測量值智能多描述編碼過程如下：
[0021] 第1步，將13a)中每一塊測量值列向量化；
[0022] 第2步，將列向量化的向量按塊順序組合成測量值矩陣；
[0023] 第3步，采用交織編碼將測量值矩陣分解成兩路描述：提取測量值矩陣的奇數(shù)列 作為第一路描述，并標記為Ml ;提取測量值矩陣的偶數(shù)列作為第二路描述，并標記為M2。
[0024] 本發(fā)明的另一目的在于提供一種基于CS測量值多描述的視頻解碼方法，該視頻 解碼方法是針對前述的基于CS測量值多描述的視頻編碼而進行的，其所采用的技術(shù)方案 是：基于CS測量值多描述的視頻解碼方法，包括以下步驟：
[0025] 21)關(guān)鍵幀的重構(gòu)，具體操作步驟如下：
[0026] 21a)在解碼端首先對關(guān)鍵幀的碼流進行熵解碼及反量化，得到每個關(guān)鍵幀幀塊的 測量值；
[0027] 21b)對關(guān)鍵幀的每個塊測量值進行塊初始重構(gòu)，然后將重構(gòu)塊按照塊順序組合得 到初始重構(gòu)的關(guān)鍵幀；
[0028] 21c)對初始重構(gòu)的關(guān)鍵巾貞，利用幀內(nèi)多假設(shè)算法對每一塊進行幀內(nèi)字典構(gòu)造；
[0029] 21d)利用幀內(nèi)字典和當前塊的信息在測量域通過求解最優(yōu)化方法得到邊信息塊， 然后將邊信息塊按照塊順序組合，得到邊信息幀；
[0030] 21f)利用測量矩陣計算邊信息幀測量值，然后聯(lián)合邊信息幀的測量值和關(guān)鍵幀的 測量值進行殘差稀疏重構(gòu)，生成殘差幀；
[0031] 21g)將殘差幀與邊信息幀相加，得到重構(gòu)的關(guān)鍵幀；
[0032] 22) CS幀的重構(gòu)，具體操作步驟如下：
[0033] 22a)在解碼端首先對CS幀的碼流進行熵解碼及反量化，得到CS幀每個圖像塊測 量值；
[0034] 22b)判斷收到多描述測量值的數(shù)目，若只收到一路多描述測量值，跳轉(zhuǎn)至22c)， 若收到兩路多描述測量值，跳轉(zhuǎn)至22d);
[0035] 22c)若只收到一路多描述測量值Mi (i = 1，2)，則進一步判斷收到的是第一路描 述M1，還是第二路描述M2，并分別進行測量值補充，利用關(guān)鍵幀同位置塊測量值與收到測量 值組合成重構(gòu)塊測量值矢量；
[0036] 22d)若收到兩路多描述測量值，則將兩路多描述測量值按順序組合成當前CS幀 完整的測量矢量；
[0037] 22e)利用前一關(guān)鍵幀通過幀間多假設(shè)預(yù)測算法對當前塊進行幀間字典構(gòu)造；
[0038] 22f)利用幀間字典和當前塊信息在測量域通過求解最優(yōu)化方法得到邊信息塊，然 后按照塊順序進行組合得到邊信息幀；
[0039] 22g)利用測量矩陣計算邊信息幀的測量值，聯(lián)合邊信息幀和當前CS幀在測量域 進行殘差稀疏重構(gòu)，生成殘差巾貞；
[0040] 22h)殘差幀與邊信息幀相加，得到重構(gòu)的CS幀。
[0041] 步驟21c)中所述幀內(nèi)字典構(gòu)造過程如下：
[0042] 對當前塊進行幀內(nèi)字典構(gòu)造時，以當前塊為中心，確定搜索窗口的位置和尺寸，通 過滑動取塊取出搜索窗口中所有參考塊，將取得的參考塊列向量化后組合成為當前塊的字 典。
[0043] 步驟21d)和22f)中的求解最優(yōu)化方法為先求解稀疏系數(shù)

【權(quán)利要求】
1. 基于CS測量值多描述的視頻編碼方法，其特征在于，包括以下步驟： 11) 將視頻幀分為關(guān)鍵幀和CS幀； 12) 對關(guān)鍵幀編碼： 12a)對關(guān)鍵幀進行基于塊的壓縮測量，得到基于塊的關(guān)鍵幀測量值； 12b)對得到的關(guān)鍵幀測量值進行量化、熵編碼； 13) 對CS幀編碼： 13a)對CS幀進行基于塊的壓縮測量，得到基于塊的CS幀測量值； 13b)對得到CS幀測量值進行智能多描述編碼，形成兩路描述； 13c)對得到的兩路描述分別進行量化、熵編碼。
2. 根據(jù)權(quán)利要求1所述的基于CS測量值多描述的視頻編碼方法，其特征在于：步驟 12a)、13a)中所述基于塊的壓縮測量步驟如下： 第1步，將擬采樣的視頻幀分成大小相同、互不重疊的方形圖像塊； 第2步，用隨機測量矩陣對圖像塊其進行壓縮采樣，得到每個圖像塊的測量值向量。
3. 根據(jù)權(quán)利要求1所述的基于CS測量值多描述的視頻編碼方法，其特征在于：步驟 12a)中所述基于塊的壓縮測量中關(guān)鍵幀的測量率大于步驟13a)中CS幀的測量率。
4. 根據(jù)權(quán)利要求1所述的基于CS測量值多描述的視頻編碼方法，其特征在于：步驟 13b)中所述CS幀測量值智能多描述編碼過程如下： 第1步，將13a)中每一塊測量值列向量化； 第2步，將列向量化的向量按塊順序組合成測量值矩陣； 第3步，采用交織編碼將測量值矩陣分解成兩路描述：提取測量值矩陣的奇數(shù)列作為 第一路描述，并標記為Ml ;提取測量值矩陣的偶數(shù)列作為第二路描述，并標記為M2。
5. 基于CS測量值多描述的視頻解碼方法，其特征在于，包括以下步驟： 21) 關(guān)鍵幀的重構(gòu)，具體操作步驟如下： 21a)在解碼端首先對關(guān)鍵幀的碼流進行熵解碼及反量化，得到每個關(guān)鍵幀幀塊的測量 值； 21b)對關(guān)鍵幀的每個塊測量值進行塊初始重構(gòu)，然后將重構(gòu)塊按照塊順序組合得到初 始重構(gòu)的關(guān)鍵幀； 21c)對初始重構(gòu)的關(guān)鍵幀，利用幀內(nèi)多假設(shè)算法對每一塊進行幀內(nèi)字典構(gòu)造； 21d)利用幀內(nèi)字典和當前塊的信息在測量域通過求解最優(yōu)化方法得到邊信息塊，然后 將邊信息塊按照塊順序組合，得到邊信息幀； 21f)利用測量矩陣計算邊信息幀測量值，然后聯(lián)合邊信息幀的測量值和關(guān)鍵幀的測量 值進行殘差稀疏重構(gòu)，生成殘差巾貞； 21g)將殘差幀與邊信息幀相加，得到重構(gòu)的關(guān)鍵幀； 22. CS幀的重構(gòu)，具體操作步驟如下： 22a)在解碼端首先對CS幀的碼流進行熵解碼及反量化，得到CS幀每個圖像塊測量 值； 22b)判斷收到多描述測量值的數(shù)目，若只收到一路多描述測量值，跳轉(zhuǎn)至22c)，若收 到兩路多描述測量值，跳轉(zhuǎn)至22d); 22c)若只收到一路多描述測量值Mi (i = 1，2)，則進一步判斷收到的是第一路描述M1, 還是第二路描述M2，并分別進行測量值補充，利用關(guān)鍵幀同位置塊測量值與收到測量值組 合成重構(gòu)塊測量值矢量； 22d)若收到兩路多描述測量值，則將兩路多描述測量值按順序組合成當前CS幀完整 的測量矢量； 22e)利用前一關(guān)鍵幀通過幀間多假設(shè)預(yù)測算法對當前塊進行幀間字典構(gòu)造； 22f)利用幀間字典和當前塊信息在測量域通過求解最優(yōu)化方法得到邊信息塊，然后按 照塊順序進行組合得到邊信息幀； 22g)利用測量矩陣計算邊信息幀的測量值，聯(lián)合邊信息幀和當前CS幀在測量域進行 殘差稀疏重構(gòu)，生成殘差巾貞； 22h)殘差幀與邊信息幀相加，得到重構(gòu)的CS幀。
6. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 21c)中所述幀內(nèi)字典構(gòu)造過程如下： 對當前塊進行幀內(nèi)字典構(gòu)造時，以當前塊為中心，確定搜索窗口的位置和尺寸，通過滑 動取塊取出搜索窗口中所有參考塊，將取得的參考塊列向量化后組合成為當前塊的字典。
7. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 21d)和22f)中的求解最優(yōu)化方法為先求解稀疏系數(shù)=argmjn|yM-然后由 戈，=AA,得到當前塊的最佳預(yù)測塊，即邊信息塊對； 其中Du為字典，t表示幀序號，i表示塊序號，Ob為塊測量矩陣，為當前待解碼塊 的測量值向量。
8. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 21f)中所述殘差稀疏重構(gòu)是指首先計算邊信息幀的測量值和關(guān)鍵幀的測量值yK之間的 殘差測量值k ，然后對殘差利用基于塊的投影光滑Landwebei算法進行稀疏重構(gòu) 得到殘差巾貞ZK。
9. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 22c)中測量值補充方法如下： 若收到的描述為測量值的奇數(shù)列，即為第一路描述M1，且每一列向量長度為L，則采用 前一關(guān)鍵幀測量值的偶數(shù)列對當前CS幀測量值進行補充，并且每一列只取前L個值； 若收到的描述為測量值的偶數(shù)列，即為第二路描述M2，且每一列向量長度為L，則采用 前一關(guān)鍵幀測量值的奇數(shù)列對當前CS幀測量值進行補充，并且每一列只取前L個值。
10. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 22e)中所述幀間字典構(gòu)造過程如下： 對當前塊CSi進行幀間字典構(gòu)造時，選取當前塊CSi相同位置的前一關(guān)鍵幀的幀塊為中 心，確定搜索窗口的位置和尺寸，通過滑動取塊取出搜索窗口中所有參考塊，將取得的參考 塊列向量化后組合成為當前塊CSi的字典。
11. 根據(jù)權(quán)利要求5所述的基于CS測量值多描述的視頻解碼方法，其特征在于：步驟 22g)中所述殘差稀疏重構(gòu)是指首先計算邊信息幀的測量值和CS幀的測量值yes之間的 殘差測量值，然后對殘差利用基于塊的投影光滑Landweber算法進行稀疏重 構(gòu)得到殘差巾貞Zcs。
【文檔編號】H04N19/39GK104333757SQ201410555088
【公開日】2015年2月4日 申請日期:2014年10月17日 優(yōu)先權(quán)日:2014年10月17日
【發(fā)明者】張瑤, 朱金秀, 倪建軍, 張學(xué)武, 裴穎, 程浩, 毛歡歡, 倪舒淇, 湯一彬 申請人:河海大學(xué)常州校區(qū)