專利名稱：一種基于像素行重排的圖像和視頻抗誤碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻和圖像信號的處理和傳輸領(lǐng)域。具體的說是一種基 于像素行重排的圖像和視頻抗誤碼方法。
背景技術(shù)：
隨著視頻編碼技術(shù)、網(wǎng)絡(luò)技術(shù)和存儲技術(shù)的迅速發(fā)展，基于視頻和 圖像壓縮編碼的傳輸和存儲系統(tǒng)都得到了越來越廣泛的應(yīng)用，例如視頻會議、視頻監(jiān)控、DVD視盤系統(tǒng)和數(shù)字相冊等。然而任何通信網(wǎng)絡(luò)和存儲 媒體都不能保證數(shù)據(jù)完全可靠。而常用的各種視頻壓縮編碼方法基本上都采用了傳統(tǒng)的基于時間預(yù)測的混合視頻編碼方法，雖然獲得了很高的 壓縮率，但是對誤碼也格外地敏感。這就限制了視頻系統(tǒng)在一些高誤碼 的信道和存儲々某體上的應(yīng)用。同樣的情況也發(fā)生在圖像壓縮編碼應(yīng)用中。 因此，如何使視頻編碼算法具有良好的錯誤恢復(fù)能力，對其應(yīng)用，特別 是對目前受到廣泛關(guān)注的網(wǎng)絡(luò)視頻和無線視頻意義重大。在現(xiàn)有視頻編碼中，由于時間預(yù)測的影響，如果某一幀視頻數(shù)據(jù)出 現(xiàn)錯誤，不但這一幀的解碼圖像會出現(xiàn)錯誤，即使后續(xù)視頻幀數(shù)據(jù)均正 確，也會導(dǎo)致其后若干幀的解碼圖象出現(xiàn)錯誤，直到下一個I幀(非預(yù) 測幀)為止。因此，視頻信號解碼器中，為了得到更好的視覺表現(xiàn)，如 果發(fā)現(xiàn)了誤碼，在下一個I幀之前，解碼器如果不凍結(jié)輸出畫面就只能 盡可能的通過各種方法猜測丟失的部分圖像，這被稱為錯誤掩蓋。在具 有反饋信道的視頻通信系統(tǒng)中，雖然可以由解碼器通知編碼器更新I幀 或者類似的方法恢復(fù)圖像，但是由于網(wǎng)絡(luò)的往返延遲，在I幀到來之前， 解碼器也只有凍結(jié)輸出畫面和通過錯誤掩蓋盡量恢復(fù)圖像兩個選擇。所以錯誤掩蓋方法的優(yōu)劣對解碼器遭遇誤碼時的畫面質(zhì)量至關(guān)重要。對于視頻編碼，常見的錯誤掩蓋方法一般可以歸為兩類1、時間預(yù) 測法 一般用相鄰宏塊的運動矢量估計錯誤宏塊的運動矢量，再用運動 矢量指定的參考塊直接替代誤碼塊；2、空間預(yù)測法用相鄰宏塊的梯度 信息和相鄰像素通過插值或者濾波的方法恢復(fù)丟失的宏塊。在實際應(yīng)用 中，這兩種方法在特定的條件下都能取得一定的效果。采用時間預(yù)測法， 恢復(fù)質(zhì)量取決于恢復(fù)的運動矢量的誤差和編碼殘差分量的大小，對于圖 像運動不復(fù)雜，編碼殘差小的地方能取得較好的恢復(fù)效果。采用空間預(yù) 測法， 一般只能恢復(fù)圖像的低頻成份，表現(xiàn)為高頻成份的圖像細節(jié)難以 恢復(fù)。對于圖像編碼，不存在時間預(yù)測，只能采用空間預(yù)測的方法，情 況完全類似。但是，無論是時間預(yù)測法，還是空間預(yù)測法，有一點是相同的，那 就是均需要利用相鄰宏塊的數(shù)據(jù)進行錯誤掩蓋。如果相鄰宏塊的數(shù)據(jù)也 是錯誤的，則錯誤掩蓋失敗。時間預(yù)測法和空間預(yù)測法都是以宏塊為基 本單位的，時間預(yù)測法一般需要由相鄰宏塊的運動矢量估計丟失宏塊的 運動矢量，空間預(yù)測法需要用相鄰像素恢復(fù)丟失宏塊。也就是說，現(xiàn)有 的錯誤掩蓋技術(shù)一般要求錯誤的宏塊不能是連續(xù)的，而實際上圖像視頻 數(shù)據(jù)往往表現(xiàn)為連續(xù)多個宏塊的突發(fā)錯誤，這嚴(yán)重影響了現(xiàn)有的時間預(yù) 測法和空間預(yù)測法的錯誤掩蓋效果。發(fā)明內(nèi)容本發(fā)明的目的在于提出 一種簡單有效抗誤碼方法，對數(shù)據(jù)出現(xiàn)連續(xù) 錯誤的圖像仍具有良好的錯誤掩蓋能力，處理簡單，易于用DSP或者硬 件實現(xiàn)，不需要對現(xiàn)有編碼算法做任何修改，對圖像和視頻一樣適用的 基于像素行重排的圖像和視頻抗誤碼方法，以克服現(xiàn)有錯誤掩蓋方法在圖像數(shù)據(jù)連續(xù)錯誤情況下效果退化的不足。為了實現(xiàn)上述目的，本發(fā)明所釆用的方法是 在編碼器對一幀圖像編碼之前，執(zhí)行以下步驟 第一步驟、按照像素行對圖像進行1/N抽取，得到N個高度縮小為 1/N的子圖像;第二步驟、將這些子圖像在垂直方向拼接成一個和原始圖像等大小 的新圖像；在解碼器得到第二步驟的一幀解碼圖像后，執(zhí)行以下步驟 第三步驟、從解碼圖像恢復(fù)N個子圖像；第四步驟、將多個子圖像依次逐行交織在一起，恢復(fù)原始圖像； 第五步驟、如果有誤碼導(dǎo)致部分圖像無法解碼，則用相鄰子圖像做空間預(yù)測替換丟失的圖像；第六步驟、對于視頻編碼，如果發(fā)生了誤碼，還要把第五步驟得到的圖像重新按照第 一和第二步驟進行抽取和拼接后取代解碼圖像保存為解碼器的參考幀。上述第一步驟的抽取方法是將像素行的行號對N取模，模相同的行 按原順序抽取到一起，構(gòu)成一個子圖像，共得到N個子圖像，模值即子 圖像的序號。上述第二步驟的拼接方法是將N個子圖像按照序號遞增順序從上向下連續(xù)存放在一起。上述第三步驟的恢復(fù)子圖像的方法是第二步驟的逆過程。 上述第四步驟的恢復(fù)原始圖像的方法是第 一 步驟的逆過程。 上述第五步驟的具體方法是對于圖像任何區(qū)域，由于相鄰N行被分散到N個子圖像中，均勻分布在整個圖像中，只要這個區(qū)域在N個子圖像中的對應(yīng)部分沒有都丟失，那么第五步驟的輸入圖像中，任意M( M<N ) 個連續(xù)的錯誤像素行總是夾在兩個正確的像素行之間，通過在正確像素 行之間利用空間預(yù)測恢復(fù)M個連續(xù)的錯誤像素行。上述第六步驟的方法是對于視頻編碼，把第五步驟得到的圖像重新 按照第 一和第二步驟進行抽取和拼接后取代解碼圖像保存為解碼器的參 考幀。用于提高后續(xù)幀時間參考的質(zhì)量，提高解碼效果。本發(fā)明的思想是用類似全息照相的方法，通過對圖像的像素行重排， 使圖像的局部具有在一定程度上表示整幅圖像的能力，從而在發(fā)生誤碼 時，能夠用剩余的圖像較好的恢復(fù)圖像丟失的部分。實驗表明，本發(fā)明 的方法有很強的錯誤糾正能力，以突發(fā)誤碼導(dǎo)致的圖像連續(xù)丟失為例， 只要圖像正常部分超過1/N,仍然能夠恢復(fù)整幅圖像。由于圖像相鄰行的 相關(guān)性非常高，在N不大于3時，本發(fā)明恢復(fù)的圖像質(zhì)量非常高，在畫 面大面積丟失時，其;f見覺效果明顯優(yōu)于其它方法。本發(fā)明可以用于抗誤 碼視頻和圖像編碼，對編碼器沒有任何特別的要求，兼容性好，是一種 通用的方法。


圖1為本發(fā)明的視頻/圖像編解碼系統(tǒng)框圖。圖2為本發(fā)明實施例以N=3為例，抽取出子圖像0得到子圖像1和 子圖像2。圖3為本發(fā)明實施例以^3為例，將子圖像O,子圖像1和子圖像2 拼接為新圖像。圖4為本發(fā)明實施例以N=3為例，將子圖像0，子圖像1和子圖像2 從解碼圖像中恢復(fù)出來。圖5為本發(fā)明實施例以N-3為例，用子圖像O,子圖像1和子圖像2恢復(fù)源圖像。圖6為本發(fā)明實施例以N-2,圖像為CIF大小，誤碼導(dǎo)致第8、 9宏塊 行無法解碼為例，說明丟失圖像的恢復(fù)方法，圖中灰色的部分是誤碼導(dǎo) 致丟失的圖像。圖7為本發(fā)明實施例以N=2為例，連續(xù)1 4亍丟失時線性插值的方法圖。圖8為本發(fā)明實施例以N=3,圖^^為CIF大小，誤碼導(dǎo)致第6到12 宏塊行無法解碼為例，說明丟失圖像的恢復(fù)方法，圖中灰色的部分是誤 碼導(dǎo)致丟失的圖像。圖9為本發(fā)明實施例以N=3為例，連續(xù)2行丟失時線性插值的方法圖。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。 本發(fā)明的原理為圖像的像素行重新排列，把原圖像中相鄰的像素 行逐行抽取為N個子圖像，這樣每個子圖像都可視為整幅圖像在垂直方 向上的一個亞采樣表示，在一定程度上可以單獨表示整幅圖像。 再把N個子圖像在垂直方向上按照順序拼接在一起形成重排圖像，從而 使得原圖像在亞采樣基礎(chǔ)上具有N個表示，形成了在亞采樣基礎(chǔ)上的冗 余。如果其中若干個子圖像被破壞，只要其中任何一個子圖像存在，就 能在一定程度上恢復(fù)整幅圖像。通過重排，使原圖像中相鄰的像素行被 抽取到不同的子圖像中，在重排圖像中存放在距離較遠的地方，從而不容 易被突發(fā)錯誤同時破壞。因此，即使圖像數(shù)據(jù)中某部分出現(xiàn)連續(xù)錯誤， 導(dǎo)致部分宏塊無法解碼，也只會影響其中某些子圖像。只要N個子圖像 對應(yīng)部位沒有全部丟失，由于圖像相鄰行的高度相關(guān)性，仍然可以用剩余的完好子圖像在鄰近像素行之間做空間預(yù)測恢復(fù)丟失的圖像。所以在取N個子圖像時，在圖像連續(xù)丟失不超過(N-1 ) /N的情況下仍然能恢復(fù) 原圖像。在絕大部分情況下，傳輸媒體和記錄媒體上的數(shù)據(jù)錯誤都呈突 發(fā)分布，所以誤碼導(dǎo)致的圖像丟失也多是連續(xù)錯誤。實驗表明，在圖像 連續(xù)錯誤小于(N-1) /N的情況下，本發(fā)明的方法仍然能恢復(fù)原圖像，在 N不大于3時，恢復(fù)的圖像峰值質(zhì)量和視覺效果明顯優(yōu)于其它方法。由于 本發(fā)明的方法不涉及視頻和圖像的編碼、解碼過程，并且只在圖像內(nèi)部 做錯誤掩蓋，所以本發(fā)明對視頻編碼和圖像編碼是通用的，可以配合任 何視頻編碼算法和圖像編碼算法，是一種通用性非常高的方法。由于采 用基于^象素行的處理，簡單且并行性高，本發(fā)明易于用DSP或者硬件實 現(xiàn)。本發(fā)明的具體方法是在編碼器對一幀圖像編碼之前先做前處理(圖1):第一步、對源圖像按照像素行進行1/N抽取，得到N個垂直高度縮 小為1/N的子圖像源圖像的像素行號為從0開始依次遞增的整數(shù)，將 行號對N取模，結(jié)果為G到N-1，將取模結(jié)果相同的所有〗象素行按照原順 序存放在一起，得到N個子圖像。由于圖像行數(shù)不一定是N的整數(shù)倍， 所以子圖像的高度可能有1的差別。以^3為例，抽取出子圖像0，子圖像1和子圖像2 (圖2)。第二步、將子圖像在垂直方向拼接成一個和原始圖像等大小的新圖 像將N個子圖像#4居序號在垂直方向字節(jié)拼接在一起。以N=3為例， 將子圖像O,子圖像1和子圖像2拼接為新圖像(圖3)。在解碼器得到 一 幀解碼圖像后做后處理第三步、從解碼圖像恢復(fù)N個子圖像這是第二步的逆過程，以N-3為例，將子圖像0，子圖像1和子圖像2從解碼圖像中恢復(fù)出來(圖4)。 第四步、將多個子圖像依次逐行拼接，恢復(fù)原始圖像這是第一步 的逆過程，以N=3為例，用子圖像0,子圖像1和子圖像2恢復(fù)源圖像(圖 5)。第五步、如果有誤碼導(dǎo)致部分圖像無法解碼，則用相鄰子圖像做空 間預(yù)測替換丟失的圖像，這是本發(fā)明的核心通過重排，原圖像中相鄰 的像素行被抽取到不同的子圖像中，從而不容易被突發(fā)錯誤同時破壞。 因此，即使圖像數(shù)據(jù)中某部分出現(xiàn)連續(xù)錯誤，導(dǎo)致部分宏塊無法解碼， 也只會影響其中某些子圖像。只要N個子圖像對應(yīng)部位沒有全部丟失， 由于圖像相鄰行的高度相關(guān)性，仍然可以用剩余的完好子圖像在鄰近像 素行之間做空間預(yù)測恢復(fù)丟失的圖像。所以在取N個子圖像時，在圖像 連續(xù)丟失不超過(N-1) /N的情況下仍然能恢復(fù)原圖像。第六步驟、對于視頻編碼，如果發(fā)生了誤碼，還要把第五步驟得到 的圖像重新按照第 一和第二步驟進行抽取和拼接后取代解碼圖像保存為 參考幀。用于提高后續(xù)幀時間參考的質(zhì)量，提高解碼效果。下面以最簡單實用的線性插值的空間預(yù)測方法為例，說明錯誤圖像 的恢復(fù)方法。對于連續(xù)丟失的圖像，對任意N,只要丟失的圖像不超過整幅圖像的 (N-l)/N,即可以保證在第四步拼接子圖像后，任意丟失的像素行，總是 位于有效的像素行之間。假設(shè)有效像素行a和b之間有M個丟失的像素 行，則如下圖，對第m行丟失的像素行，線性插值的通用^^式如下細，=((M _ -1)《+ O +1》,+ M/2)/M 其中下標(biāo)i表示像素的縱坐標(biāo)。下面分別以N=2和N-3，圖像為CIF大小為例，說明丟失圖像的恢復(fù)方法。^2時，假設(shè)誤碼導(dǎo)致解碼器無法解碼第8、 9宏塊行，即第U8到 159像素行(圖6的灰色部分)。圖中可以看出，在第四步結(jié)束后，所有 無法解碼的像素行都被夾在正常像素行之間。丟失的第n行可以由第n-l行和第n+l ^"的線性插值恢復(fù)，這里的n為1、 3、 5.....31和256、 258、260..... 286。線性插值的方法如圖7,公式如下x, =(",+&, +1)/2N=3時，假設(shè)誤碼導(dǎo)致解碼器無法解碼第6到12宏塊行(子圖像1 全部和子圖像2的第1個宏塊行)，即第96到207像素行(圖7的灰色 部分)。圖8中可以看出，在第四步結(jié)束后，所有無法解碼的像素行仍然 被正常像素行分隔開。丟失的圖像可以分為兩部分，丟失的第n、 n+l行可以由第n-1行和第n+2行的線性插值恢復(fù)，這里的n為l、 4、 7.....46。線性插值的方法如圖9，公式如下;cO, = (2a, + A + 2) / 3 xl, =0,+26,+2)/3和N=2類似，丟失的第n行可以由第n-l行和第n+l行的線性插值恢復(fù)，這里的n為49、 52、 55..... 286。這部分線性插值的方法和N=2的情況相同。由于以上每一步對圖像的處理都是以行為單位，在行內(nèi)的多個像素 點之間并行進行的，所以不但非常有利于在PC機上用CPU的SIMD指令 集實現(xiàn)，也非常易于用DSP或者硬件實現(xiàn)。另外，本發(fā)明的方法僅在圖 像內(nèi)部利用空間預(yù)測做錯誤掩蓋，不涉及視頻和圖像的編碼、解碼過程，所以本發(fā)明對視頻編碼和圖像編碼是通用的，可以配合任何視頻編碼算 法和圖^^編碼算法。這是一種實用性非常高的方法。本說明書中未作詳細描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn) 有技術(shù)。
權(quán)利要求
1. 一種基于像素行重排的圖像和視頻抗誤碼方法，包含以下步驟在編碼器對一幀圖像編碼之前，執(zhí)行以下步驟第一步驟、按照像素行對圖像進行1/N抽取，得到N個高度縮小為1/N的子圖像；第二步驟、將這些子圖像在垂直方向拼接成一個和原始圖像等大小的新圖像；在解碼器得到第二步驟的一幀解碼圖像后，執(zhí)行以下步驟第三步驟、從解碼圖像恢復(fù)N個子圖像；第四步驟、將多個子圖像依次逐行交織在一起，恢復(fù)原始圖像；第五步驟、如果有誤碼導(dǎo)致部分圖像無法解碼，則用相鄰子圖像做空間預(yù)測替換丟失的圖像；第六步驟、對于視頻編碼，如果發(fā)生了誤碼，把第五步驟得到的圖像重新按照第一和第二步驟進行抽取和拼接后取代解碼圖像保存為解碼器的參考幀。
2、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其 特征在于第一步驟的抽取方法是將像素行的行號對N取模，模相同的行按 原順序抽取到一起，構(gòu)成一個子圖像，共得到N個子圖像，模值即子圖像的 序號。
3、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其 特征在于第二步驟的拼接方法是將N個子圖像按照序號遞增順序從上向下 連續(xù)存放在一起。
4、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其特征在于第三步驟的恢復(fù)子圖像的方法是第二步驟的逆過程。
5、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其 特征在于第四步驟的恢復(fù)原始圖像的方法是第 一步驟的逆過程。
6、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其 特征在于第五步驟的具體方法是對于圖像任何區(qū)域，由于相鄰N行被分 散到N個子圖像中，均勻分布在整個圖像中，只要這個區(qū)域在N個子圖像中 的對應(yīng)部分沒有都丟失，那么第五步驟的輸入圖像中，任意M (M<N)個連 續(xù)的錯誤像素行總是夾在兩個正確的像素行之間，通過在正確像素行之間利 用空間預(yù)測恢復(fù)M個連續(xù)的錯誤像素行。
7、 如權(quán)利要求1所述的基于像素行重排的圖像和視頻抗誤碼方法，其 特征在于第六步驟的具體方法是對于視頻編碼，發(fā)生誤碼時，把第五步 驟得到的圖像重新按照第 一和第二步驟進行抽取和拼接后取代解碼圖像保 存為解碼器的參考幀，用于提高后續(xù)幀時間參考的質(zhì)量，提高解碼效果。
全文摘要
本發(fā)明涉及一種基于像素行重排的圖像和視頻抗誤碼方法，所采用的方法是在編碼器對一幀圖像編碼之前，執(zhí)行以下步驟1.按照像素行對圖像進行1/N抽取，得到N個高度縮小為1/N的子圖像；2.將這些子圖像在垂直方向拼接成一個和原始圖像等大小的新圖像；在解碼器得到第二步驟的一幀解碼圖像后，執(zhí)行以下步驟3.從解碼圖像恢復(fù)N個子圖像；4.將多個子圖像依次逐行交織在一起，恢復(fù)原始圖像；5.如果有誤碼導(dǎo)致部分圖像無法解碼，則用相鄰子圖像做空間預(yù)測替換丟失的圖像。本發(fā)明的思想是用類似全息照相的方法，通過對圖像的像素行重排，使圖像的局部具有在一定程度上表示整幅圖像的能力，從而在發(fā)生誤碼時，能夠用剩余的圖像較好的恢復(fù)圖像丟失的部分。
文檔編號H04N7/26GK101267555SQ20071016841
公開日2008年9月17日 申請日期2007年11月22日 優(yōu)先權(quán)日2007年11月22日
發(fā)明者徐正全, 李茂全 申請人:武漢大學(xué)