基于低秩模型的壓縮感知視頻重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進一步涉及視頻編碼技術(shù)領(lǐng)域中的一種基于壓 縮感知系統(tǒng)的視頻重構(gòu)方法。本發(fā)明挖掘了視頻序列幀內(nèi)和幀間的相似性，基于低秩模型 對視頻進行重構(gòu)，可用于對自然圖像視頻序列進行重構(gòu)。
【背景技術(shù)】
[0002] 近幾年，在信號處理領(lǐng)域出現(xiàn)了一種新的數(shù)據(jù)理論壓縮感知CS，該理論在數(shù)據(jù)采 集的同時實現(xiàn)壓縮，突破了傳統(tǒng)奈奎采集斯特采樣定理的限制，為數(shù)據(jù)采集技術(shù)帶來了革 命性的變化，使得該理論在壓縮成像系統(tǒng)、軍事密碼學、無線傳感等領(lǐng)域有著廣闊的應(yīng)用前 景。壓縮感知理論主要包括信號的稀疏表示、信號的觀測和信號的重構(gòu)等三個方面。其中 設(shè)計快速有效的重構(gòu)算法是將CS理論成功推廣并應(yīng)用于實際數(shù)據(jù)模型和采集系統(tǒng)的重要 環(huán)節(jié)。
[0003] 從科學到體育多種應(yīng)用領(lǐng)域中，高速攝像機在捕捉快動作中發(fā)揮著重要的作用， 但是測量高速視頻對攝像機的設(shè)計來說是一種挑戰(zhàn)。壓縮感知通過低幀率的壓縮測量，能 夠捕捉高幀率視頻信息，因此壓縮感知被用于高速視頻信息的捕捉，從而減輕高速攝像機 設(shè)計的困難。
[0004] Guoshen Yu 等人在其發(fā)表的論文"Solving Inverse Problems With Piecewise Linear Estimators:From Gaussian Mixture Models to Structured Sparsity'，（ ((IEEE Transactions on Image Processing》，2012, 21 (5) :2481-2499)中提出一種使用分段線 性估計求解圖像逆問題的方法。該方法將問題建模為高斯混合模型，即一個圖像塊服從多 個多變量高斯分布中的某一個分布，其在對包括圖像重構(gòu)的圖像逆問題上取得了較好的結(jié) 果。該方法存在的不足之處是，該方法針對二維圖像，并不能直接用于視頻序列的重構(gòu)，并 且運用統(tǒng)計方法抓取圖像塊之間的相似性并不精準。
[0005] Janbo Yang等人在其發(fā)表的論文"Video Compressive Sensing Using Gaussian Mixture Models'，（ ((IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society》，2014, 23)中提出一種基于高斯混合模型的方法。該 方法通過對時空視頻塊建立高斯混合模型，對時間壓縮的視頻序列進行重構(gòu)，獲得了較好 的重構(gòu)效果，但是該方法仍然存在的不足是，該重構(gòu)方法只是對圖像建立了一個高斯混合 模型，并沒有抓住視頻幀內(nèi)和幀間的相關(guān)性，從而導致該方法重構(gòu)出的視頻序列不夠準確。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)領(lǐng)域中的時空視頻壓縮感知重構(gòu)技術(shù)存在 的視頻幀內(nèi)和幀間的相關(guān)性的問題，提出一種基于低秩模型的壓縮感知視頻重構(gòu)方法，提 高重構(gòu)圖像的質(zhì)量。
[0007] 實現(xiàn)本發(fā)明目的技術(shù)思路是：利用視頻幀間的相關(guān)性，即視頻不同幀相同位置具 有相似性，建模不同幀的相同位置的圖像塊具有相同的高斯分布，從而求得初始的重構(gòu)視 頻序列；對幀間和幀內(nèi)所有相似的圖像塊建立低秩模型，對視頻的低秩結(jié)構(gòu)和重構(gòu)的視頻 序列進行迭代優(yōu)化求解，實現(xiàn)了高質(zhì)量的時間視頻壓縮感知重構(gòu)。
[0008] 實現(xiàn)本發(fā)明目的的具體步驟如下：
[0009] (1)接收測量數(shù)據(jù)：
[0010] (Ia)壓縮感知發(fā)送方對視頻數(shù)據(jù)進行觀測，將每H幀視頻數(shù)據(jù)用一個隨機掩模觀 測矩陣進行一次觀測的結(jié)果，組成一幀測量數(shù)據(jù)，并發(fā)送測量數(shù)據(jù)和隨機掩模觀測矩陣，其 中，H表示取值范圍為1至20的正整數(shù)；
[0011] (Ib)接收方接收發(fā)送方發(fā)送的測量數(shù)據(jù)和隨機掩模觀測矩陣；
[0012] (2)初始化單幀協(xié)方差矩陣集合：
[0013] (2a)生成18幅人工黑白圖，每幅人工黑白圖的大小為65 X 65像素，每幅人工黑白 圖代表一個方向；
[0014] (2b)采用窗口大小為8X8像素，以1個像素的步長，分別在每個方向的人工黑白 圖像上滑窗選取大小為8X8像素的所有塊，得到每個方向的方向塊集合；
[0015] (2c)分別對每個方向的方向塊集合進行主成分分析PCA分解，得到主成分分析 PCA正交基和特征值矩陣，保留每個方向上的前8個最大特征值和對應(yīng)的主成分正交基，得 到相應(yīng)的特征值矩陣和方向基；
[0016] (2d)計算每個人工黑白圖所代表方向上的單幀協(xié)方差矩陣，得到單幀協(xié)方差矩陣 集合；
[0017] (3)基于聯(lián)合稀疏和高斯分布的分段線性估計構(gòu)造初始重構(gòu)視頻：
[0018] (3a)對每個人工黑白圖所代表的方向，將其方向上的H個單幀協(xié)方差矩陣放在矩 陣對角線上，構(gòu)造每個人工黑白圖所代表方向的用于重構(gòu)三維視頻數(shù)據(jù)的聯(lián)合稀疏的視頻 協(xié)方差矩陣，其中，第k個方向的視頻協(xié)方差矩陣如下：
[0019]
[0020] 其中，1表示第k個方向的視頻協(xié)方差矩陣，Pk表示第k個方向的單幀協(xié)方差矩 陣，k表示人工黑白圖所代表的方向編號，k = 1，2, . . .，18 ;
[0021] (3b)將MXNXH維的重構(gòu)視頻初始為零矩陣，對初始重構(gòu)視頻的每一幀以步長p 的大小劃分為nXn維的S個圖像塊，并保留分塊的位置，將每一幀相同位置的圖像塊組成 視頻塊，得到視頻塊集合& 1，~，11，~4}，其中，*廠4\""為[，...氣/，々表示第1個視 頻塊， :氣表示重構(gòu)視頻第t幀的第1個大小為nXn維的圖像塊，T表示轉(zhuǎn)置操作，對于人工 黑白圖所代表的方向k上的第1個視頻塊$服從均值為0,協(xié)方差矩陣為1的高斯分布，1. 表示第k個方向的視頻協(xié)方差矩陣，M、N、H分別表示重構(gòu)視頻中的第一維、第二維、第三維 的大小，ρ、η分別表示小于等于M、N維數(shù)中最小的值的正整數(shù)，k表示人工黑白圖所代表的 方向編號，k = 1，2,. . .，18, 1 = 1，2,. . .，S，S表示視頻塊的數(shù)目，即每一幀劃分的圖像塊 的數(shù)目；
[0022] (3c)按照下式，計算視頻塊在人工黑白圖中所代表方向上的估計值：
[0023]
[0024] 其中，xf表示第1個視頻塊在人工黑白圖所代表的方向k上的估計值，1表示第k 個視頻協(xié)方差矩陣，O1表示從隨機掩模觀測矩陣取出的第1個視頻塊的觀測矩陣，y i表示 從測量數(shù)據(jù)取出的第1個視頻塊的測量數(shù)據(jù)，σ的取值范圍為0至l，Id表示d維單位矩陣， T表示轉(zhuǎn)置操作，· 1表示矩陣求逆，k表示人工黑白圖所代表的方向編號，k= 1，2, ...，18,1 表示視頻塊的編號，1 = 1，2, ...，S，S表示視頻塊的數(shù)目，即每一幀劃分的圖像塊的數(shù)目；
[0025] (3d)按照下式，計算人工黑白圖所代表方向的最優(yōu)方向：
[0026]
[0027] 其中，I表示第1個視頻塊在人工黑白圖所代表方向中的最優(yōu)方向，?gn|ll〇表示 返回使目標函數(shù)值最小時k的取值，Φ i表示從隨機掩模觀測矩陣取出的第1個視頻塊的觀 測矩陣，X丨表示第1個視頻塊在人工黑白圖所代表的方向k上的估計值，yi表示從測量數(shù) 據(jù)取出的第1個視頻塊的測量數(shù)據(jù)，1表示第k個視頻協(xié)方差矩陣， σ的取值范圍為0至 1，Il · Il2表示范數(shù)的平方，I · I表示行列式的值，T表示轉(zhuǎn)置操作，· 1表示矩陣求逆，k表 示人工黑白圖所代表的方向編號，k = 1，2,. . .，18, 1表示視頻塊的編號，1 = 1，2,. . .，S， S表示視頻塊的數(shù)目，即每一幀劃分的圖像塊的數(shù)目；
[0028] (3e)將每個視頻塊在其最優(yōu)方向上的估計值，按照步驟（3b)劃分視頻塊時所保 留的分塊的位置，組合成初始重構(gòu)視頻；
[0029] (3f)設(shè)置迭代次數(shù)s以及最大外部迭代次數(shù)U，令當前迭代次數(shù)s為1，并將初始 重構(gòu)視頻作為第一次迭代的重構(gòu)視頻，其中，U表示正整數(shù)；
[0030] (4)利用視頻幀間和幀內(nèi)的相關(guān)性搜索每個圖像塊的相似塊：
[0031] (4a)將重構(gòu)視頻的每一幀以步長p的大小劃分為nXn維的塊，將所有幀的塊組成 二維圖像塊集合G 1，其中，ρ、η表示小于等于M、N維數(shù)中最小的值的正整數(shù)，M、N表示重構(gòu) 視頻的第一維、第二維的大小；
[0032] (4b)將重構(gòu)視頻的每一幀以步長為1劃分為nXn維的塊，將所有幀的塊組成二維 圖像塊集合G 2,并記錄視頻塊在G2中的索引，其中，η表示小于等于M、N維數(shù)中最小的值的 正整數(shù)，M、N表示重構(gòu)視頻的第一維、第二維的大??；
[0033] (4c)對G1中的每一個塊，從G 2中取出所有在該塊周圍ZXZXH窗口內(nèi)的塊，記為 該塊的近鄰塊，其中，Z表不窗口第一維和第二維的大小，H表不窗口第三維的大小，G 1表不 以步長P的大小劃分塊的二維圖像塊集合，G2表示以步長為1劃分塊的二維圖像塊集合；
[0034] (4d)計算二維視頻塊集合G1中的每一個塊與其近鄰塊的歐式距離，按歐式距離 從小到大排序，選擇前Q個塊作為對應(yīng)塊的相似塊，記錄每個塊的相似塊在G 2中的索引，其 中，Q表示小于近鄰塊塊數(shù)一半的正整數(shù)；
[0035] (5)按照下式，求解視頻的低秩結(jié)構(gòu)：
[0036]
[0037] 其中，表示第s+1次迭代的第t幀第1個圖像塊的低秩結(jié)構(gòu)，gfmin表示取當 目標函數(shù)值最小時圖像塊的低秩結(jié)構(gòu)&的值，片（·)表示提