融合Cortex-A7的實時視頻超分辨率處理方法
【專利摘要】本發(fā)明公開了一種融合Cortex-A7的實時視頻超分辨率處理方法，包括：A、進行視頻采樣，獲取低分辨率視頻幀并輸入到SOC片上系統(tǒng)中；B、對低分辨率視頻幀依次進行復(fù)雜度處理、特征向量提取和樣本集訓(xùn)練，從而得到需要進行匹配的特征向量，所述樣本集采用高分辨率的高頻分量構(gòu)建而成；C、根據(jù)需要進行匹配的特征向量，采用改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法并結(jié)合SOC片上系統(tǒng)的編解碼技術(shù)，對低分辨率視頻幀進行超分辨率處理，從而輸出高分辨率視頻幀流。本發(fā)明具有實時、失真率較低、處理速度較快、處理成本較低和質(zhì)量較高的優(yōu)點，可廣泛應(yīng)用于視頻圖像處理領(lǐng)域。
【專利說明】融合Cortex-A7的實時視頻超分辨率處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻圖像處理領(lǐng)域，尤其是融合CorteX-A7的實時視頻超分辨率處理方法。

【背景技術(shù)】
[0002]目前，對大多數(shù)成像設(shè)備而言，其獲取的圖像分辨率還很低，而更換設(shè)備需要大量的物力和人力投入。同時在視頻圖像采集中，由于受成像設(shè)備精度或設(shè)備與目標(biāo)的距離、目標(biāo)的運動及噪聲等多種因素的影響，其得到的通常是具有噪聲、模糊和分辨率比較低的視頻圖像，卻很難獲得一幅理想分辨率圖像。有限的圖像分辨率會影響到系統(tǒng)的性能，如低分辨率圖像會降低系統(tǒng)的識別性能。這往往給目標(biāo)識別、身份辨認或刑事偵查等工作帶來困難，無法滿足實際的需求。因此，業(yè)內(nèi)迫切需要研究一種新的超分辨率技術(shù)，可以將同一場景下的若干幀低分辨率圖像通過信號處理的方法恢復(fù)為一幀高分辨率圖像，以降低設(shè)備的成本。
[0003]目前主流的超分辨率算法包括基于插值的算法和基于重建的方法。其中，基于插值的算法，具有較低的算法復(fù)雜度，但其沒有利用圖像的先驗信息，導(dǎo)致恢復(fù)的圖像過平滑。而基于重建的方法受限于低分辨率圖像的數(shù)量以及錯誤的配準(zhǔn)，適應(yīng)性較差。利用高斯馬爾可夫隨機場模型作為圖像的先驗信息可以改善這種情況。然而在低分辨率圖像的數(shù)量有限時，基于高斯馬爾可夫隨機場模型的超分辨率算法容易丟失重要的細節(jié)信息，失真率較高。此外，現(xiàn)有的目前的超分辨率算法仍局限在處理單圖像上，處理實時視頻流的技術(shù)尚未成熟。如果仍沿用現(xiàn)有的超分辨率算法來處理實時視頻流，會導(dǎo)致其處理速度較慢、處理成本較高和處理質(zhì)量較低。


【發(fā)明內(nèi)容】

[0004]為了解決上述技術(shù)問題，本發(fā)明的目的是:提供一種實時、失真率較低、處理速度較快、處理成本較低和質(zhì)量較高的，融合Cortex-A7的實時視頻超分辨率處理方法。
[0005]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
[0006]融合Cortex_A7的實時視頻超分辨率處理方法，包括:
[0007]A、進行視頻采樣，獲取低分辨率視頻幀并輸入到SOC片上系統(tǒng)中；
[0008]B、對低分辨率視頻幀依次進行復(fù)雜度處理、特征向量提取和樣本集訓(xùn)練，從而得到需要進行匹配的特征向量，所述樣本集采用高分辨率的高頻分量構(gòu)建而成；
[0009]C、根據(jù)需要進行匹配的特征向量，采用改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法并結(jié)合SOC片上系統(tǒng)的編解碼技術(shù)，對低分辨率視頻幀進行超分辨率處理，從而輸出高分辨率視頻幀流。
[0010]進一步，所述步驟C，其包括:
[0011]Cl、構(gòu)建具備主特征改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法;
[0012]C2、根據(jù)需要進行匹配的特征向量和構(gòu)建的超分辨率算法對低分辨率視頻幀進行超分辨率處理，從而輸出高分辨率視頻幀流。
[0013]進一步，所述步驟Cl，其包括:
[0014]Cl 1、建立一個過完備數(shù)據(jù)庫；
[0015]C12、計算輸入的低分辨率視頻圖像塊的稀疏表示系數(shù)；
[0016]C13、計算低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)；
[0017]C14、根據(jù)低分辨率視頻圖像塊的稀疏表示系數(shù)、稀疏編碼系數(shù)、過完備數(shù)據(jù)庫中的高分辨率圖像庫和低分辨率字典重建出高分辨率視頻圖像塊；
[0018]C15、采用聚類算法和主成分分析法提取視頻圖像塊集合，然后采用K-SVD算法對高、低分辨率圖像塊集合進行聯(lián)合訓(xùn)練；
[0019]C16、根據(jù)聯(lián)合訓(xùn)練的結(jié)果采用正交匹配追蹤法得到具備主特征改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法。
[0020]進一步，所述步驟C13，其具體為:
[0021]計算低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)，所述低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)的計算公式分別為:

【權(quán)利要求】
1.融合Cortex-A7的實時視頻超分辨率處理方法，其特征在于:包括: A、進行視頻采樣，獲取低分辨率視頻幀并輸入到SOC片上系統(tǒng)中； B、對低分辨率視頻幀依次進行復(fù)雜度處理、特征向量提取和樣本集訓(xùn)練，從而得到需要進行匹配的特征向量，所述樣本集采用高分辨率的高頻分量構(gòu)建而成； C、根據(jù)需要進行匹配的特征向量，采用改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法并結(jié)合SOC片上系統(tǒng)的編解碼技術(shù)，對低分辨率視頻幀進行超分辨率處理，從而輸出高分辨率視頻幀流。
2.根據(jù)權(quán)利要求1所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C，其包括: Cl、構(gòu)建具備主特征改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法； C2、根據(jù)需要進行匹配的特征向量和構(gòu)建的超分辨率算法對低分辨率視頻幀進行超分辨率處理，從而輸出高分辨率視頻幀流。
3.根據(jù)權(quán)利要求2所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟Cl，其包括: Ciu建立一個過完備數(shù)據(jù)庫； C12、計算輸入的低分辨率視頻圖像塊的稀疏表示系數(shù)； C13、計算低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)； C14、根據(jù)低分辨率視頻圖像塊的稀疏表示系數(shù)、稀疏編碼系數(shù)、過完備數(shù)據(jù)庫中的高分辨率圖像庫和低分辨率字典重建出高分辨率視頻圖像塊； C15、采用聚類算法和主成分分析法提取視頻圖像塊集合，然后采用K-SVD算法對高、低分辨率圖像塊集合進行聯(lián)合訓(xùn)練； C16、根據(jù)聯(lián)合訓(xùn)練的結(jié)果采用正交匹配追蹤法得到具備主特征改進的基于聚類字典自學(xué)習(xí)及特征稀疏表示的超分辨率算法。
4.根據(jù)權(quán)利要求3所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C13，其具體為: 計算低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)，所述低分辨率字典下的稀疏編碼系數(shù)和高分辨率字典下的稀疏編碼系數(shù)的計算公式分別為:
其中，I為低分辨率字典函數(shù)，#表示低分辨率圖像中的視頻流，JVfP為矩陣范數(shù)的給定參數(shù)
，表示經(jīng)過推導(dǎo)后理想的低分辨率字典函數(shù)約束項,ε是經(jīng)過特征處理后的復(fù)雜正則化參數(shù)，L為代替稀疏編碼的范數(shù)； Kh為高分辨率字典函數(shù)，碩表示高分辨率圖像中的視頻流，表示經(jīng)過推導(dǎo)后理想的高分辨率字典函數(shù)約束項，H為代替稀疏編碼的范數(shù)。
5.根據(jù)權(quán)利要求4所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C15，其具體為: 采用聚類算法和主成分分析法提取視頻圖像塊集合，然后采用K-SVD算法對高、低分辨率圖像塊集合進行聯(lián)合訓(xùn)練，從而得到聯(lián)合訓(xùn)練的結(jié)果數(shù)據(jù)，所述聯(lián)合訓(xùn)練的結(jié)果數(shù)據(jù){KH, Kl, δ，ω }為:
其中，N是高、低分辨率圖像塊聯(lián)合起來進行訓(xùn)練后得到的列向量，

為高低分辨率聯(lián)合字典，^和《2分別為通過訓(xùn)練后的高低分辨率視頻流的列向量的維數(shù)，δ =[δ 1； δ 2) δ 3, δ 4)……，δ 5]為編碼系數(shù)矩陣，
為解碼系數(shù)矩陣。
6.根據(jù)權(quán)利要求5所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C2，其包括: C21、將需要進行匹配的特征向量在字典數(shù)據(jù)庫中進行匹配，并判斷匹配是否成功，若是，則執(zhí)行步驟C23，反之，則執(zhí)行步驟C22 ； C22、采用改進的K值迭代算法對低分辨率視頻幀進行聚類字典自學(xué)習(xí)，然后執(zhí)行步驟C23 ； C23、根據(jù)約束項特征數(shù)系數(shù)，從過完備數(shù)據(jù)庫中找出高速訓(xùn)練字典庫，并融合SOC片上系統(tǒng)的視頻編解碼技術(shù)對低分辨率視頻幀進行優(yōu)化集成處理，從而輸出高品質(zhì)高分辨率視頻流。
7.根據(jù)權(quán)利要求6所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C22，其包括: C221、對已有的視頻幀進行訓(xùn)練樣本處理，從而得到初級聚類函數(shù)公式，所述初級聚類函數(shù)的表達式為:
其中，I為字典類型，C為初級聚類系數(shù)t力迭代次數(shù),η為常數(shù)系數(shù)，wvI為訓(xùn)練樣本的參考數(shù)據(jù)，?Νι - κ 10L為聚類差異系數(shù);C222、從每幀視頻圖像左上角的第一個像素點開始，每隔一個像素取一個視頻圖像塊，并對所取的視頻圖像塊采用LASSO算法求解初級聚類函數(shù)的最優(yōu)解#；515'^ ,所述初級聚類函數(shù)的最優(yōu)解的表達式為:
其中，▽為LASSO算子，；為超分辨率最優(yōu)集成系數(shù)，X的表達式為:
C223、對視頻圖像塊進行分類，得到K個聚類，然后從每個聚類中學(xué)習(xí)出一個子字典，從而得到最優(yōu)集成系數(shù)下的K個子字典。
8.根據(jù)權(quán)利要求7所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C23，其包括: C231、對初級聚類函數(shù)的最優(yōu)解sliV進行特征稀疏編碼均值約束處理，從而得到加入約束項特征數(shù)系數(shù)后的目標(biāo)函數(shù)Sf2，所述目標(biāo)函數(shù)占；的表達式為:

為表示枚和和特征向量距離的特征量； C232、計算聚類字典學(xué)習(xí)與稀疏編碼的優(yōu)化均值，所述優(yōu)化均值的計算公式為；
C233、對加入約束項特征數(shù)系數(shù)后的目標(biāo)函數(shù)Jf2和優(yōu)化均值A(chǔ)°f進行合并優(yōu)化處理，從而得到優(yōu)化集成目標(biāo)函數(shù)，所述優(yōu)化集成目標(biāo)函數(shù)Sf4的表達式為:
C234、根據(jù)優(yōu)化集成目標(biāo)函數(shù)對低分辨率視頻幀進行優(yōu)化集成處理，從而生成高分辨率視頻流并進行輸出。
9.根據(jù)權(quán)利要求8所述的融合CorteX-A7的實時視頻超分辨率處理方法，其特征在于:所述步驟C232，其包括: S1、采用零均值隨機變量對加入約束項特征數(shù)系數(shù)后的目標(biāo)函數(shù)3^2進行變形，從而得到變形后的目標(biāo)函數(shù)在G ,所述變形后的目標(biāo)函數(shù)Jf3為:
其中，δ。用于表示'||的—到ΣΨ_最+sm^l.52、根據(jù)變形后的目標(biāo)函數(shù)計算聚類字典學(xué)習(xí)與稀疏編碼的優(yōu)化均值Β
【文檔編號】G06T9/00GK104200498SQ201410406695
【公開日】2014年12月10日 申請日期:2014年8月18日 優(yōu)先權(quán)日:2014年8月18日
【發(fā)明者】蘇秉華, 唐佳林, 莊廣利 申請人:北京理工大學(xué)珠海學(xué)院