超分辨率圖像處理方法及其裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是涉及一種圖像處理方法及其裝置，且特別涉及一種超分辨率(super-resolut1n)圖像處理方法及其裝置。
【背景技術(shù)】
[0002]顯示設(shè)備在近年來日益進步，無論是手機、計算機或電視的屏幕尺寸越來越大，又因為網(wǎng)絡(luò)技術(shù)發(fā)展，瀏覽影像相關(guān)的需求也越來越大。由于一般影像數(shù)據(jù)量都不小，所以放大影像導(dǎo)致的計算量也隨之增加，伴隨的處理時間則相對增長。
[0003]目前常見的影像放大技術(shù)，可分為兩大分類，一種是基于數(shù)據(jù)庫的技術(shù)類別，另一種則是基于內(nèi)插法(interpolat1n)的技術(shù)類別?；跀?shù)據(jù)庫的技術(shù)類別通常需搜集大量的低分辨率影像，以及相對應(yīng)的高分辨率影像，并將這些影像數(shù)據(jù)設(shè)成數(shù)據(jù)庫；當(dāng)要提升某一張低分辨率的影像時，會先將所述低分辨率的影像切為多個區(qū)塊，并將每個區(qū)塊和數(shù)據(jù)庫中低分辨率的影像數(shù)據(jù)進行比對，當(dāng)其中一個區(qū)塊和數(shù)據(jù)庫其中一筆低分辨率影像數(shù)據(jù)最相近時，則將所述低分辨率影像數(shù)據(jù)對應(yīng)的高分辨率影像數(shù)據(jù)設(shè)至所述區(qū)塊。因此，基于數(shù)據(jù)庫的技術(shù)類別所需處理時間通常過長，且占的內(nèi)存空間也過大，不適合在有限的硬件上實現(xiàn)。
[0004]另一方面，基于內(nèi)插法的技術(shù)類別所需硬件資源則相對較低；現(xiàn)今基于內(nèi)插法的影像放大技術(shù)，通常是先將影像升取樣(upsampling)之后，再將放大后的影像進行內(nèi)插。然而，現(xiàn)今基于內(nèi)插法的技術(shù)雖可達到較快的處理速度，但卻無法達到穩(wěn)定的低失真率。
[0005]因此，在有限的硬件條件下，要使處理速度加快且維持一定的質(zhì)量，需要有更高效率的算法。

【發(fā)明內(nèi)容】

[0006]在下文中給出關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。
[0007]本發(fā)明提供一種關(guān)于圖像處理方法及其裝置，以減少放大影像導(dǎo)致的過長處理時間以及低的影像放大質(zhì)量。
[0008]本發(fā)明的一方面是有關(guān)一種圖像處理方法。圖像處理方法包括下列步驟:根據(jù)放大算法以η倍倍率放大輸入影像成第一影像；以η倍倍率縮減取樣輸入影像成第二影像；根據(jù)所述放大算法以η倍倍率放大第二影像成第三影像；將輸入影像減去第三影像成第一差值影像；根據(jù)所述放大算法以η倍倍率放大第一差值影像成第二差值影像；以及疊加第一影像及第二差值影像成輸出影像；其中，η為正整數(shù)。
[0009]在一實施例中，以所述放大算法放大第一差值影像成第二差值影像的步驟包括:根據(jù)色彩濾波矩陣排列第一差值影像至中間影像中；以及根據(jù)內(nèi)插算法內(nèi)插中間影像成第二差值影像，其中，中間影像及第二差值影像的尺寸為輸入影像的尺寸的η倍。
[0010]在又一實施例中，內(nèi)插算法為最近相鄰內(nèi)插法(nearest neighborinterpolat1n)、雙線性插值法(bilinear interpolat1n)、視覺平緩轉(zhuǎn)換內(nèi)插法(smoothhue transit1n interpolat1n)、邊緣檢測內(nèi)插法(edge sensing interpolat1n)、邊緣導(dǎo)向內(nèi)插法(edge directing interpolat1n)、拉普拉斯算子(Laplacian) 二階色彩相關(guān)性線性內(nèi)插法(Laplacian second-order interpolat1n)、以梯度變量為閾值基準內(nèi)插法(threshold-based variable number of gradient interpolat1n)、圖形識別內(nèi)插法(pattern recognit1n interpolat1n)或交互投影法(alternating project1n)。
[0011]在又一實施例中，色彩濾波矩陣為貝爾圖樣(Bayer Pattern)。
[0012]本發(fā)明的一方面是關(guān)于一種圖像處理裝置。圖像處理裝置包括第一放大模塊、校正模塊及輸出模塊。第一放大模塊根據(jù)放大算法以η倍倍率放大輸入影像成第一影像；校正模塊校正經(jīng)放大的第一影像，以η倍倍率縮減取樣輸入影像成第二影像，根據(jù)放大算法以η倍倍率放大第二影像成第二影像，將輸入影像減去第二影像成第一差值影像并根據(jù)放大算法以η倍倍率放大第一差值影像成第二差值影像；輸出模塊疊加第一影像及第二差值影像成輸出影像；其中，η為正整數(shù)。
[0013]在一實施例中，校正模塊包括縮減取樣單元、第一放大單元、差值單元及第二放大單元。縮減取樣單元以η倍倍率縮減取樣輸入影像成第二影像；第一放大單元根據(jù)放大算法以η倍倍率放大第二影像成第二影像；差值單兀將輸入影像減去第二影像成第一差值影像；第二放大單元根據(jù)放大算法以η倍倍率放大第一差值影像成第二差值影像。
[0014]在另一實施例中，第二放大單元包括排列組件及內(nèi)插組件。排列組件將第一差值影像以色彩濾波矩陣排列至中間影像中；以及內(nèi)插組件根據(jù)內(nèi)插算法內(nèi)插中間影像成第二差值影像；中間影像及差值影像的尺寸為輸入影像的尺寸的η倍。
[0015]在又一實施例中，第一放大模塊包括排列單元及內(nèi)插單元。排列單元將輸入影像以色彩濾波矩陣排列至中間影像中；內(nèi)插單元根據(jù)內(nèi)插算法內(nèi)插中間影像成第一影像，其中中間影像及第一影像的尺寸為輸入影像的η倍。
[0016]本發(fā)明的一方面是關(guān)于一種圖像處理裝置。圖像處理裝置包括第一放大模塊、縮減取樣模塊、第二放大模塊、差值模塊、第三放大模塊及輸出模塊。第一放大模塊根據(jù)放大算法以η倍倍率放大輸入影像成第一影像；縮減取樣模塊以η倍倍率縮減取樣輸入影像成第二影像；第二放大模塊根據(jù)放大算法以η倍倍率放大第二影像成第三影像；差值模塊將輸入影像減去第三影像成第一差值影像，第三放大模塊根據(jù)放大算法以η倍倍率放大第一差值影像成第二差值影像；以及輸出模塊疊加第二影像及第二差值影像成輸出影像；其中，η為正整數(shù)。
[0017]在另一實施例中，第三放大模塊包括排列模塊及內(nèi)插模塊。排列模塊將第一差值影像以色彩濾波矩陣排列至中間影像中；以及內(nèi)插模塊根據(jù)內(nèi)插算法內(nèi)插中間影像成第二差值影像；其中，中間影像及第二差值影像的尺寸為輸入影像的尺寸的η倍。
[0018]以下將以實施方式對上述的說明作詳細的描述，并對本發(fā)明的技術(shù)方案提供更進一步的解釋。
【附圖說明】
[0019]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0020]為讓本發(fā)明的上述和其他目的、特征、優(yōu)點與實施例能更明顯易懂，所附圖式的說明如下:
[0021]圖1是依據(jù)本發(fā)明一實施例所繪示的一種圖像處理裝置的方框示意圖；
[0022]圖2是依據(jù)本發(fā)明一實施例所繪示的一種圖像處理裝置產(chǎn)生的影像示意圖；
[0023]圖3是依據(jù)本發(fā)明一實施例所繪示的縮減取樣及根據(jù)貝爾圖樣排列像素的示意圖；
[0024]圖4是依據(jù)本發(fā)明一實施例所繪示的相鄰內(nèi)插法的示意圖；
[0025]圖5是依據(jù)本發(fā)明一實施例所繪示的雙線性插值法的示意圖；以及
[0026]圖6是依據(jù)本發(fā)明一實施例所繪示的超分辨率圖像處理方法的流程圖。
[0027]附圖標(biāo)記:
[0028]100:圖像處理裝置 212:第一影像
[0029]110:放大模塊221:第二影像
[0030]111:排列單元222:中間影像
[0031]112:內(nèi)插單元223:第三影像
[0032]120:校正模塊224:第一差值影像
[0033]121:縮減取樣單元 225:中間影像
[0034]122:排列組件226:第二差值影像
[0035]123:內(nèi)插組件Rij、Gij、Bij:像素
[0036]124:差值單元:像素
[0037]125:排列組件:像素
[0038]126:內(nèi)插組件301?303:像素資料
[0039]127:放大單元311?313:像素資料
[0040]128:放大單元321?323:像素資料
[0041]130:輸出模塊401?403:像素資料
[0042]201:輸入影像501?503:像素資料
[0043]202:輸出影像S601?S607:步驟
[0044]211:中間影像
【具體實施方式】
[0045]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。在本發(fā)明的一個附圖或一種實施方式中描述的元素和特征可以與一個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描