一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，屬于圖像處理技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 圖像配準(zhǔn)是遙感領(lǐng)域中的一個(gè)根本性和挑戰(zhàn)性問(wèn)題，也是很多廣泛應(yīng)用（包含地 形重建、環(huán)境監(jiān)測(cè)、變化探測(cè)、圖像鑲嵌、圖像融合及地圖更新等）中的一個(gè)先決條件。
[0003] 圖像配準(zhǔn)旨在建立不同時(shí)間不同視角或通過(guò)不同探測(cè)器獲取同一場(chǎng)景的兩幅圖 像之間像素的對(duì)應(yīng)關(guān)系。配準(zhǔn)問(wèn)題可依據(jù)具體應(yīng)用和數(shù)據(jù)形式分為剛性或非剛性。剛性配 準(zhǔn)（僅涉及少量參數(shù)）相對(duì)容易，且已得到了廣泛研究。相比而言，非剛性配準(zhǔn)較為困難， 由于潛在非剛性變換模型通常無(wú)法事先獲知且較為復(fù)雜，難以建模。盡管如此，非剛性配準(zhǔn) 對(duì)遙感圖像而言仍非常重要，因?yàn)檫b感圖像通常存在一些因地貌變化或成像視角變換導(dǎo)致 的局部非剛性形變，而這些形變無(wú)法基于簡(jiǎn)單剛性模型實(shí)現(xiàn)"精確配準(zhǔn)"。
[0004] 一種早期廣泛使用的非剛性圖像配準(zhǔn)算法為光流法。其直接通過(guò)最小化像素間灰 度的差異來(lái)計(jì)算一個(gè)全局稠密的位移場(chǎng)，通常適用于對(duì)兩幅非常相似的圖像進(jìn)行配準(zhǔn)，例 如視頻序列中的相鄰幀圖像。光流法的典型假設(shè)包含光照恒定，以及像素位移場(chǎng)應(yīng)具有分 段光滑性。然而，由于光照變化、視角變換和噪聲干擾，像素灰度值往往變得不太可靠。近 年來(lái)，Liu等人提出了可容忍高度類內(nèi)變化的SIFT流配準(zhǔn)算法。與光流法匹配像素灰度值 不同的是，SIFT流算法匹配圖像中稠密采樣像素的SIFT描述子。該算法在復(fù)雜場(chǎng)景情況 下展現(xiàn)出令人滿意的配準(zhǔn)效果，但對(duì)大尺度縮放和旋轉(zhuǎn)的魯棒性依然較差。
[0005] 然而，各種局部魯棒特征的涌現(xiàn)與發(fā)展為圖像配準(zhǔn)帶來(lái)了新的解決途徑。這類方 法通過(guò)匹配從圖像中提取出的局部特征信息，估計(jì)稀疏特征位置之間的空間變換函數(shù)并用 其來(lái)擬合圖像對(duì)之間的真實(shí)幾何變換關(guān)系，從而實(shí)現(xiàn)對(duì)原始圖像的配準(zhǔn)。這類方法中采用 的特征可由不同層次的簡(jiǎn)單幾何實(shí)體來(lái)描述，包括點(diǎn)、線段、輪廓和區(qū)域等。通常，較高層次 的特征很難被準(zhǔn)確地提取；點(diǎn)特征是最簡(jiǎn)單的特征形式，同時(shí)也是最常見(jiàn)的特征形式，由于 高層次特征例如線和輪廓可被描述為點(diǎn)的集合。從這層意義上來(lái)說(shuō)，配準(zhǔn)問(wèn)題可簡(jiǎn)化為找 出兩個(gè)提取的特征點(diǎn)集之間的對(duì)應(yīng)關(guān)系及潛在的空間變換。這種基于特征的方法對(duì)典型表 觀變化和場(chǎng)景位移具有較強(qiáng)的魯棒性，且在正確實(shí)施的情況下，擁有更快的速度。他們?cè)趧?性場(chǎng)景（例如：在圖像拼接領(lǐng)域）和輕度非剛性場(chǎng)景（例如：在醫(yī)學(xué)成像領(lǐng)域）匹配中取 得了很大成就，但在處理高度非剛性（例如：在地形重建領(lǐng)域）情形時(shí)無(wú)法取得滿意效果。 其本質(zhì)在于這里配準(zhǔn)是通過(guò)對(duì)稀疏特征匹配進(jìn)行插值得到，而不是通過(guò)計(jì)算所有像素之間 的對(duì)應(yīng)關(guān)系得到，當(dāng)真實(shí)匹配為非剛性且變換模型未知時(shí)就會(huì)帶來(lái)問(wèn)題。

【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種稀疏和稠密特征匹配結(jié)合的圖像配 準(zhǔn)方法，能夠針對(duì)包含未知非剛性運(yùn)動(dòng)的遙感圖像，獲得精確的像素間對(duì)比的匹配。
[0007] 本發(fā)明為解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：提供了一種稀疏和稠密特征匹配 結(jié)合的圖像配準(zhǔn)方法，包括以下步驟：
[0008] (1)建立基于局部線性約束的稀疏特征匹配能量函數(shù)：
[0009] (1-1)采用特征探測(cè)法推斷得到待配準(zhǔn)的兩個(gè)圖像的假定匹配集 ，\與y。分別表示待配準(zhǔn)的兩幅圖像中特征點(diǎn)空間位置的二位列向量；所 述假定匹配集S包含錯(cuò)誤匹配和正確匹配，其中正確匹配根據(jù)帶匹配的兩個(gè)圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個(gè)正確的匹配，則yn=Z(xn)是一個(gè)正確的匹配；
[0010](1-2)初始位置加位移函數(shù)v將定義變換Z:z(X) =x+v(X)，其中V在函 數(shù)空間Η中模擬，所述函數(shù)空間Η為向量值的再生核希爾伯特空間，通過(guò)矩陣值的核 r:R2XR2-R2X2與對(duì)角線高斯核' ·/定義得到，其中R為實(shí)數(shù)空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實(shí)數(shù)空間中兩個(gè)特征點(diǎn)的空間位置，β為高斯窗 參數(shù)，參數(shù)β為設(shè)置值，其范圍為〇.〇1~1，則變換Ζ通過(guò)以下形式表示：
[0011]
>
[0012] 其中，X表示任意一個(gè)圖像點(diǎn)的空間位置，(^表示一個(gè)2Χ1維待求解的向量系數(shù)；
[0013] (1-3)利用對(duì)角元素{ρη}組成的對(duì)角矩陣Ρ指出匹配可信度，對(duì)角矩陣Ρ中的任 意元素pne[0, 1]為〇到1之間的實(shí)數(shù)，當(dāng)Pn= 1時(shí)表示（Xn，yn)為一個(gè)正確的匹配，當(dāng)Pn =0時(shí)表示（xn，yn)為一個(gè)錯(cuò)誤的匹配；
[0014] (1-4)創(chuàng)建大小為NXN的權(quán)值矩陣W，且使當(dāng)Xj不屬于X,的Q鄰域時(shí)，W中的元 素0,X滿Q鄰域指歐氏距離最近的Q個(gè)元素；在約束
F通過(guò)代價(jià)函
〖小化基于局部線性約束的重構(gòu)誤差，并采用最小二乘求解 出w，得到以下能量函數(shù)：
[0015]
[0016] 其中，參數(shù)1\表示確定性退火的溫度，該參數(shù)用于結(jié)合退火速率參數(shù)r用于逐步 求解能量函數(shù)，η表示對(duì)錯(cuò)誤匹配的懲罰，λ表示正則化參數(shù)基于局部線性約束的正則化 參數(shù)，參數(shù)?\、η和λ均為設(shè)置值，！\初始值的范圍為0. 05~5,η的范圍為〇. 01~1， λ的范圍為100~10000;
[0017] (2)建立基于SIFT流的能量函數(shù)：
[0018]用m表示圖像像素的網(wǎng)格坐標(biāo)，u(m)表示位移向量，第一幅圖像中的點(diǎn)m對(duì)應(yīng)第 二幅圖像中的點(diǎn)m+u(m)，Si(X)和s2(x)分別為兩幅圖像逐像素采樣的SIFT特征，集合e包 含四鄰域系統(tǒng)中所有空間鄰域，則基于稠密像素SIFT配準(zhǔn)的能量函數(shù)為：
[0019]
[0020] 其中，t和d為兩個(gè)截?cái)郘1范數(shù)的閾值，γ表示保持位移場(chǎng)平滑性的權(quán)重，α表 示保持位移場(chǎng)連續(xù)性的權(quán)重，m和q表示圖像像素的網(wǎng)格坐標(biāo)，dOn)或uVq)表示對(duì)應(yīng)位 移向量的第i個(gè)分量，這里t設(shè)為sjx)與s2(x)差值的中位數(shù)；d、γ和α均為設(shè)置值，d 的范圍為4~400，γ的范圍為0. 05~0. 5，α的范圍為〇. 2~20;
[0021] (3)將基于局部線性約束的稀疏特征匹配能量函數(shù)和基于SIFT的能量函數(shù)整合， 得到稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)：
[0022]
[0023] 其中，L表示評(píng)價(jià)像素的總數(shù)，δ表示設(shè)置的控制稀疏和稠密匹配平衡的正數(shù)參 數(shù)，ε表示所有四鄰域的集合；
[0024] (4)解答能量函數(shù)，執(zhí)行圖像配準(zhǔn)：
[0025] (4-1)首先提取稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)ε3(Ρ，V，u)中與ν 相關(guān)的項(xiàng)，得到以下能量函數(shù)：
[0026] " V ，-嘆 ￡ "
[0027]其中，X = (χ1; · · ·，xN)T，Y = (y1; · · ·，yN)T，K e ^以且尤辦=e-難-·νΙ，. C表示格拉姆矩陣，為位移函數(shù)ν的系數(shù)矩陣，VeRW且％ = = ^ :，U= (Ul，. . .，ι〇τ表示尺寸為L(zhǎng)X2的流場(chǎng)，為弗羅貝尼斯范數(shù)；
[0028] (4-2)通過(guò)確定性退火步驟解答位移函數(shù)ν:
[0029](4-2-1)初始化參數(shù)1\、r和λ，設(shè)置迭代次數(shù)；
[0030] (4-2-2)初始化Ρ=I，C= 0;
[0031] (4-2-3)通過(guò)計(jì)算式（5)的極值完成用當(dāng)前位移函數(shù)ν更新匹配可信度，得到匹配 可信度的閉合形式為：
[0032]
[0033] 通過(guò)公式（6)更新ρη;
[0034] (4-2-4)通過(guò)以下線性方程式更新C:
[0035]
[0036](4-2-5)重復(fù)步驟（4-2-3)和（4-2-4)直到...，結(jié)束交替更新；
[0037] (4-2-6)減少1\和λ，若未達(dá)到預(yù)設(shè)的迭代次數(shù)或能量函數(shù)ε4(P，C)未收斂，則 返回步驟（4-2-3);否則進(jìn)入步驟（4-2-7);
[0038] (4-2-7)結(jié)束確定性退火步驟；
[0039] (4-4)提取稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)e3(P，v，U)中與u相關(guān) 的項(xiàng)，得到以下能量函數(shù)：
[0040]
[0041] (4-5)利用SIFT流算法修改公式（8)中從Σmγ| |u(m) | | 濟(jì)Σmγ| |ν(m)-u(m) | |2 的小位移項(xiàng)以解答u;
[0042] (4-6)通過(guò)u執(zhí)行圖像配準(zhǔn)。
[0043] 步驟（1-2)所述的高斯窗參數(shù)β設(shè)置為0· 1。
[0044]步驟（1-4)中，?\= 0· 5,η= 〇· 1，λ= 1〇〇〇。
[0045]步驟（2)中，d= 40，γ= 0· 005，α= 2。
[0046] 本發(fā)明基于其技術(shù)方案所具有的有益效果在于：
[0047](1)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，針對(duì)遙感圖像存在地形 起伏導(dǎo)致非剛性形變的問(wèn)題，對(duì)點(diǎn)匹配進(jìn)行局部線性約束，能夠在圖像變換后保護(hù)特征集 中的局部結(jié)構(gòu)，從而提高圖像配準(zhǔn)精度；
[0048] (2)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，將稀疏和稠密特征匹配 相結(jié)合，得到一種新的數(shù)學(xué)模型，新模型包含兩個(gè)變量：非剛性幾何變換和離散位移流場(chǎng)， 前者適用于稀疏匹配流，我們引入了局部線性約束以調(diào)整變換，使得該問(wèn)題是適定的，后者 適用于稠密匹配流，采取與SIFT流相似的模型，同時(shí)采用置信傳播算法優(yōu)化求解；
[0049] (3)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，在理想情況下，這兩個(gè)變 量是一致的，但同時(shí)求解這兩個(gè)變量非常困難，我們采用迭代的策略固定一個(gè)變量求解另 一變量，使得求解變得相對(duì)容易，并且同時(shí)可以避免陷入不理想的局部最優(yōu)解；
[0050] (4)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，同時(shí)具有基于稀疏特征 匹配的高效的優(yōu)點(diǎn)，以及基于稠密特征匹配的精確的優(yōu)點(diǎn)。
【具體實(shí)施方式】
[0051] 下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0052] 本發(fā)明提供了一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，包括以下步驟：
[0053] (1)建立基于局部線性約束的稀疏特征匹配能量函數(shù)：
[0054] (1-1)采用特征探測(cè)法推斷得到待配準(zhǔn)的兩個(gè)圖像的假定匹配集 $ :?(?，")匕，\與yn分別表示待配準(zhǔn)的兩幅圖像中特征點(diǎn)空間位置的二位列向量；所 述假定匹配集S包含錯(cuò)誤匹配和正確匹配，其中正確匹配根據(jù)帶匹配的兩個(gè)圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個(gè)正確的匹配，則yn=Z(xn)是一個(gè)正確的匹配；
[0055](1-2)初始位置加位移函數(shù)v將定義變換Z: Z(X)=χ+ν(X)，其中v在函 數(shù)空間Η中模擬，所述函數(shù)空間Η為向量值的再生核希爾伯特空間，通過(guò)矩陣值的核 Γ:R2XR2-R2X2與對(duì)角線高斯核r(.W,) =e"m·/定義得到，其中R為實(shí)數(shù)空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實(shí)數(shù)空間中兩個(gè)特征點(diǎn)的空間位置，β為高斯窗 參數(shù)，參數(shù)β為設(shè)置值，其范圍為0.01~1，則變換Ζ通過(guò)以下形式表示：
[0056]
[0057] 其中，X表示任意一個(gè)圖像點(diǎn)的