專利名稱：一種基于特征向量的快速高精度魯棒性匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像特征點匹配，特別是一種基于特征向量的快速高精度魯棒性匹配方法，屬于數(shù)字圖像處理領(lǐng)域。
背景技術(shù)：
由于環(huán)境的變化、目標運動的影響和傳感器的缺陷，拍攝的圖像不僅受噪聲的影響，而且存在嚴重的灰度失真和幾何畸變。因此，匹配方法如何達到精度高、匹配正確率高、 速度快、魯棒性和抗干擾性強以及并行實現(xiàn)，成為追求的目標。圖像匹配按照提取特征的層次一般可分為基于灰度的圖像匹配、基于特征的圖像匹配和基于理解與解釋的圖像匹配三大類。基于灰度的匹配方法，思路簡單，易于實現(xiàn)；其缺點是過分依賴圖像的灰度信息，一旦遇到信息量不足或存在較大變形的圖像，匹配則難免失敗?；趫D像理解和解釋的圖像匹配是最高層次的圖像匹配，這類方法通過圖像中目標的結(jié)構(gòu)與語義描述達到匹配的目的。它不僅可以自動識別相應(yīng)的像點，自動識別目標的性質(zhì)，而且能夠描述目標間的相互關(guān)系，理論上具有極高的準確性和可靠性。但是該技術(shù)涉及到計算機視覺、模式識別和人工智能等諸多領(lǐng)域，不僅僅依賴于這些領(lǐng)域理論上的突破， 而且有待于高速并行處理計算機的發(fā)展，因此到目前為止該類方法還沒有取得顯著的進展?；谔卣?點、線、面等低級特征)的匹配方法恰恰能有效地克服基于灰度的匹配方法受噪聲、灰度變化及各種幾何變形影響的不足；此外，用特征代替原圖像，大大壓縮了數(shù)據(jù)量，再采用一些適當?shù)钠ヅ渌阉鞑呗?，可大大地加快匹配速度，滿足多種圖像匹配的應(yīng)用目的；而且基于特征匹配的結(jié)果還可以進一步被利用于物體的識別和重建，比灰度匹配具有更廣闊的應(yīng)用前景。因此多年來，國內(nèi)外眾多研究工作者都致力于基于特征的圖像匹配方法的研究。特征選擇和提取是基于特征的匹配方法的關(guān)鍵內(nèi)容，只有選擇合適的特征基元和好的特征提取方法才能保證匹配結(jié)果的準確性。圖像的低級特征包括點特征、線特征及面特征，線、面特征提取過程較復(fù)雜，必然耗時較多，點特征是圖像中最常見的一種特征，易于表示和操作，并且也反映圖像的基本特征，因此基于點特征提取的匹配技術(shù)獲得了廣泛的研究與應(yīng)用。特征點提取是許多圖像分析過程中的重要步驟，也是數(shù)字攝影測量的關(guān)鍵技術(shù)之一。它廣泛應(yīng)用于目標識別、圖像分割、三維重建、圖像拼接等眾多方面，一直是研究人員關(guān)注的焦點。特征點的本質(zhì)問題可以歸結(jié)為，在抵抗一定圖像畸變的情況下，保證特征點的正確提取和匹配。然而，由于天氣、陽光、遮擋以及傳感器位置變化等因素導(dǎo)致圖像發(fā)生了各種幾何變形和灰度變化，穩(wěn)定的特征點提取變得困難。因此研究特征點提取及其在圖像匹配中的應(yīng)用具有重要的理論意義和實用價值。本發(fā)明在深入研究特征點提取技術(shù)后，選擇可靠性強、重復(fù)率高的特征點提取算子，并以此為基礎(chǔ)研究適應(yīng)性好的特征點匹配方法?；谔卣鞯钠ヅ浞椒ù嬖谝欢ǖ膯栴}一是特征匹配的精度不高；二是基于單像的特征提取不一定能將同名特征同時提取出來，即使被提取出來，也可能被描述成不同的類型；三是缺少完美的匹配算法，匹配成功的特征往往只占總特征數(shù)的一小部分，特征稀少的后果是直接造成內(nèi)插后的表面失真或根本無法內(nèi)插，這在一定程度上限制了特征匹配法在攝影測量中的應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種基于特征向量的高精度魯棒性匹配方法。 該方法能夠在較少的時間內(nèi)，找到兩幅圖像精確地匹配對，并將匹配特征點的位置精確到亞像素級，同時保證尋找匹配點對的魯棒性。本發(fā)明采用的技術(shù)方案為一種基于特征向量的高精度魯棒性匹配方法，其特征在于實現(xiàn)步驟如下(1)分別對兩幅待匹配的圖片進行SIFT特征點的提取，并對每個提取的特征點計算其特征向量，獲得兩個待匹配的特征點集合A、B，每個點對應(yīng)一個1 維的特征向量。(2)在步驟(1)獲取兩幅圖像的特征點后，使用表面擬合技術(shù)使所提取的特征點的位置精確到亞像素級。(3)通過步驟(1)和步驟( 得到兩個特征向量的集合后，利用PCA主成分分析法對特征向量進行降維操作，使得后續(xù)的匹配過程更加的快速。(4)在步驟C3)獲取兩幅圖像精確的特征點及特征向量后，利用Kd-tree對兩個待匹配的特征點集進行簡單的匹配，對于集合A中的每個點在集合B中尋找特征向量間歐氏距離最近的特征點。(5)在步驟(4)得到一系列匹配點對以后，用MLESAC(Maximum likelihood estimation sample consensus)算法對該匹配點對的集合進行篩選，去除可能的誤匹配特征點，保證匹配的精確性和魯棒性。(6)將得到的精確匹配點對在兩幅匹配圖中顯示出來，并將點對連接，得到最終的匹配效果圖。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于首先，本發(fā)明由于利用了發(fā)明內(nèi)容中步驟 (1) (2)所述的方法，對兩幅待匹配的圖像進行特征點及特征向量的提取，該方法能夠提取更多的特征信息，對光照、尺度等變換有著很高的魯棒性，其次利用表面擬合技術(shù)使特征點的位置精確到亞像素級。本發(fā)明由于利用步驟(3)的降維技術(shù)，使得特征向量只保留特征明顯的數(shù)據(jù)，大大加快了其后的特征點的匹配過程。另外本發(fā)明由于利用步驟(4) (5) (6) 的匹配篩選技術(shù)，對特征點進行了精確的篩選，保證了匹配的精確性和魯棒性。


圖1為本發(fā)明的方法流程圖；圖2、圖3為輸入的待匹配的兩幅圖像；圖4為計算所得的圖像匹配示意圖；圖5為輸入的待匹配的兩幅圖像；圖6為計算所得的圖像匹配示意圖。
具體實施例方式步驟1利用SIFTGcale Invariant Feature Transform)特征提取算法對待匹配的圖像進行特征點提取并計算SIFT特征向量。步驟1. 1對一個輸入圖像I (X，y)，建立一個圖像金字塔，然后對每級圖像用高斯濾波對圖像進行卷積操作。卷積公式如下L(x, y, kS) = G(x, y,kS) /(Λ y)其中G(x，y，k δ )是標準高斯方程，其中k δ表示標準偏差維度，L(x, y, k δ )則是濾后的圖像。首先根據(jù)不同的k值，I^lc2，. . .，kn，生成一系列相對應(yīng)的L1, L2,...，Ln濾波圖像；步驟1. 2根據(jù)生成的一系列的濾波圖像L1, L2, ... , Ln,生成濾波差分圖像D，其定義如下。D (X，y，δ) =L (χ, y，Iii δ ) -L (χ, y, kj δ )步驟1.3對每一個圖像中的點，在這一系列的濾波差分圖像中，首先橫向比較它周圍的8個像素點看這個點是否是極值，然后在縱向的比較看這個點是否是在對應(yīng)位置的，判斷在所有相鄰濾波差分圖像中此點是否是極值。如果兩個條件都滿足，此點作為特征點輸出。步驟2在對待匹配圖像進行特征點提取并計算特征向量的過程中，為了提高特征點提取的運行速度，在特征點過多的情況下，我們采用了均勻取點的方法。首先將圖像均勻的分割成若干個nXn的小網(wǎng)格，在整個圖像上形成一個網(wǎng)狀結(jié)構(gòu)，在每一個ηΧη的小網(wǎng)格里提取到的特征點的個數(shù)不能超過一個，這樣就可以限制所選取的特征點的密集度，從而使選取的特征點在征得圖像區(qū)域內(nèi)相對均勻。當增大η的值時， 用來分隔圖像的小網(wǎng)格面積會增大，網(wǎng)格的數(shù)量會減少，此時選取的特征點的密集度相對稀疏，選取的特征點的總數(shù)會有所減少。相反，若小網(wǎng)格寬度η的值減小，則分割整幅圖像的網(wǎng)格數(shù)目就會增大，從而就會增加選取的特征點密集度，增大特征點的數(shù)量。步驟3使用表面擬合技術(shù)使所提取的特征點的位置精確到亞像素級。利用提取出來的特征點及其周圍的點的灰度信息(intensity)擬合一個表面 (surface)，然后在這個擬合的表面尋找極值，這個找到的極值的位置便可作為更準確的特征點的位置。假設(shè)對于圖像中的點0^，7)，對應(yīng)的灰度值是1(1，7)，需要擬合(fit) 一個表面方程ζ (x, y) = ax2+by2+cxy+dx+ey+f此方程共有a，b，c, d，e, f五個未知參數(shù)，可以用(x，y)點，及其周圍點來確定這些未知參數(shù)。然后找出這個表面的極值，確定其具體的位置，這就是特征點的準確位置。步驟3. 1首先以檢測出的特征點為中心考察周圍的3*3的9個點，計算其角點反應(yīng)值(corner response)。方法如下
r . 、 det(M ) A1A7f(x,y) = + / = ' 2.
tr (Μ ) A1 + A2其中，f(x，y)即為點(x，y)處的角點反應(yīng)值，M是原圖像在(x，y)處的自相關(guān)矩 P車(matrix of auto-correlation)， λ 1, λ 2 ^ M 白勺胃f 牛寺 Ε Ι。
設(shè)其角點反應(yīng)值分別為fO，…，f8。這里應(yīng)用二次曲線來擬合表〖ζ (x, y) = ax2+by2+cxy+dx+ey+fζ (χ, y)即為點(χ, y)處的角點反應(yīng)值，得到超定方程Ax = B
權(quán)利要求
1.一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于實現(xiàn)步驟如下(1)分別對兩幅待匹配的圖像進行SIFT特征點的提取，并對每個提取的特征點計算其特征向量，對應(yīng)所述兩幅待匹配的圖像獲得兩個待匹配的特征點集合A、B，所述每個提取的特征點對應(yīng)一個1 維的特征向量，從而得到兩個特征向量的集合；(2)在步驟(1)獲取兩幅圖像的特征點后，使用表面擬合技術(shù)使所提取的特征點的位置精確到亞像素級；(3)通過步驟(1)和步驟( 得到兩個特征向量的集合后，利用PCA主成分分析法對特征向量進行降維操作；(4)在步驟(3)獲取兩幅圖像精確的特征點及特征向量后，利用Kd-tree對兩組待匹配的特征點集進行簡單的匹配，對于集合A中的每個點在集合B中尋找特征向量間歐氏距離最近的特征點；(5)在步驟(4)得到一系列匹配點對以后，用MLESAC(Maximumlikelihood estimation sample consensus)算法對該匹配點對的集合進行篩選，去除可能的誤匹配特征點，保證匹配的精確性和魯棒性；(6)將得到的精確匹配點對在兩幅匹配圖中顯示出來，并將點對連接，得到最終的匹配效果圖。
2.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟(1)對待匹配圖像進行特征點提取并計算特征向量的過程如下(1. 1)對一個輸入圖像I (X，y)，建立一個圖像金字塔，然后對每級圖像用高斯濾波對圖像進行卷積操作；卷積公式如下 L{x,y,k5) = G{x,y,k5) I{^y)其中G(x，y，k δ )是標準高斯方程，其中k δ表示標準偏差維度，L(x，y，k δ )則是濾后的圖像；首先根據(jù)不同的k值，ki; k2, . . . , kn，生成一系列相對應(yīng)的L1, L2, ... , Ln濾波圖像；(1. 2)根據(jù)生成的一系列的濾波圖像L1, L2,. . .，Ln，每兩幅濾波圖像之間生成濾波差分圖像D，其定義如下D(x, y, δ ) = L(χ, y, Iii δ )-L(χ, y, kj δ )(1.3)在這一系列的濾波差分圖像中，對于圖像中的每一個點，首先橫向比較圖像中的每一個點周圍的8個像素點看這個點是否是極值，然后在縱向比較看這個點是否是上下相鄰濾波差分圖像中對應(yīng)位置的9個像素點的極值點；如果該點在橫向、縱向都是極值點則此點作為特征點輸出。
3.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟(1)對待匹配圖像進行特征點提取并計算特征向量的過程采用均勻取點的方法，具體過程如下首先將圖像均勻的分割成若干個nXn的小網(wǎng)格，在每一個ηΧη的小網(wǎng)格里提取到的特征點的個數(shù)不超過一個。
4.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟( 使用表面擬合技術(shù)使所提取的特征點的位置精確到亞像素級的過程如下設(shè)其角點反應(yīng)值分別為f0，…，f8。這里應(yīng)用二次曲線來擬合表〖 z (x, y) = ax2+by2+cxy+dx+ey+fζ (χ, y)即為點(χ, y)處的角點反應(yīng)值，得到超定方程Ax = B
5.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟(3)利用PCA對特征向量進行降維操作的方法如下對于每一個關(guān)鍵點，選取一個以關(guān)鍵點為中心的41*41像素的區(qū)域，計算垂直和水平梯度，形成投影矩陣；然后計算投影矩陣的協(xié)方差矩陣的特征值和特征向量，根據(jù)經(jīng)驗設(shè)定值選取前η個特征向量；最后與關(guān)鍵點周圍提取的像斑旋轉(zhuǎn)到其主方向，計算水平與垂直梯度，形成梯度向量與前一步得到的投影矩陣相乘生成一個大小為η的PCA-SIFT算子。
6.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟(4)尋找兩個特征點集A和B中特征向量間歐氏距離最近的特征點對的方法如下首先以特征點集A的1 維特征向量做一棵搜索樹，然后對于特征點集B中的每個特征點，尋找與搜索樹中結(jié)點間特征向量的歐式距離最近的特征點，以所述歐式距離最近的特征點作為與B中特征點對應(yīng)的匹配點。
7.根據(jù)權(quán)利要求1所述的一種基于特征向量的快速高精度魯棒性匹配方法，其特征在于所述步驟(5)對步驟(4)得到的初步匹配點對的篩選過程如下利用RANSAC算法的思想，首先選取七個點先來估算兩幅圖像之間的幾何關(guān)系，然后在用剩余的點來檢驗所述估算結(jié)果，即有多少點滿足這個幾何關(guān)系；不斷迭代直到找出最好的估算結(jié)果，即找出一個根據(jù)此匹配計算出來的幾何關(guān)系能夠讓最多的點滿足此關(guān)系，從而找到了特征點之間的匹配關(guān)系。
全文摘要
一種基于特征向量的快速高精度魯棒性匹配方法。由于環(huán)境的變化、目標運動的影響和傳感器的缺陷，拍攝的圖像不僅受噪聲的影響，而且存在嚴重的灰度失真和幾何畸變。因此，匹配方法如何達到精度高、匹配正確率高、速度快、魯棒性和抗干擾性強以及并行實現(xiàn)，成為追求的目標。本發(fā)明提出了一種亞像素級的快速高精度魯棒性匹配。首先對待處理的兩幅圖片分別提取SIFT特征向量，并將其進行PCA降維處理，然后利用Kd-tree對兩個特征向量集進行匹配，接著利用RANSAC算法對得到的匹配點對進行篩選，并通過表面擬合技術(shù)使匹配達到亞像素級，從而得到高精度魯棒性的特征點對。此外本發(fā)明還使用了均勻取點方法來提高匹配速度。通過本發(fā)明得到的圖像匹配結(jié)果有著很高的匹配精度和較快的運行速度，實驗效果表現(xiàn)優(yōu)異。
文檔編號G06K9/46GK102169581SQ20111009666
公開日2011年8月31日 申請日期2011年4月18日 優(yōu)先權(quán)日2011年4月18日
發(fā)明者百曉, 趙猛 申請人:北京航空航天大學(xué)