基于nsst的可見光與紅外圖像融合方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于NSST的可見光與紅外圖像融合方法及系統(tǒng)，包括輸入可見光和紅外圖像并進(jìn)行NSST變換，分別得到可見光圖像和紅外圖像的子帶系數(shù)，所述的子帶系數(shù)包括低頻子帶系數(shù)和高頻子帶系數(shù)；求低頻子帶系數(shù)的鄰域平均能量，計(jì)算各子區(qū)域的區(qū)域能量特征值，采用基于區(qū)域能量特征值的加權(quán)策略計(jì)算融合圖像的低頻子帶系數(shù)；采用基于四階相關(guān)系數(shù)的匹配策略計(jì)算融合圖像的高頻子帶系數(shù)；進(jìn)行NSST反變換，得到融合圖像。本發(fā)明能夠更好地保留圖像邊緣和紋理等細(xì)節(jié)信息，有效地綜合紅外圖像的目標(biāo)信息與可見光圖像的細(xì)節(jié)信息。
【專利說明】基于NSST的可見光與紅外圖像融合方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理數(shù)據(jù)融合【技術(shù)領(lǐng)域】，設(shè)計(jì)一種基于非下采樣化earlet變換 (NSST)的可見光與紅外圖像融合方法及系統(tǒng)。

【背景技術(shù)】
[000引圖像融合技術(shù)將源自不同傳感器的同一目標(biāo)或場(chǎng)景的圖像進(jìn)行綜合處理，剔除冗 余信息且盡可能保留互補(bǔ)信息，可W獲得信息更豐富、更可靠的融合圖像。紅外與可見光圖 像融合是圖像融合領(lǐng)域的一個(gè)重要應(yīng)用，紅外圖像表征特定場(chǎng)景向外福射能量的差異，具 有良好目標(biāo)指示性，但對(duì)亮度變化不敏感、對(duì)比度較低?？梢姽鈭D像噪聲低、清晰度高，含較 豐富的細(xì)節(jié)信息。因此將該兩種圖像進(jìn)行融合，有利于綜合紅外圖像良好的目標(biāo)特性和可 見光圖像豐富的細(xì)節(jié)信息。
[0003] 近年來，多尺度分析方法在圖像融合領(lǐng)域取得許多研究成果。多尺度分析方法發(fā) 展經(jīng)歷了小波變換，Contourlet變換、非下采樣Contourlet變換等。小波變換對(duì)點(diǎn)奇異目 標(biāo)函數(shù)可實(shí)現(xiàn)最優(yōu)表示，但其方向有限性未能較好地表示線奇異函數(shù)，使之不能簡(jiǎn)單推廣 到二維。Contourlet變換有效彌補(bǔ)了小波變換的缺陷，可W更好地表示二維甚至更高維奇 異性問題，但其不具備平移不變性易導(dǎo)致混頻現(xiàn)象。為較好實(shí)現(xiàn)平移不變性，A L化nha等 學(xué)者提出了非下采樣Contourlet變換（NSCT)，其兼具Contourlet的變換的優(yōu)勢(shì)，且具有平 移不變性。相比NSCT，近幾年興起的剪切波變換（shearlet transform, ST)融合法雖然具 有更靈活的結(jié)構(gòu)、更高的計(jì)算效率和更理想的圖像融合效果，然而其并不具備平移不變性。 非下義樣剪切波變換（non-subsampled shearlet transform, NSST)作為ST的改進(jìn)型模 型，具有優(yōu)越的圖像處理性能。
[0004] 圖像融合過程中，NSST雖能較好地完成分解與重構(gòu)任務(wù)，但高頻與低頻子帶系數(shù) 融合規(guī)則的設(shè)計(jì)也同樣起到重要作用。傳統(tǒng)的融合規(guī)則即低頻平均加權(quán)與高頻絕對(duì)值取大 將會(huì)導(dǎo)致融合圖像對(duì)比度下降。鄧承志等在低頻部分采用基于粒子群優(yōu)化算法的加權(quán)系數(shù) 融合規(guī)則，考慮到不同傳感器低頻成分的差異，但在高頻部分直接用加權(quán)局部能量取大值 法，沒有考慮鄰域內(nèi)像素間的相互影響，而且迭代運(yùn)算速度較快，精度很難把握。葉傳奇等 在處理高頻部分時(shí)考慮到鄰域內(nèi)像素間的相關(guān)性，采用基于區(qū)域方差的選擇策略，低頻分 量采用基于區(qū)域相似度的融合策略，融合效果有所改進(jìn)，但其存在一定的模糊度。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)和不足，提出一種基于NSST的可見光與 紅外圖像融合技術(shù)方案。
[0006] 本發(fā)明所采用的技術(shù)方案是一種基于NSST的可見光與紅外圖像融合方法，包括 W下步驟：
[0007] 步驟1，輸入可見光和紅外圖像并進(jìn)行NSST變換，分別得到可見光圖像和紅外圖 像的子帶系數(shù)，所述的子帶系數(shù)包括低頻子帶系數(shù)和高頻子帶系數(shù)；
[000引步驟2,根據(jù)可見光圖像和紅外圖像的低頻子帶系數(shù)，采用基于區(qū)域能量特征值的 加權(quán)策略計(jì)算融合圖像的低頻子帶系數(shù)，實(shí)現(xiàn)如下，
[0009] 對(duì)可見光圖像和紅外圖像每個(gè)像素，分別按照W下原則求低頻子帶系數(shù)的鄰域平 均能量，

【權(quán)利要求】
1. 一種基于NSST的可見光與紅外圖像融合方法，其特征在于，包括以下步驟： 步驟1，輸入可見光和紅外圖像并進(jìn)行NSST變換，分別得到可見光圖像和紅外圖像的 子帶系數(shù)，所述的子帶系數(shù)包括低頻子帶系數(shù)和高頻子帶系數(shù)； 步驟2,根據(jù)可見光圖像和紅外圖像的低頻子帶系數(shù)，采用基于區(qū)域能量特征值的加權(quán) 策略計(jì)算融合圖像的低頻子帶系數(shù)，實(shí)現(xiàn)如下， 對(duì)可見光圖像和紅外圖像每個(gè)像素，分別按照以下原則求低頻子帶系數(shù)的鄰域平均能 量，
其中，C^(OT+x，H+ _y)、C4(m. +x，《 + >〇分別表示紅外圖像、可見光圖像中像素 (m+x，n+y)的低頻子帶系數(shù)；Evis(m，n)、Einf(m，n)分別表示可見光圖像、紅外圖像在像素點(diǎn) (m，n)處的鄰域平均能量，XXY為預(yù)設(shè)的鄰域大小，（m+x，n+y)為像素點(diǎn)（m，n)的鄰域內(nèi)任 一占. 對(duì)可見光圖像和紅外圖像，分別按照同樣的方式將圖像中所有像素的低頻子帶系數(shù)的 鄰域平均能量構(gòu)成鄰域能量矩陣，將得到的相應(yīng)鄰域能量矩陣劃分成若干個(gè)互不重疊的獨(dú) 立子區(qū)域，并計(jì)算各子區(qū)域的區(qū)域能量特征值；然后，根據(jù)見光圖像和紅外圖像中各子區(qū)域 的區(qū)域能量特征值，按區(qū)域能量特征值的加權(quán)策略計(jì)算融合圖像中相應(yīng)子區(qū)域的低頻子帶 系數(shù)，實(shí)現(xiàn)如下， 設(shè)圖像中某像素點(diǎn)（m，n)屬于第i個(gè)子區(qū)域，根據(jù)第i個(gè)子區(qū)域的融合權(quán)值求取融合 圖像中該像素點(diǎn)的低頻子帶系數(shù)如下，
其中，<、(夂"）分別表示紅外圖像、可見光圖像中像素（m，n)的低頻子帶系 數(shù);^^、?^分別表示紅外圖像、可見光圖像第1個(gè)子區(qū)域的融合權(quán)值，定義如下， Wvisji=Ervis,i/(Ervi^i+E' inf；i) Winf，i-Einf，i/(Evis,i+Einf,i) 其中，E'vis，i、E'inti分別表示可見光圖像和紅外圖像第i個(gè)子區(qū)域的區(qū)域能量特征 值； 步驟3,根據(jù)可見光圖像和紅外圖像的高頻子帶系數(shù)，采用基于四階相關(guān)系數(shù)的匹配策 略計(jì)算融合圖像的高頻子帶系數(shù)，實(shí)現(xiàn)如下， 設(shè)置一個(gè)滑動(dòng)窗口，在滑動(dòng)窗口遍歷到任一位置時(shí)計(jì)算可見光圖像和紅外圖像的高頻 子帶系數(shù)在滑動(dòng)窗口內(nèi)的四階相關(guān)系數(shù)F，設(shè)滑動(dòng)窗口遍歷到任一位置時(shí)的窗口中心為圖 像某像素點(diǎn)（m，n)， 當(dāng)F>th時(shí)，融合圖像的高頻子帶系數(shù)求取如下，
其中，C,㈨，")、和〇,?)分別表示紅外圖像、可見光圖像和融合圖像在像 素點(diǎn)（m，n)的高頻子帶系數(shù)，th為預(yù)設(shè)閾值； 步驟4,根據(jù)步驟2、3所得融合圖像的低頻子帶系數(shù)和高頻子帶系數(shù)，進(jìn)行NSST反變 換，得到融合圖像。
2. 根據(jù)權(quán)利要求1所述的基于NSST的可見光與紅外圖像融合方法，其特征在于：步驟 2中，可見光圖像和紅外圖像第i個(gè)子區(qū)域的區(qū)域能量特征值E'vis，i、E'inti求取如下， 設(shè)第i個(gè)子區(qū)域的中心為圖像中某像素點(diǎn)（m，n)，定義如下，
其中，鄰域平均能量Evis(m+a,n+b)、Einf (m+a,n+b)分別表示可見光圖像、紅外圖像在像 素點(diǎn)（m+a，n+b)處的鄰域平均能量，MXN為預(yù)設(shè)的子區(qū)域大小，（m+a，n+b)為第i個(gè)子區(qū)域 內(nèi)任一點(diǎn)。
3. 根據(jù)權(quán)利要求1或2所述的基于NSST的可見光與紅外圖像融合方法，其特征在于： 步驟3中，四階相關(guān)系數(shù)F的計(jì)算方式如下，
其中，+ + + + 〇分別表示紅外圖像和可見光圖像中像素 (m+m'，n+n')的高頻子帶系數(shù)，yinf、yvis分別表示紅外圖像和可見光圖像的高頻子帶 系數(shù)在滑動(dòng)窗口的均值，M'XN'為預(yù)設(shè)的滑動(dòng)窗口大小，（m+m'，n+n')為以像素點(diǎn) (m，n)為中心的滑動(dòng)窗口內(nèi)任一點(diǎn)。
4. 一種基于NSST的可見光與紅外圖像融合系統(tǒng)，其特征在于，包括以下模塊： NSST變換模塊，用于輸入可見光和紅外圖像并進(jìn)行NSST變換，分別得到可見光圖像和 紅外圖像的子帶系數(shù)，所述的子帶系數(shù)包括低頻子帶系數(shù)和高頻子帶系數(shù)； 低頻子帶系數(shù)融合模塊，用于根據(jù)可見光圖像和紅外圖像的低頻子帶系數(shù)，采用基于 區(qū)域能量特征值的加權(quán)策略計(jì)算融合圖像的低頻子帶系數(shù)，實(shí)現(xiàn)如下， 對(duì)可見光圖像和紅外圖像每個(gè)像素，分別按照以下原則求低頻子帶系數(shù)的鄰域平均能 量，
其中，Ct(/? +X." + .V)、（4(m+X." + .V)分別表示紅外圖像、可見光圖像中像素 (m+x，n+y)的低頻子帶系數(shù)；Evis(m，n)、Einf(m，n)分別表示可見光圖像、紅外圖像在像素點(diǎn) (m，n)處的鄰域平均能量，XXY為預(yù)設(shè)的鄰域大小，（m+x，n+y)為像素點(diǎn)（m，n)的鄰域內(nèi)任 一占. 對(duì)可見光圖像和紅外圖像，分別按照同樣的方式將圖像中所有像素的低頻子帶系數(shù)的 鄰域平均能量構(gòu)成鄰域能量矩陣，將得到的相應(yīng)鄰域能量矩陣劃分成若干個(gè)互不重疊的獨(dú) 立子區(qū)域，并計(jì)算各子區(qū)域的區(qū)域能量特征值；然后，根據(jù)見光圖像和紅外圖像中各子區(qū)域 的區(qū)域能量特征值，按區(qū)域能量特征值的加權(quán)策略計(jì)算融合圖像中相應(yīng)子區(qū)域的低頻子帶 系數(shù)，實(shí)現(xiàn)如下， 設(shè)圖像中某像素點(diǎn)（m，n)屬于第i個(gè)子區(qū)域，根據(jù)第i個(gè)子區(qū)域的融合權(quán)值求取融合 圖像中該像素點(diǎn)的低頻子帶系數(shù)_ (m，n)如下， (^^0 =xC':Jm,n)+WinlixC1ml (m,n) 其中，Ct,(m./2)、（7丨,、(/?.〃)分別表示紅外圖像、可見光圖像中像素（m， n)的低頻子帶系 數(shù);^^、?^分別表示紅外圖像、可見光圖像第1個(gè)子區(qū)域的融合權(quán)值，定義如下， Wvisji=Ervis,i/(Ervi^i+E' inf；i) Winf，i-Einf，i/(Evis,i+Einf,i) 其中，E'vis，i、E'inti分別表示可見光圖像和紅外圖像第i個(gè)子區(qū)域的區(qū)域能量特征 值； 高頻子帶系數(shù)融合模塊，用于根據(jù)可見光圖像和紅外圖像的高頻子帶系數(shù)，采用基于 四階相關(guān)系數(shù)的匹配策略計(jì)算融合圖像的高頻子帶系數(shù)，實(shí)現(xiàn)如下， 設(shè)置一個(gè)滑動(dòng)窗口，在滑動(dòng)窗口遍歷到任一位置時(shí)計(jì)算可見光圖像和紅外圖像的高頻 子帶系數(shù)在滑動(dòng)窗口內(nèi)的四階相關(guān)系數(shù)F，設(shè)滑動(dòng)窗口遍歷到任一位置時(shí)的窗口中心為圖 像某像素點(diǎn)（m，n)， 當(dāng)F>th時(shí)，融合圖像的高頻子帶系數(shù)求取如下，

其中，Ct(?，")、和分別表示紅外圖像、可見光圖像和融合圖像在像素 點(diǎn)（m，n)的高頻子帶系數(shù)，th為預(yù)設(shè)閾值； NSST反變換模塊，用于根據(jù)低頻子帶系數(shù)融合模塊和高頻子帶系數(shù)融合模塊所得融合 圖像的低頻子帶系數(shù)和高頻子帶系數(shù)，進(jìn)行NSST反變換，得到融合圖像。
5. 根據(jù)權(quán)利要求1所述的基于NSST的可見光與紅外圖像融合方法，其特征在于：低 頻子帶系數(shù)融合模塊中，可見光圖像和紅外圖像第i個(gè)子區(qū)域的區(qū)域能量特征值E'vis，i、 E'inti求取如下， 設(shè)第i個(gè)子區(qū)域的中心為圖像中某像素點(diǎn)（m，n)，定義如下，
其中，鄰域平均能量Evis(m+a,n+b)、Einf (m+a,n+b)分別表示可見光圖像、紅外圖像在像 素點(diǎn)（m+a，n+b)處的鄰域平均能量，MXN為預(yù)設(shè)的子區(qū)域大小，（m+a，n+b)為第i個(gè)子區(qū)域 內(nèi)任一點(diǎn)。
6. 根據(jù)權(quán)利要求1或2所述的基于NSST的可見光與紅外圖像融合方法，其特征在于： 高頻子帶系數(shù)融合模塊中，四階相關(guān)系數(shù)F的計(jì)算方式如下，
其中，〇 + +心分別表示紅外圖像和可見光圖像中像素 (m+m'，n+n')的高頻子帶系數(shù)，yinf、yvis分別表示紅外圖像和可見光圖像的高頻子帶 系數(shù)在滑動(dòng)窗口的均值，M'XN'為預(yù)設(shè)的滑動(dòng)窗口大小，（m+m'，n+n')為以像素點(diǎn) (m，n)為中心的滑動(dòng)窗口內(nèi)任一點(diǎn)。
【文檔編號(hào)】G06T5/50GK104504673SQ201410849724
【公開日】2015年4月8日 申請(qǐng)日期:2014年12月30日 優(yōu)先權(quán)日:2014年12月30日
【發(fā)明者】邵振峰, 楊如紅 申請(qǐng)人:武漢大學(xué)