本發(fā)明屬于智能信息處理技術(shù)領(lǐng)域，涉及變數(shù)目視頻多目標(biāo)跟蹤方法。具體地說是一種基于特征協(xié)方差矩陣和多伯努利濾波的視頻多目標(biāo)跟蹤方法，可用于各種交通管制、機(jī)器人導(dǎo)航和視頻監(jiān)控等系統(tǒng)中的視頻多目標(biāo)檢測與跟蹤。

背景技術(shù)：

計算機(jī)視覺應(yīng)用領(lǐng)域中，目標(biāo)數(shù)目變化且交叉、緊鄰等視頻多目標(biāo)跟蹤是一項非常重要且具有挑戰(zhàn)性的難題，一直是視頻跟蹤研究中的熱點和難點。尤其是當(dāng)目標(biāo)交叉或緊鄰時，很容易出現(xiàn)目標(biāo)跟蹤精度下降，甚至漏跟，直接影響后續(xù)的目標(biāo)識別、分類、行為分析等處理。

目前，針對視頻單目標(biāo)跟蹤，主要方法有均值漂移、卡爾曼濾波、粒子濾波以及特征匹配等。其中，如何選取合適的目標(biāo)特征對目標(biāo)進(jìn)行全面描述，是目標(biāo)跟蹤中的一個關(guān)鍵步驟，目標(biāo)描述的優(yōu)劣也將直接影響后續(xù)的跟蹤精度。近年來，Tuzel等學(xué)者在論文《Region covariance:a fast descriptor for detection and classification》中提出協(xié)方差算子，將目標(biāo)的多個特征融合到一個協(xié)方差矩陣中，不僅比聯(lián)合特征降低了復(fù)雜度，而且具有較強(qiáng)的目標(biāo)描述能力，有利于解決視頻目標(biāo)跟蹤中的干擾問題。

針對多目標(biāo)跟蹤，早期主要是采用數(shù)據(jù)關(guān)聯(lián)技術(shù)，計算量較大，且只能跟蹤數(shù)目已知且固定的多目標(biāo)。近年來，隨機(jī)有限集(Random Finite Set，RFS)理論得到了學(xué)者的廣泛關(guān)注，在不需要復(fù)雜數(shù)據(jù)關(guān)聯(lián)的情況下可以有效跟蹤數(shù)目未知且變化的多目標(biāo)。尤其是Mahler等學(xué)者提出的勢均衡多目標(biāo)多伯努利濾波(CBMeMBer)方法，通過計算漏檢目標(biāo)和量測更新的多伯努利隨機(jī)有限集，直接近似整個多目標(biāo)狀態(tài)集的后驗概率密度函數(shù)，既可以保證算法的跟蹤精度，也降低了計算代價，在數(shù)目未知且變化的點目標(biāo)和視頻目標(biāo)跟蹤領(lǐng)域得到了廣泛應(yīng)用。但當(dāng)目標(biāo)緊鄰和被遮擋時，這些方法難以區(qū)分多個目標(biāo)，導(dǎo)致目標(biāo)被漏估計；此外，當(dāng)目標(biāo)大小出現(xiàn)明顯變化時，跟蹤窗往往不能自適應(yīng)，導(dǎo)致跟蹤精度明顯下降。

技術(shù)實現(xiàn)要素：

對上述問題，本發(fā)明在多伯努利濾波框架下，引入特征協(xié)方差技術(shù)和粒子濾波技術(shù)，提出一種自適應(yīng)的變數(shù)目視頻多目標(biāo)跟蹤方法，以解決目標(biāo)緊鄰和尺寸變化時難以準(zhǔn)確跟蹤的問題，并在該方法的基礎(chǔ)上進(jìn)一步引入粒子標(biāo)記技術(shù)，以實現(xiàn)對視頻目標(biāo)各自運動軌跡的準(zhǔn)確跟蹤，提高本發(fā)明方法對視頻多目標(biāo)跟蹤的自適應(yīng)性和魯棒性。

實現(xiàn)本發(fā)明的關(guān)鍵技術(shù)是：在對視頻多目標(biāo)跟蹤過程中，首先在多伯努利濾波框架下引入特征協(xié)方差算子描述各個視頻目標(biāo)的外觀，以有效抑制背景干擾；然后，對目標(biāo)緊鄰部分進(jìn)行分析，根據(jù)目標(biāo)區(qū)域變化情況提出目標(biāo)緊鄰自適應(yīng)處理機(jī)制和跟蹤窗自適應(yīng)處理機(jī)制，以有效分離緊鄰目標(biāo)，提高目標(biāo)數(shù)目跟蹤精度及提高跟蹤窗的自適應(yīng)能力；最后，采用粒子濾波技術(shù)及粒子標(biāo)記技術(shù)，實現(xiàn)對視頻多目標(biāo)連續(xù)跟蹤。

為實現(xiàn)上述目標(biāo)，具體實現(xiàn)步驟如下：

(1)初始化步驟：

(1a)初始時刻k＝0，視頻總幀數(shù)為N，初始目標(biāo)狀態(tài)集為初始化目標(biāo)狀態(tài)其中表示初始目標(biāo)i矩形框左上角坐標(biāo)，表示初始目標(biāo)i矩形框的寬，表示初始目標(biāo)i矩形框的高，M₀表示初始目標(biāo)個數(shù)，初始目標(biāo)存在概率P_s＝0.99，計算初始目標(biāo)i的特征協(xié)方差并進(jìn)行粒子初始化采樣；

(1b)初始化新生目標(biāo)狀態(tài)集為其中表示新生目標(biāo)i矩形框左上角的坐標(biāo)，表示新生目標(biāo)i矩形框的寬，表示新生目標(biāo)i矩形框的高，M_Γ表示新生目標(biāo)個數(shù)；本發(fā)明中新生目標(biāo)的位置假設(shè)固定在某坐標(biāo)范圍內(nèi)，且假設(shè)新生目標(biāo)的存在概率為0.02；新生目標(biāo)i的特征協(xié)方差表示為并根據(jù)新生參數(shù)初始化新生目標(biāo)的采樣粒子；

(1c)初始化采樣粒子參數(shù)，粒子最大數(shù)目為L_max，粒子最小數(shù)目為L_min，初始目標(biāo)狀態(tài)協(xié)方差Σ₀＝diag(1,1,0.1,0.1)；

(2)目標(biāo)狀態(tài)預(yù)測步驟：

(2a)假設(shè)目標(biāo)運動模型為隨機(jī)游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k時刻目標(biāo)的狀態(tài)，e(k)表示k時刻零均值高斯白噪聲，目標(biāo)狀態(tài)協(xié)方差為

(2b)目標(biāo)預(yù)測，假設(shè)k-1時刻，多目標(biāo)的后驗概率密度可用多伯努利參數(shù)集表示為：

其中，和分別表示k-1時刻目標(biāo)i的存在概率和概率分布，M_k-1表示k-1時刻目標(biāo)個數(shù)；則預(yù)測后的多目標(biāo)概率密度可表示為：

其中，表示k時刻存活目標(biāo)的多伯努利參數(shù)集，和分別表示k時刻存活目標(biāo)i的存在概率和預(yù)測概率分布，表示k時刻新生目標(biāo)的多伯努利參數(shù)集，和分別表示k時刻新生目標(biāo)i的存在概率和概率分布，M_Γ,k表示k時刻新生目標(biāo)個數(shù)；

(3)目標(biāo)似然計算步驟：

(3a)本發(fā)明可處理灰度圖像序列和彩色圖像序列，其中，灰度圖像提取的五維特征分別為：灰度，m和n方向的一階梯度、二階梯度；彩色圖像提取的三維特征分別為：彩色圖像的H、S、V三色值；

初始化目標(biāo)模板的特征協(xié)方差T和候選目標(biāo)的特征協(xié)方差矩陣F，并計算兩協(xié)方差矩陣的相似性測度，即：

d(T,F)＝||log(T)-log(F)||

(3b)為了更精確地對目標(biāo)進(jìn)行描述，避免目標(biāo)被局部遮擋，增強(qiáng)對目標(biāo)的分辨能力，本發(fā)明將目標(biāo)表示為5個分塊，計算每個塊的特征協(xié)方差矩陣；并采用一個融合過程，融合所有塊的相似性測度，忽略候選目標(biāo)分塊中相似性測度的最小塊，得到新的總體相似性測度D，即：

其中，min表示取最小值函數(shù)，表示k時刻目標(biāo)i模板的第ξ個分塊的特征協(xié)方差，表示k時刻候選目標(biāo)i的第ξ個分塊的特征協(xié)方差；

(3c)獲得總體相似性測度D后，k時刻候選目標(biāo)i的采樣粒子j的似然表示為：

其中，參數(shù)λ∈[10,30]；

此外，本發(fā)明中的特征模板是根據(jù)前Φ個時刻的混合特征協(xié)方差矩陣計算得到，即：

其中，F(xiàn)_τ，ξ表示在τ時刻目標(biāo)估計狀態(tài)的第ξ個分塊的特征協(xié)方差；

(4)目標(biāo)狀態(tài)更新步驟：

k時刻，假設(shè)視頻多目標(biāo)隨機(jī)有限集的預(yù)測概率密度可表示為：

則更新后的多目標(biāo)后驗概率密度可表示為：

其中，表示漏檢情況下對預(yù)測進(jìn)行更新得到的多伯努利參數(shù)集，表示對量測集進(jìn)行更新得到的多伯努利參數(shù)集，Z_k表示k時刻的量測集合，z表示量測集合的元素；根據(jù)步驟(3)計算粒子權(quán)值；

(5)目標(biāo)狀態(tài)提取步驟：

為了避免粒子退化問題，對采樣粒子集進(jìn)行重采樣，且根據(jù)采樣粒子更新后的權(quán)值估計當(dāng)前k時刻目標(biāo)狀態(tài)集X_k，此外，為了避免多伯努利參數(shù)集數(shù)量的冗余，本發(fā)明中將存在概率小于0.01的目標(biāo)刪除；

(6)目標(biāo)緊鄰自適應(yīng)步驟：

當(dāng)兩個目緊鄰時，跟蹤結(jié)果往往會將兩個目標(biāo)判定為一個目標(biāo)，從而造成跟蹤錯誤，甚至出現(xiàn)目標(biāo)漏跟現(xiàn)象；針對這種情況，本發(fā)明提出緊鄰自適應(yīng)處理機(jī)制；

(7)目標(biāo)跟蹤窗自適應(yīng)步驟：

當(dāng)視頻目標(biāo)尺寸發(fā)生較大變化時，跟蹤窗不能包含目標(biāo)的全部特征，造成信息丟失；為此，本發(fā)明提出跟蹤窗自適應(yīng)處理機(jī)制，使得跟蹤窗能自適應(yīng)目標(biāo)尺寸大小的變化；

(8)粒子標(biāo)記步驟：

本發(fā)明通過對粒子進(jìn)行標(biāo)記，以識別各個目標(biāo)，從而實現(xiàn)對目標(biāo)的軌跡跟蹤。

本發(fā)明具有以下優(yōu)點：

(1)本發(fā)明中采用了多伯努利濾波技術(shù)，有效實現(xiàn)了對數(shù)目未知且變化的視頻多目標(biāo)跟蹤；且由于采用粒子標(biāo)記技術(shù)，可有效地提取各個目標(biāo)的運動軌跡；

(2)本發(fā)明由于利用多特征協(xié)方差算子對目標(biāo)進(jìn)行總體描述，對目標(biāo)干擾、光照變化、以及目標(biāo)形變等有較強(qiáng)的魯棒性，且可以有效解決由于目標(biāo)被遮擋而造成跟蹤精度下降的問題；

(3)本發(fā)明提出目標(biāo)跟蹤窗機(jī)制和目標(biāo)緊鄰自適應(yīng)機(jī)制，可以有效區(qū)分緊鄰目標(biāo)，且實現(xiàn)目標(biāo)跟蹤窗的自適應(yīng)，以提高算法跟蹤精度。

附圖說明

圖1是本發(fā)明的整體流程圖；

圖2是本發(fā)明方法中的積分圖思想示意圖；

圖3是本發(fā)明方法中的計算特征協(xié)方差矩陣的目標(biāo)分塊示意圖；

圖4是本發(fā)明方法中的目標(biāo)緊鄰自適應(yīng)效果圖；

圖5是本發(fā)明方法中的目標(biāo)跟蹤窗自適應(yīng)效果圖；

圖6是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的跟蹤窗自適應(yīng)跟蹤結(jié)果對比圖；

圖7是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的跟蹤窗自適應(yīng)跟蹤結(jié)果OSPA值對比圖；

圖8是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的交叉干擾跟蹤結(jié)果對比圖；

圖9是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的交叉干擾跟蹤結(jié)果OSPA值對比圖；

圖10是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的變數(shù)目多目標(biāo)及遮擋干擾跟蹤結(jié)果對比圖；

圖11是本發(fā)明方法與傳統(tǒng)PF-MeMBer方法的變數(shù)目多目標(biāo)及遮擋干擾跟蹤結(jié)果OSPA值對比圖。

具體實施方式

一、基礎(chǔ)理論介紹

1.多伯努利濾波原理

多伯努利隨機(jī)有限集X可表示為即M個相互獨立單伯努利隨機(jī)有限集X⁽ⁱ⁾的并集，r⁽ⁱ⁾和p⁽ⁱ⁾分別其存在概率和概率分布，則空間上多伯努利隨機(jī)有限集的概率密度可表示為：

隨機(jī)有限集可由其概率密度進(jìn)行描述，該集合的平均勢估計即為目標(biāo)數(shù)目估計。假設(shè)一個參數(shù)集可描述一個多伯努利隨機(jī)有限集，則多目標(biāo)多伯努利濾波就是將狀態(tài)集和觀測集都采用多伯努利隨機(jī)有限集近似表示，通過遞推r⁽ⁱ⁾和p⁽ⁱ⁾實現(xiàn)多目標(biāo)跟蹤。其算法步驟如下：

(1)預(yù)測：

假設(shè)在k-1時刻，多目標(biāo)的后驗概率密度可表示為：

則預(yù)測后的多目標(biāo)概率密度可表示為：

其中，

<a,b>表示變量a和b的點積，f_k|k-1(x|·)和p_S,k分別表示單目標(biāo)狀態(tài)轉(zhuǎn)移概率密度函數(shù)和目標(biāo)存活概率，為k時刻新生目標(biāo)的多伯努利參數(shù)集。

(2)更新：

k時刻，設(shè)多目標(biāo)隨機(jī)有限集的預(yù)測概率密度可表示為：

更新后的后驗多目標(biāo)概率密度可表示為：

其中，

ψ_k,z(x)＝g_k(z|x)p_D,k(x)

其中，g_k(z|x)表示量測似然，p_D,k(x)表示檢測概率，Z_k表示量測集合，κ_k(z)表示雜波密度函數(shù)。

2.特征協(xié)方差矩陣

設(shè)區(qū)域R表示W(wǎng)×H維灰度圖像，F(xiàn)_R表示從R中提取的W×H×d維特征圖，即：

其中，φ(·)是特征提取的映射函數(shù)，灰度圖像五維特征分別為：灰度，m和n方向的一階梯度、二階梯度。對于任意矩形區(qū)域R，可以用該區(qū)域?qū)?yīng)的d×d維特征協(xié)方差矩陣表示：

其中，f_l為第l個像素點所對應(yīng)的d維特征向量，f_l∈F_R,l＝1,2,...,θ,θ＝W×H，μ為區(qū)域R的特征均值向量：

本發(fā)明是在多伯努利濾波框架下，采用粒子濾波實現(xiàn)視頻多目標(biāo)跟蹤，然而在粒子濾波中，通過采樣粒子獲取候選目標(biāo)，但是，如果對每個候選目標(biāo)分別單獨計算特征協(xié)方差矩陣，則候選目標(biāo)重疊部分的像素將被重復(fù)統(tǒng)計多次，增加了計算代價。為了解決這一問題，本發(fā)明引入積分圖(Integral image,II)思想來提高計算效率。

積分圖是由積分圖像延伸而來的，在積分圖中，像素點(m',n')的積分圖像II(m',n')定義為該點左上方矩形區(qū)域內(nèi)所有像素點之和，即：

任意大小區(qū)域A的積分圖可由其四個頂點的積分圖像快速計算得到，即II(A)＝II(m",n")+II(m',n')-II(m",n')-II(m',n")，如圖2所示。

區(qū)域A的平均灰度AVRG(A)為：

積分圖適用于統(tǒng)計大量矩形區(qū)域，且這些矩形區(qū)域又存在大量的重疊區(qū)域，可降低計算量。

協(xié)方差矩陣C_R中的第(i,j)元素可以表示為：

如果記：

P_m,n＝[P(m,n,1),...,P(m,n,d)]^T

其中，

則區(qū)域協(xié)方差可表示為：

其中，θ＝(m"-m')(n"-n')。在構(gòu)建積分圖后，任何區(qū)域的協(xié)方差矩陣的計算復(fù)雜度將降為O(d²)，而和區(qū)域大小無關(guān)。

二、本發(fā)明基于特征協(xié)方差的多伯努利濾波框架下視頻多目標(biāo)跟蹤方法

參照圖1，本發(fā)明的具體實施步驟包括如下：

步驟1.初始化目標(biāo)集，新生目標(biāo)集，采樣粒子參數(shù)

(1.1)初始時刻k＝0，視頻總幀數(shù)為N，初始目標(biāo)狀態(tài)集為初始化目標(biāo)狀態(tài)其中和表示初始目標(biāo)i矩形框左上角的坐標(biāo)，表示初始目標(biāo)i矩形框的寬，表示初始目標(biāo)i矩形框的高，M₀表示初始目標(biāo)個數(shù)，初始目標(biāo)存在概率P_s＝0.99，計算初始目標(biāo)i的特征協(xié)方差并進(jìn)行粒子初始化采樣。

(1.2)初始化新生目標(biāo)狀態(tài)集為其中其中和表示新生目標(biāo)i矩形框左上角的坐標(biāo)，表示新生目標(biāo)i矩形框的寬，表示新生目標(biāo)i矩形框的高，M_Γ表示新生目標(biāo)個數(shù)。本發(fā)明中新生目標(biāo)的新生位置假設(shè)固定在某坐標(biāo)范圍內(nèi)，且每一幀都有目標(biāo)新生，存在概率為0.02。計算新生目標(biāo)i的特征協(xié)方差初始化新生目標(biāo)的采樣粒子。

(1.3)初始化采樣粒子參數(shù)，粒子最大數(shù)目L_max，粒子最小數(shù)目L_min，初始目標(biāo)狀態(tài)協(xié)方差Σ₀＝diag(1,1,0.1,0.1)。

步驟2.預(yù)測目標(biāo)狀態(tài)

(2.1)假設(shè)目標(biāo)運動模型為隨機(jī)游走模型，即：

x(k+1)＝x(k)+e(k)

其中，x(k)表示k時刻目標(biāo)的狀態(tài)，e(k)為k時刻零均值高斯白噪聲，目標(biāo)狀態(tài)協(xié)方差為

(2.2)假設(shè)k-1時刻，已知多伯努利后驗密度為其中，和分別表示k-1時刻目標(biāo)i的存在概率和概率分布，且每個由一組加權(quán)樣本(粒子)表示，即：

其中，表示k-1時刻目標(biāo)i的第j個采樣粒子的權(quán)值，表示k-1時刻目標(biāo)i的第j個采樣粒子的狀態(tài)向量，表示k-1時刻目標(biāo)i的采樣粒子個數(shù)，δ(·)為狄拉克函數(shù)。

(2.3)多目標(biāo)后驗概率密度的預(yù)測表示為：

其中，表示k時刻存活目標(biāo)的多伯努利參數(shù)集，和分別為k時刻存活目標(biāo)i的存在概率和概率分布的預(yù)測值，M_k-1表示k-1時刻目標(biāo)個數(shù)，表示k時刻新生目標(biāo)的多伯努利參數(shù)集，和分別為k時刻新生目標(biāo)i的存在概率和概率分布，M_Γ,k表示k時刻新生目標(biāo)個數(shù)；

在預(yù)測過程中，新生粒子由新生目標(biāo)參數(shù)直接采樣獲得，存活目標(biāo)多伯努利參數(shù)的預(yù)測值分別為：

其中，p_S,k為k時刻目標(biāo)存活概率，

步驟3.計算量測似然

(3.1)選定當(dāng)前目標(biāo)的特征模板。

本發(fā)明可處理灰度圖像序列和彩色圖像序列，其中，灰度圖像提取的五維特征分別為：灰度，m和n方向的一階梯度、二階梯度；彩色圖像提取三維特征，即彩色圖像HSV色彩空間中的H、S、V三色值。

對于存活目標(biāo)的特征模板：若該目標(biāo)存活時長小于Φ個時刻，即k_s＜Φ，則當(dāng)前目標(biāo)特征模板為前一時刻該目標(biāo)提取的目標(biāo)狀態(tài)內(nèi)的特征模板；若該目標(biāo)存活時長k_s≥Φ，則當(dāng)前目標(biāo)特征模板為該目標(biāo)前Φ個時刻提取的目標(biāo)狀態(tài)內(nèi)的融合特征模板，即：

其中，F(xiàn)_τ,ξ表示在τ時刻估計狀態(tài)的第ξ個分塊的特征協(xié)方差。

新生目標(biāo)的特征模板僅需初始化計算一次，無需每次重新計算。

(3.2)計算特征協(xié)方差矩陣及其相似性度量。

本發(fā)明采用對數(shù)-歐幾里德度量特征協(xié)方差矩陣之間的差值，設(shè)目標(biāo)模型特征協(xié)方差為T，候選目標(biāo)特征協(xié)方差為F，則T和F之間的對數(shù)-歐幾里德距離可表示為：

d(T,F)＝||log(T)-log(F)||

為了更精確地對目標(biāo)進(jìn)行描述，避免目標(biāo)被局部遮擋，增強(qiáng)對目標(biāo)的分辨能力，本發(fā)明采用分塊描述策略對目標(biāo)進(jìn)行建模。本發(fā)明方法將目標(biāo)表示為5個分塊，每個塊分別計算其特征協(xié)方差矩陣，如圖3所示。計算出兩幅圖像之間對應(yīng)每個分塊的相似性測度，并采用一個融合過程融合所有塊的相似性測度，忽略候選目標(biāo)分塊中相似性測度的最小塊，得到總體相似性測度D，即：

其中，min表示取最小值函數(shù)，表示目標(biāo)i的采樣粒子j與目標(biāo)模板的相似性測度，表示在k時刻目標(biāo)i模板的第ξ個分塊的特征協(xié)方差，表示k時刻候選目標(biāo)i的采樣粒子j的第ξ個分塊的特征協(xié)方差。

(3.3)計算目標(biāo)i的采樣粒子j的量測似然。

在得到目標(biāo)i的采樣粒子j與目標(biāo)模板的相似性測度后，k時刻候選目標(biāo)i的采樣粒子j的似然可由下式計算：

其中，參數(shù)λ∈[10,30]。

步驟4.更新目標(biāo)狀態(tài)

k時刻，假設(shè)預(yù)測后的多伯努利后驗密度為其中，由一組加權(quán)粒子表示，即：

其中，表示k時刻目標(biāo)i的第j個采樣粒子權(quán)值的預(yù)測值，表示k時刻目標(biāo)i的第j個采樣粒子狀態(tài)預(yù)測，預(yù)測高斯分量個數(shù)M_k|k-1＝M_k-1+M_Γ,k。

則更新后的多目標(biāo)后驗概率密度可表示為：

其中，表示漏檢情況下對預(yù)測進(jìn)行更新得到的多伯努利參數(shù)集，表示對量測集進(jìn)行更新得到的多伯努利參數(shù)集，Z_k表示k時刻的量測集合，z表示量測集合的元素；M_k＝M_k|k-1+|Z_k|，|Z_k|表示量測的個數(shù)，和分別表示k時刻目標(biāo)i的存在概率和概率分布的更新，即：

其中，表示量測y_k對k時刻預(yù)測粒子的似然，可根據(jù)步驟(3.3)獲得。

步驟5.目標(biāo)狀態(tài)提取

為了避免粒子退化和伯努利分量增加的問題，對粒子進(jìn)行重采樣，并刪除存在概率小于0.01的伯努利分量，若存在概率大于等于0.5，則提取當(dāng)前k時刻目標(biāo)i的狀態(tài)即

步驟6.緊鄰目標(biāo)自適應(yīng)處理

(6.1)判定目標(biāo)是否緊鄰

以水平方向緊鄰為例，假設(shè)目標(biāo)i與目標(biāo)j的水平距離為若小于閥值判定兩個目標(biāo)水平方向上基本重合，不需要處理。當(dāng)大于閥值且小于閥值時，判定兩個目標(biāo)在水平方向上緊鄰，且做分離處理，更新目標(biāo)的位置參數(shù)。

(6.2)緊鄰目標(biāo)分離處理

w_i、w_j分別表示目標(biāo)i、目標(biāo)j的矩形框的寬，當(dāng)判定兩個目標(biāo)水平方向上緊鄰后，對兩個目標(biāo)進(jìn)行水平分離處理的步驟如下：

(6.2.1)目標(biāo)i的狀態(tài)為x_i＝[m_i,n_i,w_i,h_i]，目標(biāo)j的狀態(tài)為x_j＝[m_j,n_j,w_j,h_j]，α＝0.15；

(6.2.2)兩個目標(biāo)的水平距離為若執(zhí)行步驟(6.2.3)；否則，無需進(jìn)行分離處理；

(6.2.3)若m_i≤m_j，則m_i＝m_i-w_iα,m_j＝m_j+w_jα；否則，m_i＝m_i+w_iα,m_j＝m_j-w_jα；

垂直方向緊鄰判斷與分離處理方法與水平方向方法相同，單幀圖像目標(biāo)分離結(jié)果如圖4所示。

(6.3)在本發(fā)明中，將重合率較大的兩個目標(biāo)合并，合并條件為：兩個矩形目標(biāo)區(qū)域的重疊部分面積超過較小目標(biāo)區(qū)域面積的80％。

步驟7.目標(biāo)跟蹤窗自適應(yīng)處理

(7.1)獲取目標(biāo)擴(kuò)展?fàn)顟B(tài)。

如圖5所示，假設(shè)第k幀目標(biāo)i的估計狀態(tài)表示為用矩形框L₁表示；目標(biāo)i估計狀態(tài)的擴(kuò)展?fàn)顟B(tài)表示為用矩形框L₂表示，本發(fā)明中取λ為1.4。

(7.2)目標(biāo)估計狀態(tài)更新。

將圖5(a)二值化，獲取目標(biāo)i的矩形框L₂內(nèi)包含最大連通區(qū)域的最小矩形框如圖5(b)中的矩形框L₃，則目標(biāo)估計狀態(tài)更新為本發(fā)明中取β為0.6。

(7.3)特殊情況處理。

在某些情況下，當(dāng)兩個目標(biāo)緊鄰時，兩個目標(biāo)的連通區(qū)域合并成一個連通區(qū)域；或者由于背景干擾，一個目標(biāo)由兩個或多個連通區(qū)域組成，這些情況可能導(dǎo)致最大連通區(qū)域發(fā)生突變。本發(fā)明將采用多個時刻的狀態(tài)融合方法，解決最大連通區(qū)域突變導(dǎo)致跟蹤窗自適應(yīng)失敗的問題，即：

其中，取μ＝0.5，d＝5。即k時刻目標(biāo)i的狀態(tài)x_k,i是為前5幀該目標(biāo)的狀態(tài)與當(dāng)前時刻的加權(quán)求和。

步驟8.粒子標(biāo)記技術(shù)

(8.1)標(biāo)記預(yù)測。k-1時刻，存活目標(biāo)的多伯努利分量粒子標(biāo)記可表示為：

其中，M_k-1表示伯努利分量的個數(shù)，表示第i個伯努利分量的粒子數(shù)，且即同一個伯努利分量的粒子標(biāo)記相同。新生的多伯努利分量的粒子標(biāo)記可表示為：

其中，M_Γ表示新生伯努利分量的個數(shù)，表示第i個新生伯努利分量的粒子數(shù)，且則伯努利分量標(biāo)記的預(yù)測可以表示為：T_k|k-1＝T_k-1+T_Γ。

(8.2)標(biāo)記更新。量測跟新后伯努利分量的標(biāo)記可表示為：

其中，|Z_k|表示量測個數(shù)，

(8.3)重采樣。重采樣后的粒子與它們的父輩粒子具有相同的標(biāo)記，重采樣后的伯努利分量的標(biāo)記為：

其中，M_k為量測跟新后伯努利分量個數(shù)，

通過比較各個伯努利分量的標(biāo)記即可識別各個目標(biāo)的運動軌跡。其中，當(dāng)目標(biāo)合并時，合并目標(biāo)的標(biāo)記為被合并兩個目標(biāo)存在概率較大目標(biāo)的標(biāo)記。

本發(fā)明的效果可通過以下實驗進(jìn)一步說明：

1.實驗條件及參數(shù)

實驗是在處理器為Intel Core i5-3470、3.2GHz，內(nèi)存為4GB的Dell計算機(jī)平臺上，采用MATLAB 2010仿真軟件完成。實驗一和實驗二采用的數(shù)據(jù)都是從Terravic Research Infrared Database數(shù)據(jù)庫中選取的紅外視頻序列圖像，分辨率均為320×240。實驗主要用于驗證本發(fā)明方法在視頻多目標(biāo)緊鄰、尺寸變化和背景及雜波干擾情況下的跟蹤性能。實驗將從跟蹤精度及穩(wěn)定性方面，分別對發(fā)明方法和Hoseinnezhad R等學(xué)者在論文《Visual tracking in background subtracted image sequences via multi-Bernoulli filtering》中提出的傳統(tǒng)粒子濾波多伯努利方法(PF-MeMBer)作性能對比分析。

實驗三采用的數(shù)據(jù)是實驗室拍攝路面上雙向行駛汽車的視頻數(shù)據(jù)，為彩色視頻序列圖像，分辨率為901×401。該組實驗主要用于驗證本發(fā)明方法對數(shù)目未知且變化的視頻多目標(biāo)跟蹤性能，該場景中存在目標(biāo)新生和消失，以及部分目標(biāo)被遮擋的情況。

實驗過程中還通過多次蒙特卡羅仿真，從統(tǒng)計特性上對發(fā)明方法在跟蹤精度、穩(wěn)定性和計算時間等方面進(jìn)行比較和分析。選用跟蹤性能評價標(biāo)準(zhǔn)分別為平均誤差平均均方根誤差平均失跟率和平均運行時間分別定義為：

其中，為第c次蒙特卡羅實驗在k時刻對第l個目標(biāo)的估計狀態(tài)，為第c次蒙特卡羅實驗在k時刻跟蹤第l個目標(biāo)的運行時間，c＝1,…,C，k＝1,…,K，l＝1,…,L，為k時刻第l個目標(biāo)的真實狀態(tài)，C為實驗中蒙特卡羅總次數(shù)，K為實驗中圖像序列總幀數(shù)，L為實驗中目標(biāo)總個數(shù)，V為C次蒙特卡羅實驗失跟總次數(shù)，失跟定義為該時刻的跟蹤誤差大于真實目標(biāo)狀態(tài)的25％個像素單元。

2.實驗及結(jié)果分析

本發(fā)明方法與傳統(tǒng)PF-MeMBer方法進(jìn)行對比，主要從以下兩個方面開展：

實驗1：目標(biāo)跟蹤窗自適應(yīng)

本組實驗場景中，圖像序列共150幀，目標(biāo)尺寸變化較大，以驗證提出算法跟蹤窗的自適應(yīng)能力。左側(cè)目標(biāo)向左移動，目標(biāo)尺寸縮小。右側(cè)目標(biāo)向右移動，目標(biāo)尺寸變大。如果跟蹤窗不能自適應(yīng)調(diào)整，則對于尺寸縮小的目標(biāo)，跟蹤窗內(nèi)將增加背景以及雜波，目標(biāo)本身像素所占比例減小，有可能造成目標(biāo)漏跟；對于尺寸變大的目標(biāo)，跟蹤窗將不能及時包含目標(biāo)所有特征信息，可能造成信息丟失。

圖6給出了本發(fā)明方法及傳統(tǒng)PF-MeMBer方法的跟蹤結(jié)果，其中，圖6(a)為傳統(tǒng)PF-MeMBer方法跟蹤結(jié)果，圖6(b)為本發(fā)明方法跟蹤結(jié)果?？梢悦黠@看出，本發(fā)明方法的跟蹤窗能夠根據(jù)目標(biāo)尺寸的變化進(jìn)行自適應(yīng)調(diào)整，且能給出較好的跟蹤結(jié)果，而傳統(tǒng)的PF-MeMBer方法中對粒子的跟蹤窗采用隨機(jī)取值的方法，可以看出對尺寸變化較大的目標(biāo)，跟蹤窗不能適應(yīng)目標(biāo)的變化，導(dǎo)致目標(biāo)不能被完全提取，如圖6(a)中第112幀和150幀所示。

圖7給出了本組實驗的OSPA距離統(tǒng)計的對比圖，可以看出，本發(fā)發(fā)明方法的跟蹤精度要明顯高于傳統(tǒng)的PF-MeMBer方法。

對本組實驗進(jìn)行100次蒙特卡洛仿真，跟蹤精度、穩(wěn)定性和計算時間等方面的性能評價如表1所示?？梢钥闯觯瑐鹘y(tǒng)PF-MeMBer方法的和均較高，雖然沒有完全丟失目標(biāo)，但是偏離程度較大；而本發(fā)明方法的和均較低，能夠?qū)崿F(xiàn)對尺度變化較大目標(biāo)的自適應(yīng)和精確跟蹤。雖然存在一定程度的失跟，是由于右側(cè)目標(biāo)尺度較大，相應(yīng)的跟蹤誤差也較大，有若干幀的誤差超過25％的像素單元，但并未丟失目標(biāo)。運行時間也比傳統(tǒng)的方法要低，具有明顯的跟蹤優(yōu)勢。

表1跟蹤窗自適應(yīng)情況下的跟蹤性能評價

實驗2：目標(biāo)交叉干擾實驗

本組實驗場景中，圖像序列共100幀，目標(biāo)進(jìn)行交叉運動，經(jīng)歷緊鄰、合并以及分開等過程，通過該組實驗以驗證本發(fā)明方法對緊鄰目標(biāo)的處理性能，以及對交叉目標(biāo)的航跡跟蹤性能。

圖8給出了本發(fā)明方法及傳統(tǒng)PF-MeMBer方法的跟蹤結(jié)果，其中，圖8(a)為傳統(tǒng)PF-MeMBer方法跟蹤結(jié)果，圖8(b)為本發(fā)明方法跟蹤結(jié)果?？梢悦黠@看出，本發(fā)明方法具有較好的跟蹤性能，可以有效處理緊鄰目標(biāo)跟蹤，如圖8(b)的第57幀和68幀所示，提出方法可以有效分開兩個緊鄰目標(biāo)，提高跟蹤效率；此外，通過粒子標(biāo)記方法，本發(fā)明方法也可以準(zhǔn)確估計交叉運動目標(biāo)的軌跡。

圖9給出了本組實驗的OSPA值的對比圖，可以看出，當(dāng)目標(biāo)交叉相互干擾時，傳統(tǒng)PF-MeMBer方法的誤差突增，出現(xiàn)目標(biāo)漏跟，而本發(fā)明方法在目標(biāo)出現(xiàn)交叉干擾時能夠自適應(yīng)地處理緊鄰目標(biāo)，具有較好的跟蹤性能。

對本組實驗進(jìn)行100次蒙特卡洛仿真，跟蹤精度、穩(wěn)定性和計算時間等方面的性能評價如表2所示?？梢钥闯觯瑐鹘y(tǒng)的PF-MeMBer方法由于缺少目標(biāo)緊鄰自適應(yīng)處理，抗干擾能力較差，在目標(biāo)緊鄰或交叉時無法及時分割目標(biāo)狀態(tài)，嚴(yán)重偏離目標(biāo)真實狀態(tài)，所以和的值都比較高；而本發(fā)明方法由于具有目標(biāo)緊鄰自適應(yīng)處理機(jī)制，提供了方法的抗干擾能力，所以跟蹤精度要明顯高于傳統(tǒng)的方法。

表2目標(biāo)交叉干擾跟蹤性能評價

實驗3：目標(biāo)新生及存在遮擋

本組實驗場景中，圖像序列共130幀，在不同幀中出現(xiàn)目標(biāo)新生、消失以及被遮擋等情況，通過本組實驗以驗證本發(fā)明方法對目標(biāo)新生和消失的處理性能，以及對被遮擋目標(biāo)的跟蹤性能。

圖10給出了本發(fā)明方法及傳統(tǒng)PF-MeMBer方法的跟蹤結(jié)果，其中，圖10(a)為傳統(tǒng)PF-MeMBer方法跟蹤結(jié)果，圖10(b)為本發(fā)明方法跟蹤結(jié)果?？梢悦黠@看出，本發(fā)明方法能夠較好地跟蹤新生目標(biāo)及部分被遮擋的目標(biāo)，如圖10(a)和(b)所示的第122、123、125和128幀中，本發(fā)明方法可以有效提取新生目標(biāo)和被部分遮擋目標(biāo)的狀態(tài)，且能正確給出各個目標(biāo)的標(biāo)記，可以識別各個目標(biāo)的運動軌跡，其性能明顯要優(yōu)于傳統(tǒng)的跟蹤方法。

圖11為本組實驗的OSPA值的對比圖，可以看出，傳統(tǒng)PF-MeMBer方法的跟蹤結(jié)果誤差較大，尤其是當(dāng)目標(biāo)4出被部分遮擋后，傳統(tǒng)方法的OSPA值急劇升高；而本發(fā)明方法由于具有較好的抗遮擋能力，所以具有較高的跟蹤精度，跟蹤性能明顯要優(yōu)于傳統(tǒng)方法。

對本組實驗進(jìn)行100次蒙特卡洛仿真，跟蹤精度、穩(wěn)定性和計算時間等方面的性能評價如表3所示?？梢钥闯?，傳統(tǒng)的PF-MeMBer方法由于對目標(biāo)新生和消失不敏感以及缺少目標(biāo)被遮擋問題處理，容易造成漏跟和錯跟現(xiàn)象，抗干擾能力較差，在目標(biāo)被遮擋后，跟蹤窗嚴(yán)重偏離目標(biāo)真實狀態(tài)，所以和值都比較高；而本發(fā)明方法的和值都明顯要低于傳統(tǒng)方法，具有較好的視頻多目標(biāo)跟蹤性能。

表3目標(biāo)新生及被遮擋情況下跟蹤性能評價