專利名稱：三維標(biāo)記點(diǎn)序列的跟蹤方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域，尤其涉及三維標(biāo)記點(diǎn)序列的跟蹤方法及 其系統(tǒng)。
背景技術(shù)：
二十世紀(jì)八十年代以來(lái)，光學(xué)運(yùn)動(dòng)捕獲技術(shù)日漸成熟，在光學(xué)運(yùn)動(dòng)捕獲中，需要在 捕獲對(duì)象上粘貼反光標(biāo)記點(diǎn)，并用多個(gè)同步的已標(biāo)定攝像機(jī)來(lái)采集這些標(biāo)記點(diǎn)圖像，然后 從圖像中提取出二維標(biāo)記點(diǎn)并進(jìn)行跟蹤與重構(gòu)，得到三維標(biāo)記點(diǎn)坐標(biāo)，然后從中計(jì)算出捕 獲對(duì)象的運(yùn)動(dòng)參數(shù)。由于人體運(yùn)動(dòng)比較復(fù)雜，標(biāo)記點(diǎn)經(jīng)常被肢體遮擋，在跟蹤過(guò)程中不可避免會(huì)導(dǎo)致 標(biāo)記點(diǎn)跟蹤失敗，因此需要一種魯棒的方法提高跟蹤的效果。此外，跟蹤方法不能完全保證所有標(biāo)記點(diǎn)都被正確識(shí)別，因此在實(shí)際的捕獲系統(tǒng) 中需要處理標(biāo)記點(diǎn)丟失的問(wèn)題。目前的運(yùn)動(dòng)捕獲系統(tǒng)中，為了解決標(biāo)記點(diǎn)丟失的問(wèn)題，常常 需要非常繁瑣的人工修補(bǔ)數(shù)據(jù)過(guò)程，如在主流商用系統(tǒng)Vicon iQ中的Fill tools，而且人 工修補(bǔ)數(shù)據(jù)往往需要在人體運(yùn)動(dòng)數(shù)據(jù)方面豐富經(jīng)驗(yàn)的人員完成，一般的人員難以進(jìn)行。另 外人工修補(bǔ)數(shù)據(jù)經(jīng)常會(huì)出現(xiàn)修補(bǔ)錯(cuò)誤的情況，這給后續(xù)幀的準(zhǔn)確運(yùn)動(dòng)跟蹤帶來(lái)很大困難。 因此，需要解決在運(yùn)動(dòng)跟蹤中自動(dòng)修補(bǔ)丟失標(biāo)記點(diǎn)的問(wèn)題。

發(fā)明內(nèi)容
為了解決上述的技術(shù)問(wèn)題，本發(fā)明提供了三維標(biāo)記點(diǎn)序列的跟蹤方法及其系統(tǒng)， 利用給定的人體鏈狀結(jié)構(gòu)模型，從捕獲到的標(biāo)記點(diǎn)序列中，正確跟蹤人體鏈狀結(jié)構(gòu)模型的 剛體中的各個(gè)特征點(diǎn)。本發(fā)明公開(kāi)了一種三維標(biāo)記點(diǎn)序列的跟蹤方法，包括步驟1，讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的剛體 以及每個(gè)剛體上的特征點(diǎn)；步驟2，通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖像，每一 個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo)記點(diǎn)，第一 幀具有已識(shí)別三維標(biāo)記點(diǎn)；步驟3，將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影，所述已識(shí)別三維標(biāo) 記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng)的二維標(biāo)記點(diǎn)，由所述二 維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，所述候選三維標(biāo)記點(diǎn)組成所述剛體 的候選標(biāo)記點(diǎn)集合；步驟4，對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì)算 標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，識(shí)別 所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記點(diǎn)。所述步驟3進(jìn)一步為，
步驟21，將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影；步驟22，在投影周圍的預(yù)設(shè)范圍內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記 點(diǎn)對(duì)應(yīng)于所述已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)；步驟23，依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出所述特征點(diǎn)在當(dāng)前 幀中對(duì)應(yīng)的候選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)
記點(diǎn)集合。所述步驟4還包括步驟31，在枚舉前，從所述候選標(biāo)記點(diǎn)集合中除去不符合約束條件的候選三維標(biāo) 記點(diǎn)；所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足第一預(yù)設(shè)范圍， 同一特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù)設(shè)范圍。所述方法還包括步驟5，如果在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)，則根據(jù)當(dāng)前幀中已識(shí)別出的三維 標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合；所述丟失的三維標(biāo)記點(diǎn)同剛體上在當(dāng)前幀中未被識(shí) 別出的特征點(diǎn)對(duì)應(yīng)；步驟6，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同剛體中 未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。 所述步驟6進(jìn)一步包括步驟51，從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇具有最多在當(dāng)前幀 中已被識(shí)別出特征點(diǎn)的剛體；步驟52，對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記 點(diǎn)集合中選擇所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)；步驟53，重復(fù)所述步驟51，直至所有擁有候選補(bǔ)充三維標(biāo)記點(diǎn)的剛體的特征點(diǎn)都 對(duì)應(yīng)有已識(shí)別三維標(biāo)記點(diǎn)。對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的 剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別三維標(biāo)記 點(diǎn)，則所述步驟5進(jìn)一步包括步驟61，在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維標(biāo) 記點(diǎn)；步驟62，對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在圖 像對(duì)應(yīng)的攝像機(jī)光心出發(fā)的三維反投影光線；步驟63，以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同所 述已識(shí)別三維標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為半 徑，將所述球心和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三維 標(biāo)記點(diǎn)集合。對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的 剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別的三維標(biāo) 記點(diǎn)，則所述步驟5進(jìn)一步包括步驟71，依據(jù)對(duì)象剛體在當(dāng)前幀中已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)和所述已識(shí)別三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)計(jì)算對(duì)象剛體中同一特征點(diǎn)對(duì) 應(yīng)的三維標(biāo)記點(diǎn)從前一幀到當(dāng)前幀的變換參數(shù)R，t ；步驟72，按如下公式計(jì)算丟失的三維標(biāo)記點(diǎn)的候選補(bǔ)充三維點(diǎn)，并放入候選補(bǔ)充 三維標(biāo)記點(diǎn)集合，Mkx = RMj +tM)為丟失的三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)于的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)。本發(fā)明還公開(kāi)了一種三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，包括模型讀取模塊，用于讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu) 模型中的剛體以及每個(gè)剛體上的特征點(diǎn)；投影模塊，用于通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖 像，每一個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo)記 點(diǎn)，第一幀具有已識(shí)別三維標(biāo)記點(diǎn)；候選標(biāo)記點(diǎn)生成模塊，用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投 影，所述已識(shí)別三維標(biāo)記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng)的 二維標(biāo)記點(diǎn)，由所述二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，所述候選三 維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合；識(shí)別模塊，用于對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組 合，計(jì)算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組 合，識(shí)別所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記
點(diǎn)ο所述候選標(biāo)記點(diǎn)生成模塊進(jìn)一步用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影；在投影周圍的預(yù)設(shè)范圍內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記點(diǎn)對(duì)應(yīng)于 所述已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)；依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出所述特征點(diǎn)在當(dāng)前幀中對(duì)應(yīng) 的候選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集
I=I O所述識(shí)別模塊還用于在枚舉前，從所述候選標(biāo)記點(diǎn)集合中除去不符合約束條件的候選三維標(biāo)記點(diǎn)；所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足第一預(yù)設(shè)范圍， 同一特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù)設(shè)范圍。所述系統(tǒng)還包括候選補(bǔ)充點(diǎn)生成模塊，用于在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)時(shí)，根據(jù)當(dāng)前幀中 已識(shí)別出的三維標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合；所述丟失的三維標(biāo)記點(diǎn)同剛體上在 當(dāng)前幀中未被識(shí)別出的特征點(diǎn)對(duì)應(yīng)；補(bǔ)充識(shí)別模塊，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同 剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。所述補(bǔ)充識(shí)別模塊進(jìn)一步用于從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇具有最多在當(dāng)前幀中已被識(shí)別出特征點(diǎn)的剛體；對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中 選擇所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)；重復(fù)上述過(guò)程，直至所有擁有候選補(bǔ)充三維標(biāo)記點(diǎn)的剛體的特征點(diǎn)都對(duì)應(yīng)有已識(shí) 別三維標(biāo)記點(diǎn)。對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的 剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別三維標(biāo)記 點(diǎn)，則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維標(biāo)記點(diǎn)；對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在圖像對(duì)應(yīng)的 攝像機(jī)光心出發(fā)的三維反投影光線；以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同所述已識(shí)別 三維標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為半徑，將所述 球心和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三維標(biāo)記點(diǎn)集
I=I O對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的 剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別的三維標(biāo) 記點(diǎn)，則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于依據(jù)對(duì)象剛體在當(dāng)前幀中已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)和所述已識(shí)別三維標(biāo)記 點(diǎn)在前一幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)計(jì)算對(duì)象剛體中同一特征點(diǎn)對(duì)應(yīng)的三 維標(biāo)記點(diǎn)從前一幀到當(dāng)前幀的變換參數(shù)R，t ；按如下公式計(jì)算丟失的三維標(biāo)記點(diǎn)的候選補(bǔ)充三維點(diǎn)，并放入候選補(bǔ)充三維標(biāo)記 點(diǎn)集合，Mf= RM J +t為丟失的三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)于的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)。本發(fā)明的有益效果在于，給定捕獲對(duì)象的人體鏈狀結(jié)構(gòu)模型，能夠自動(dòng)的從捕獲 到的二維標(biāo)記點(diǎn)中跟蹤與重構(gòu)三維標(biāo)記點(diǎn)；在發(fā)生標(biāo)記點(diǎn)丟失的情況下能夠自動(dòng)補(bǔ)點(diǎn)，避 免了人工補(bǔ)點(diǎn)的繁瑣，提高了補(bǔ)點(diǎn)的效率與精度。


圖1是本發(fā)明的三維標(biāo)記點(diǎn)序列的跟蹤方法流程圖；圖2是一實(shí)施例中觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)的示例圖；圖3(a)為基于單目標(biāo)記點(diǎn)圖像進(jìn)行補(bǔ)點(diǎn)示意圖；圖3(b)為基于剛體中特征點(diǎn)平移向量進(jìn)行補(bǔ)點(diǎn)示意圖；圖3(c)為基于剛體在前后幀之間的剛體變換進(jìn)行補(bǔ)點(diǎn)示意圖；圖3(d)為基于四點(diǎn)構(gòu)成剛體進(jìn)行補(bǔ)點(diǎn)示意圖；圖4是本發(fā)明的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)的結(jié)構(gòu)圖。
9
具體實(shí)施例方式下面結(jié)合附圖，對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。步驟S100，讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的 剛體以及每個(gè)剛體上的特征點(diǎn)。人體鏈狀結(jié)構(gòu)模型中包括剛體，每個(gè)剛體上具有特征點(diǎn)；通過(guò)讀取觀測(cè)對(duì)象的人 體鏈狀結(jié)構(gòu)模型，確定觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型中剛體的數(shù)量和名稱，各個(gè)剛體上特 征點(diǎn)的數(shù)目和名稱，以及剛體上各個(gè)標(biāo)記點(diǎn)間的距離。在一實(shí)施例中的觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)中，下肢結(jié)構(gòu)的剛體包 括腰部，左大腿，右大腿，左小腿，右小腿，左足，右足，共7個(gè)剛體；每個(gè)剛體中包括的特征 點(diǎn)如表1所述。 表 1表1中的LFWT表示左腰前，RFffT表示右腰前，LBffT表示左腰后，RBffT表示右腰 后，LTHI表示左大腿，LKNE表示左膝蓋，RTHI表示右大腿，RKNE表示右膝蓋，LANK表示左 腳踝LSHN表示左小腿，RANK表示右腳踝，RSHN表示右小腿，LTOE表示左拇指，LMT5表示左 小指，LHEE表示左腳跟，RTOE表示右拇指，RMT5表示右小指，RHEE表示右腳跟。表1中特征點(diǎn)在下肢結(jié)構(gòu)中的位置如圖2所示。步驟S200，通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖像，每 一個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo)記點(diǎn)，第 一幀具有已識(shí)別三維標(biāo)記點(diǎn)。其中，每一幀對(duì)應(yīng)于捕捉的運(yùn)動(dòng)的一個(gè)時(shí)刻。已識(shí)別三維標(biāo)記點(diǎn)同剛體上的特征點(diǎn)對(duì)應(yīng)，各個(gè)幀中與同一個(gè)特征點(diǎn)對(duì)應(yīng)的已識(shí) 別三維標(biāo)記點(diǎn)之間相互對(duì)應(yīng)。本步驟所涉及的運(yùn)動(dòng)捕獲技術(shù)是基于計(jì)算機(jī)視覺(jué)的標(biāo)記點(diǎn)匹配和重構(gòu)技術(shù)，在
10“計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法”，吳福朝，科學(xué)出版社，2008，一書中具有詳細(xì)說(shuō)明。運(yùn)動(dòng)捕獲中，人體穿上具有反光點(diǎn)的采集衣，利用多個(gè)攝像機(jī)對(duì)運(yùn)動(dòng)的人體進(jìn)行 捕捉，并以視頻的形式進(jìn)行記錄，在視頻圖像中只有反光點(diǎn)區(qū)域具有比較大的亮度，能夠進(jìn) 行二維標(biāo)記點(diǎn)提取。第一幀中的已識(shí)別三維標(biāo)記點(diǎn)可以是通過(guò)手工配置或者通過(guò)現(xiàn)有技術(shù)中的方法 標(biāo)記出來(lái)，該已識(shí)別三維標(biāo)記點(diǎn)同剛體的三維標(biāo)記點(diǎn)相對(duì)應(yīng)。步驟S300，將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影，所述已識(shí)別三 維標(biāo)記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng)的二維標(biāo)記點(diǎn)，由所 述二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，當(dāng)前幀中的剛體的特征點(diǎn)的候 選三維標(biāo)記點(diǎn)組成所述剛體的在當(dāng)前幀中的候選標(biāo)記點(diǎn)集合。所述步驟S300的一具體實(shí)施方式
如下所述。將前一幀的已識(shí)別的三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影；在投影周圍的預(yù)設(shè)范圍 內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記點(diǎn)對(duì)應(yīng)于所述已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特 征點(diǎn)；依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出當(dāng)前幀中所述特征點(diǎn)對(duì)應(yīng)的候 選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合。所述步驟S300的一實(shí)施例如下所述。步驟S310，將前一幀的已識(shí)別的三維標(biāo)記點(diǎn)投影到當(dāng)前幀的各個(gè)圖像上，得到各 個(gè)已識(shí)別的三維標(biāo)記點(diǎn)在當(dāng)前幀的各個(gè)圖像的投影。對(duì)于一個(gè)幀，每一個(gè)用于采集的攝像機(jī)采集到一個(gè)圖像。步驟S320，以每個(gè)已識(shí)別的三維標(biāo)記點(diǎn)在每個(gè)圖像上的二維投影為中心，在預(yù)設(shè)半徑 內(nèi)搜索當(dāng)前幀中的二維標(biāo)記點(diǎn)，該二維標(biāo)記點(diǎn)對(duì)應(yīng)于該已識(shí)別的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)。步驟S330，對(duì)每個(gè)特征點(diǎn)，利用該特征點(diǎn)對(duì)應(yīng)的二維標(biāo)記點(diǎn)，通過(guò)極幾何約束進(jìn)行 匹配，并重構(gòu)出三維標(biāo)記點(diǎn)，該三維標(biāo)記點(diǎn)作為所述剛體的候選標(biāo)記點(diǎn)。重構(gòu)出的三維標(biāo)記點(diǎn)同其重構(gòu)時(shí)使用的二維標(biāo)記點(diǎn)對(duì)應(yīng)同一特征點(diǎn)。如果某個(gè)前一幀已標(biāo)識(shí)的三維標(biāo)記點(diǎn)在少于2個(gè)圖像上的投影點(diǎn)附近找到二維 標(biāo)記點(diǎn)，則說(shuō)明存在標(biāo)記點(diǎn)丟失現(xiàn)象。極幾何約束是空間中的某一點(diǎn)，分別投影到不同的成像平面上，得到的兩個(gè)點(diǎn)之 間存在極幾何約束，關(guān)于極幾何約束在“計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法”，吳福朝，科學(xué)出版社， 2008，中具有詳細(xì)記載。步驟S400，對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì) 算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，識(shí) 別所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記點(diǎn)。標(biāo)記點(diǎn)標(biāo)注似然函數(shù)定義為
{s,i\h(s,t)=\}其中，h(s，t)表示在同第1個(gè)剛體中兩個(gè)特征點(diǎn)分別對(duì)應(yīng)的標(biāo)記點(diǎn)s，t之間有無(wú) 連接的函數(shù)，當(dāng)標(biāo)記點(diǎn)S，t之間保持剛體距離不變，則h(s，t) =1，否則1!(8，0 =0。保持剛體距離不變?yōu)閷儆谕粋€(gè)剛體上的特征點(diǎn)在運(yùn)動(dòng)的時(shí)候，每?jī)蓚€(gè)特征點(diǎn)之 間距離近似保持不變。表現(xiàn)為在各個(gè)幀間，同一個(gè)剛體上的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)間距
11離近似保持不變。近似保持不變?yōu)樽兓谝粋€(gè)定義的可忽略的偏差范圍內(nèi)。P(Cs, Ct)表示標(biāo)記點(diǎn)s，t的樣本Cs，Ct滿足剛體距離不變的概率，它由下面的公 式定義 集合U(s，t)的定義如下U(s，t) = {[Cs, CJ |dist(Cs, Ct) St1Hdist(C^Ct) < t2 Π|dist(Cs，Ct)-dist' (Cs，Ct) | < t3 Π | dist (Cs，Ct)-dist 〃 (Cs, Ct) | < t4, t2 > 0，t3 > 0}其中dist' (Cs，Ct)是在前一幀中同標(biāo)記點(diǎn)s，t對(duì)應(yīng)于相同兩個(gè)特征點(diǎn)的兩個(gè)標(biāo) 記點(diǎn)之間的距離，dist" (Cs, Ct)是在人體鏈狀結(jié)構(gòu)模型中標(biāo)記點(diǎn)s，t對(duì)應(yīng)的特征點(diǎn)之間 的距離，o2(s，t)是標(biāo)記點(diǎn)s，t之間距離的方差，通過(guò)預(yù)設(shè)獲得，為簡(jiǎn)便起見(jiàn)，在具體實(shí)施 例中對(duì)于任何標(biāo)記點(diǎn)對(duì)s, t o2(s, t)都取為相同的正常數(shù)。在集合U(s，t)中，在當(dāng)前幀標(biāo)記點(diǎn)s，t之間的距離應(yīng)在一個(gè)合理的范圍之內(nèi) dist(cs,ct) > ti η dist(cs,ct) < t2表示標(biāo)記點(diǎn)s，t之間的距離既不能小于、，也不能大 Tt2 ； I dist (Cs, Ct)-dist' (Cs, Ct) I < t3表示標(biāo)記點(diǎn)S, t之間在當(dāng)前幀中的距離與前一 幀中相應(yīng)的距離偏差不能過(guò)大；I dist (Cs，Ct)-dist" (Cs, Ct) I < t4表示標(biāo)記點(diǎn)S, t之間 在當(dāng)前幀中的距離與人體模版中相應(yīng)的距離偏差不能過(guò)大.閾值t1; t2，t3需要事先選取。在較佳的技術(shù)方案中所述步驟S400還包括在枚舉前，從所述候選標(biāo)記點(diǎn)集合中 除去不符合約束條件的候選三維標(biāo)記點(diǎn)；所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo) 記點(diǎn)間距離滿足第一預(yù)設(shè)范圍，同一特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù) 設(shè)范圍。所述步驟S400的具體實(shí)施方式
如下所述。步驟S410，預(yù)設(shè)同一剛體上各個(gè)特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)之間距離的方差， o2(s, t)，預(yù)設(shè)同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足的范圍最大值和最小值， 預(yù)設(shè)同一特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移的最大位移值和最小位移值。步驟S420，對(duì)于每個(gè)剛體的候選標(biāo)記點(diǎn)集合，計(jì)算候選標(biāo)記點(diǎn)集合中兩個(gè)候選三 維標(biāo)記點(diǎn)間的距離，從候選標(biāo)記點(diǎn)集合中除去距離小于最小值或距離大于最大值的候選三 維標(biāo)記點(diǎn)對(duì)。步驟S430，對(duì)于每個(gè)剛體的候選標(biāo)記點(diǎn)集合，計(jì)算候選標(biāo)記點(diǎn)集合中每個(gè)候選三 維標(biāo)記點(diǎn)同前一幀中的對(duì)應(yīng)的已識(shí)別的三維標(biāo)記點(diǎn)間位移，從候選標(biāo)記點(diǎn)集合中除去位移 小于最小位移值或位移大于最大位移值的候選三維標(biāo)記點(diǎn)。如果候選三維標(biāo)記點(diǎn)和前一幀中已識(shí)別的三維標(biāo)記點(diǎn)對(duì)應(yīng)同一個(gè)特征點(diǎn)，則該候 選三維標(biāo)記點(diǎn)和該已識(shí)別的三維標(biāo)記點(diǎn)相對(duì)應(yīng)。步驟S440，在剩下的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì)算標(biāo)記點(diǎn)組合對(duì)應(yīng) 的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，標(biāo)記所述標(biāo)記點(diǎn)組合 中的候選三維標(biāo)記點(diǎn)對(duì)應(yīng)于所述剛體中特征點(diǎn)。計(jì)算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，刪除其它組合。標(biāo)記點(diǎn)標(biāo)注似然函數(shù)定義為 其中，h(s，t)表示在分別對(duì)應(yīng)第1個(gè)剛體中兩個(gè)特征點(diǎn)的標(biāo)記點(diǎn)s，t之間有無(wú)連 接的函數(shù)，當(dāng)標(biāo)記點(diǎn)s, t之間保持剛體距離不變，則h(s，t) = 1，否則h(s，t) = O.P(Cs, Ct)表示標(biāo)記點(diǎn)s, t的樣本Cs，Ct滿足剛體距離不變的概率，它由下面的公式定義 集合U(s，t)的定義如下U (s，t) = P{[CS, CJ Idist (Cs，Ct) >、Π dist(Cs, Ct) < t2 Π|dist(Cs，Ct)-dist' (Cs，Ct) | < t3 Π | dist (Cs，Ct)-dist 〃(Cs，Ct) | < t4，t2 > ti > 0，t3 > 0}其中dist' (Cs，Ct)是在前一幀中同標(biāo)記點(diǎn)s，t對(duì)應(yīng)于相同兩個(gè)特征點(diǎn)的兩個(gè)標(biāo) 記點(diǎn)之間的距離，dist" (Cs, Ct)是在人體鏈狀結(jié)構(gòu)模型中標(biāo)記點(diǎn)s，t對(duì)應(yīng)的特征點(diǎn)之間 的距離，o2(s，t)是標(biāo)記點(diǎn)s，t之間距離的方差，步驟S410中預(yù)設(shè)的方差，為簡(jiǎn)便起見(jiàn)，在 具體實(shí)施例中對(duì)于任何標(biāo)記點(diǎn)對(duì)s, to2(s, t)都取為相同的正常數(shù)。在集合U(s，t)中，在當(dāng)前幀標(biāo)記點(diǎn)s，t之間的距離應(yīng)在一個(gè)合理的范圍之內(nèi) dist (cs,ct) > ti η dist (cs,ct) < t2表示標(biāo)記點(diǎn)s，t之間的距離既不能小于、，也不能大 Tt2 ； I dist (Cs, Ct)-dist' (Cs, Ct) I < t3表示標(biāo)記點(diǎn)S, t之間在當(dāng)前幀中的距離與前一 幀中相應(yīng)的距離偏差不能過(guò)大；I dist (Cs，Ct)-dist" (Cs, Ct) I < t4表示標(biāo)記點(diǎn)S, t之間 在當(dāng)前幀中的距離與人體模版中相應(yīng)的距離偏差不能過(guò)大.閾值t1; t2，t3需要事先選取。如果在當(dāng)前幀中識(shí)別出的對(duì)應(yīng)于剛體上特征點(diǎn)的三維標(biāo)記點(diǎn)數(shù)量少于所述剛體 中特征點(diǎn)的數(shù)量，說(shuō)明當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)。丟失的三維標(biāo)記點(diǎn)的數(shù)量為已識(shí) 別的三維標(biāo)記點(diǎn)數(shù)量同所述剛體中特征點(diǎn)的數(shù)量差值，丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)于剛體上在 當(dāng)前幀中未被識(shí)別出的特征點(diǎn)。在進(jìn)一步的較佳的技術(shù)方法中，解決如何補(bǔ)充丟失標(biāo)記點(diǎn)的問(wèn)題。步驟S500，如果在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)，則根據(jù)當(dāng)前幀中已識(shí)別出的 三維標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合。所述丟失的三維標(biāo)記點(diǎn)同剛體上在當(dāng)前幀中未被識(shí)別出的特征點(diǎn)對(duì)應(yīng)。產(chǎn)生標(biāo)記點(diǎn)丟失的原因存在如下情況(1)在多個(gè)攝影機(jī)采集的圖像中沒(méi)有三維 標(biāo)記點(diǎn)的像，主要由于人體遮擋或攝影機(jī)機(jī)擺放不合理導(dǎo)致；(2)僅有單個(gè)攝影機(jī)采集的 圖像中有三維標(biāo)記點(diǎn)的像，主要由于人體遮擋或攝影機(jī)機(jī)擺放不合理導(dǎo)致；(3)有多個(gè)攝 影機(jī)采集的圖像中有三維標(biāo)記點(diǎn)的像，但由于圖像匹配或系統(tǒng)標(biāo)定誤差的原因?qū)е虏荒苤?構(gòu)出三維標(biāo)記點(diǎn)，從而未成功重構(gòu)標(biāo)記點(diǎn)，導(dǎo)致標(biāo)記點(diǎn)跟蹤失?。?4)有多個(gè)攝影機(jī)采集的 圖像中有三維標(biāo)記點(diǎn)的像且已經(jīng)成功重構(gòu)三維標(biāo)記點(diǎn)，由于識(shí)別三維標(biāo)記點(diǎn)過(guò)程中使用的 閾值偏小而導(dǎo)致標(biāo)記點(diǎn)跟蹤失敗。為了方便表述，當(dāng)前幀為第k巾貞，丟失的三維標(biāo)記點(diǎn)表示為Ii^mj是與Hi1對(duì)應(yīng)的特征點(diǎn)在同一個(gè)剛體上的其他特征點(diǎn)對(duì)應(yīng)的已經(jīng)識(shí)別的三維標(biāo)記點(diǎn)，Mf為第k幀的丟失的三 維標(biāo)記點(diǎn)Hi1三維坐標(biāo)。所述S500的具體實(shí)施方式
一該具體實(shí)施方式
為基于單目標(biāo)記點(diǎn)圖像的方法。若丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體上至少有一個(gè)特征點(diǎn)具有對(duì)應(yīng)的 已經(jīng)重構(gòu)和識(shí)別的三維標(biāo)記點(diǎn)，則可使用本方法。丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體為對(duì)象剛體。步驟S511，在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維 標(biāo)記點(diǎn)。步驟S512，對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在 圖像對(duì)應(yīng)的攝像機(jī)光心出發(fā)的三維反投影光線。計(jì)算方法為若攝影機(jī)矩陣為P3x4 = [H3x3，p4]，則通過(guò)圖像點(diǎn)m與攝影機(jī)光心ο的 直線表示為 其中，Η、是通過(guò)圖像點(diǎn)m直線的無(wú)窮遠(yuǎn)點(diǎn)，-F1P4是攝影機(jī)光心ο在世界坐標(biāo)系 中的坐標(biāo)。該方法出處為“計(jì)算機(jī)視覺(jué)中的數(shù)學(xué)方法”，吳福朝，科學(xué)出版社，2008。步驟S513，以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同 所述已識(shí)別三維標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為 半徑，將所述球心和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三 維標(biāo)記點(diǎn)集合。該實(shí)施方式的具體說(shuō)明如下。設(shè)叫為丟失標(biāo)記點(diǎn)Hi1的圖像，Cl1,」是丟失標(biāo)記點(diǎn)與 同一剛體上已識(shí)別標(biāo)記點(diǎn)II^的距離。基于標(biāo)記點(diǎn)！^的坐標(biāo)M/，丟失標(biāo)記點(diǎn)Hl1的補(bǔ)點(diǎn)候選 結(jié)果可由下面的公式計(jì)算。 其中，X1 = F1HI1, X2 = F1P4, I1,2可通過(guò)下面的公式計(jì)算(如果Δ彡0) 其中， I1和I2是待定參數(shù)，根據(jù)公式1得出，表示通過(guò)標(biāo)記點(diǎn)Hi1和攝像機(jī)光心ο的空間 直線，Mf是丟失標(biāo)記點(diǎn)的三維坐標(biāo)。在圖3(a)中經(jīng)過(guò)攝像機(jī)光心和圖像上的點(diǎn)Hi1可以得到空間中的三維反投影光 線，丟失的標(biāo)記點(diǎn)Mf應(yīng)該位于該三維光線上，M/是在同一剛體上已經(jīng)識(shí)別的標(biāo)記點(diǎn)的三 維坐標(biāo)，以它為球心，以標(biāo)記點(diǎn)間距離Hlj為半徑可以得到一個(gè)三維球面，丟失點(diǎn)的坐標(biāo)肯定 位于該三維光線與球面的交點(diǎn)上，可能存在兩個(gè)交點(diǎn)，因此對(duì)應(yīng)的參數(shù)有Ip I2兩個(gè)。若二維標(biāo)記點(diǎn)是丟失三維標(biāo)記點(diǎn)的像，則丟失三維標(biāo)記點(diǎn)位于該二維標(biāo)記點(diǎn)的三 維反投影光線上。由于丟失標(biāo)記點(diǎn)所在的剛體上至少有一個(gè)標(biāo)記點(diǎn)已經(jīng)重構(gòu)和識(shí)別，所以該丟失標(biāo)記點(diǎn)還位于以識(shí)別標(biāo)記點(diǎn)為球心，已識(shí)別標(biāo)記點(diǎn)和丟失標(biāo)記點(diǎn)之間的距離為半徑 的球面上。由于已知前一幀中該丟失的三維標(biāo)記點(diǎn)和該已識(shí)別標(biāo)記點(diǎn)對(duì)應(yīng)的兩個(gè)已識(shí)別的 三維標(biāo)記點(diǎn)之間的距離，由于剛體間各個(gè)特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)在幀間隔的時(shí)間的運(yùn)動(dòng) 中，距離基本保持不變，僅有微小的變化，因而直用前一幀的兩個(gè)對(duì)應(yīng)點(diǎn)間距離作為當(dāng)前幀 中丟失的三維標(biāo)記點(diǎn)和該已識(shí)別標(biāo)記點(diǎn)的距離。因此丟失的三維標(biāo)記點(diǎn)ml的三維坐標(biāo)可 通過(guò)三維反投影光線和球面相交得到，見(jiàn)公式2，并將兩者的交點(diǎn)放入補(bǔ)點(diǎn)候選集合中。
具體實(shí)施方式
二該具體實(shí)施方式
為基于剛體中標(biāo)記點(diǎn)平移向量的方法。若丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中 具有對(duì)應(yīng)的已經(jīng)重構(gòu)和識(shí)別的三維標(biāo)記點(diǎn)，則可使用本方法。如圖3(b)所示，在前一幀中對(duì)應(yīng)于特征點(diǎn)的已識(shí)別的三維標(biāo)記點(diǎn)為Hi1,對(duì)應(yīng)于 特征點(diǎn)&的已識(shí)別的三維標(biāo)記點(diǎn)為Hij,該兩個(gè)三維標(biāo)記點(diǎn)間向量為Ζ)。=Ml1-M)-1，特 征點(diǎn)在當(dāng)前幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)坐標(biāo)為Μ，，則特征點(diǎn)。在當(dāng)前幀中對(duì)應(yīng)的候 補(bǔ)三維標(biāo)記點(diǎn)為Mf = Mkj^DkJ，將候補(bǔ)三維標(biāo)記點(diǎn)加入候選補(bǔ)充三維標(biāo)記點(diǎn)集合中。該具體實(shí)施方式
出處為 “Least-squares fitting of two 3-D point sets"K. S. Arun, T. S. Huang and S. D. Blostein. PAMI-8, No. 1，Jan. 1986，具體實(shí)施方式
三該具體實(shí)施方式
為基于剛體變換的方法。如果丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀 中具有對(duì)應(yīng)的已經(jīng)重構(gòu)和識(shí)別的三維標(biāo)記點(diǎn)，則可使用本方法。由于剛體結(jié)構(gòu)在運(yùn)動(dòng)過(guò)程中基本保持不變，如果丟失標(biāo)記點(diǎn)Hi1所在的剛體上至少 有三個(gè)三維標(biāo)記點(diǎn)已經(jīng)重構(gòu)和識(shí)別，那么可通過(guò)在該剛體中已經(jīng)識(shí)別的三維標(biāo)記點(diǎn)在當(dāng)前 幀的坐標(biāo)與前一幀的坐標(biāo)計(jì)算剛體變換R，t，丟失的三維標(biāo)記點(diǎn)Hl1的候選補(bǔ)點(diǎn)結(jié)果可通過(guò) 下面的公式計(jì)算Mkl = RMkJ+t，并該結(jié)果放入補(bǔ)點(diǎn)候選集合中。Μ,前一幀中對(duì)應(yīng)于丟失特征點(diǎn)的已識(shí)別三維標(biāo) 記點(diǎn)的三維坐標(biāo)。這個(gè)方法可以得到一種補(bǔ)點(diǎn)的結(jié)果，同時(shí)由于考慮到至少有三點(diǎn)在同一個(gè)剛體上 的情況也肯定可以采用至少有一個(gè)同一剛體上特征點(diǎn)在當(dāng)前幀中具有已識(shí)別標(biāo)記點(diǎn)的條 件，因而采用具體實(shí)施方式
一和/或具體實(shí)施方式
二的方法，這樣，將每一個(gè)丟失的三維標(biāo) 記點(diǎn)可以采用多個(gè)方法得到的補(bǔ)點(diǎn)結(jié)果都放在該點(diǎn)的候選補(bǔ)點(diǎn)點(diǎn)集中。
具體實(shí)施方式
四該具體實(shí)施方式
為基于四點(diǎn)構(gòu)成剛體的方法若丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中 具有對(duì)應(yīng)的已經(jīng)重構(gòu)和識(shí)別的三維標(biāo)記點(diǎn)，則可使用本方法。若丟失標(biāo)記點(diǎn)至少有四個(gè)非共面保持剛體關(guān)系的標(biāo)記點(diǎn)已經(jīng)重構(gòu)和識(shí)別，則可使 用本方法。命題3設(shè){M) ^iXj JpZjff^2為四個(gè)已重構(gòu)和識(shí)別的非共面標(biāo)記點(diǎn)，
15 上面方程是關(guān)于X1, Y1, Z1的線性方程，因而可通過(guò)命題3計(jì)算M^ =(Χι,Υι,Ζ )τ.若與丟失標(biāo)記點(diǎn)Mf保持剛體關(guān)系的至少四個(gè)非共面標(biāo)記點(diǎn)已經(jīng)重構(gòu)和識(shí)別，則 丟失標(biāo)記點(diǎn)和與其保持剛體關(guān)系的標(biāo)記點(diǎn)之間距離WiJ以及已經(jīng)重構(gòu)和識(shí)別的標(biāo)記點(diǎn)之 間的距離{dy}可通過(guò)第k-Ι幀中相應(yīng)標(biāo)記點(diǎn)之間的距離計(jì)算，丟失標(biāo)記點(diǎn)Hi1的候選補(bǔ)點(diǎn) 結(jié)果可通過(guò)命題3計(jì)算，并該結(jié)果放入補(bǔ)點(diǎn)候選集合中。步驟S600，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同剛體 中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。從候選補(bǔ)點(diǎn)集合中選擇正確的標(biāo)記點(diǎn)。步驟S610，從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇在當(dāng)前幀中具有 最多已被識(shí)別出的特征點(diǎn)的剛體。如果在當(dāng)前幀中沒(méi)有識(shí)別出特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)，則認(rèn)為在當(dāng)前幀中該特征 點(diǎn)未被識(shí)別出，如果在當(dāng)前幀中已經(jīng)識(shí)別出特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)，則認(rèn)為在當(dāng)前幀中 該特征點(diǎn)已被識(shí)別出。步驟S620，對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo) 記點(diǎn)集合中選擇所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。步驟S630，重復(fù)所述步驟S610和步驟S620，直至所有可被識(shí)別的三維標(biāo)記點(diǎn)都已 被識(shí)別。通過(guò)上面的方法能夠找到未被識(shí)別特征點(diǎn)的候選補(bǔ)充三維標(biāo)記點(diǎn)的集合，但是并 不是所有未被識(shí)別的特征點(diǎn)都能夠找到候選補(bǔ)充三維標(biāo)記點(diǎn)的集合。本方法處理?yè)碛泻蜻x 補(bǔ)充三維標(biāo)記點(diǎn)的集合的那些未別識(shí)別出的特征點(diǎn)，這些點(diǎn)稱為可被識(shí)別的三維標(biāo)記點(diǎn)。
Mf=(X15^5Z1)7為丟失標(biāo)記點(diǎn)，φ,」為Mf與Mkj之間的距離.若已知Cli,」，則 M14 =CX1 A,Z1廣可通過(guò)下面的公式計(jì)算。 具體出自文獻(xiàn)"Yang, L. Solving spatial constraints with globaldistance coordinate systems. International Journal of ComputationalGeometry and Applications(2006)553-548)”。
本發(fā)明的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)結(jié)構(gòu)如圖4所示。模型讀取模塊100，用于讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié) 構(gòu)模型中的剛體以及每個(gè)剛體上的特征點(diǎn)。投影模塊200，用于通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè) 圖像，每一個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo) 記點(diǎn)，第一幀具有已識(shí)別三維標(biāo)記點(diǎn)。候選標(biāo)記點(diǎn)生成模塊300，用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中 投影，所述已識(shí)別三維標(biāo)記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng) 的二維標(biāo)記點(diǎn)，由所述二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，所述候選 三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合。識(shí)別模塊400，用于對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn) 組合，計(jì)算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn) 組合，識(shí)別所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)
1··己；O一較佳的實(shí)施方式中，候選標(biāo)記點(diǎn)生成模塊300進(jìn)一步用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影；在投影周圍的預(yù)設(shè)范圍內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記點(diǎn)對(duì)應(yīng)于 所述已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)；依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出所述特征點(diǎn)在當(dāng)前幀中對(duì)應(yīng) 的候選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集
I=I O一較佳的實(shí)施方式中，所述識(shí)別模塊400還用于在枚舉前，從所述候選標(biāo)記點(diǎn)集合中除去不符合約束條件的候選三維標(biāo)記點(diǎn)；所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足第一預(yù)設(shè)范圍， 同一特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù)設(shè)范圍。一較佳的實(shí)施方式中，所述系統(tǒng)還包括候選補(bǔ)充點(diǎn)生成模塊，用于在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)時(shí)，根據(jù)當(dāng)前幀中 已識(shí)別出的三維標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合；所述丟失的三維標(biāo)記點(diǎn)同剛體上在 當(dāng)前幀中未被識(shí)別出的特征點(diǎn)對(duì)應(yīng)；補(bǔ)充識(shí)別模塊，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同 剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。進(jìn)一步的，所述補(bǔ)充識(shí)別模塊進(jìn)一步用于從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇具有最多在當(dāng)前幀中已被識(shí) 別出特征點(diǎn)的剛體；對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中 選擇所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)；重復(fù)上述過(guò)程，直至所有擁有候選補(bǔ)充三維標(biāo)記點(diǎn)的剛體的特征點(diǎn)都對(duì)應(yīng)有已識(shí) 別三維標(biāo)記點(diǎn)。進(jìn)一步的，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特
17征點(diǎn)所在的剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí) 別三維標(biāo)記點(diǎn)，則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維標(biāo)記點(diǎn)；對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在圖像對(duì)應(yīng)的 攝像機(jī)光心出發(fā)的三維反投影光線；以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同所述已識(shí)別 三維標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為半徑，將所述 球心和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三維標(biāo)記點(diǎn)集
I=I O進(jìn)一步的，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特 征點(diǎn)所在的剛體為對(duì)象剛體，如果所述對(duì)象剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí) 別的三維標(biāo)記點(diǎn)，則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于依據(jù)對(duì)象剛體在當(dāng)前幀中已識(shí)別 三維標(biāo)記點(diǎn)的三維坐標(biāo)和所述已識(shí)別三維標(biāo)記 點(diǎn)在前一幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)計(jì)算對(duì)象剛體中同一特征點(diǎn)對(duì)應(yīng)的三 維標(biāo)記點(diǎn)從前一幀到當(dāng)前幀的變換參數(shù)R，t ；按如下公式計(jì)算丟失的三維標(biāo)記點(diǎn)的候選補(bǔ)充三維點(diǎn)，并放入候選補(bǔ)充三維標(biāo)記 點(diǎn)集合，Mf= RM j+tM)為丟失的三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)于的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)。本領(lǐng)域的技術(shù)人員在不脫離權(quán)利要求書確定的本發(fā)明的精神和范圍的條件下，還 可以對(duì)以上內(nèi)容進(jìn)行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說(shuō)明，而是由 權(quán)利要求書的范圍來(lái)確定的。
權(quán)利要求
一種三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于，包括步驟1，讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的剛體以及每個(gè)剛體上的特征點(diǎn)；步驟2，通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖像，每一個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo)記點(diǎn)，第一幀具有已識(shí)別三維標(biāo)記點(diǎn)；步驟3，將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影，所述已識(shí)別三維標(biāo)記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng)的二維標(biāo)記點(diǎn)，由所述二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，所述候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合；步驟4，對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì)算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，識(shí)別所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記點(diǎn)。
2.如權(quán)利要求1所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于， 所述步驟3進(jìn)一步為，步驟21，將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影； 步驟22，在投影周圍的預(yù)設(shè)范圍內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記點(diǎn)對(duì) 應(yīng)于所述已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)；步驟23，依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出所述特征點(diǎn)在當(dāng)前幀中 對(duì)應(yīng)的候選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)皇A朱口 ο
3.如權(quán)利要求1所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于， 所述步驟4還包括步驟31，在枚舉前，從所述候選標(biāo)記點(diǎn)集合中除去不符合約束條件的候選三維標(biāo)記占.^ w\ 所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足第一預(yù)設(shè)范圍，同一 特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù)設(shè)范圍。
4.如權(quán)利要求1所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于，所述方法還包括 步驟5，如果在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)，則根據(jù)當(dāng)前幀中已識(shí)別出的三維標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合；所述丟失的三維標(biāo)記點(diǎn)同剛體上在當(dāng)前幀中未被識(shí)別出 的特征點(diǎn)對(duì)應(yīng)；步驟6，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同剛體中未被 識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。
5.如權(quán)利要求4所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于，所述步驟6進(jìn)一步包括步驟51，從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇具有最多在當(dāng)前幀中已 被識(shí)別出特征點(diǎn)的剛體；步驟52，對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集 合中選擇所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)；步驟53，重復(fù)所述步驟51，直至所有擁有候選補(bǔ)充三維標(biāo)記點(diǎn)的剛體的特征點(diǎn)都對(duì)應(yīng) 有已識(shí)別三維標(biāo)記點(diǎn)。
6.如權(quán)利要求4所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體 為對(duì)象剛體，如果所述對(duì)象剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別三維標(biāo)記點(diǎn)， 則所述步驟5進(jìn)一步包括步驟61，在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維標(biāo)記占.步驟62，對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在圖像對(duì) 應(yīng)的攝像機(jī)光心出發(fā)的三維反投影光線；步驟63，以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同所述已 識(shí)別三維標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為半徑，將 所述球心和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三維標(biāo)記 點(diǎn)集合。
7.如權(quán)利要求4所述的三維標(biāo)記點(diǎn)序列的跟蹤方法，其特征在于，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛 體為對(duì)象剛體，如果所述對(duì)象剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別的三維標(biāo)記 點(diǎn)，則所述步驟5進(jìn)一步包括步驟71，依據(jù)對(duì)象剛體在當(dāng)前幀中已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)和所述已識(shí)別三維標(biāo) 記點(diǎn)在前一幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)計(jì)算對(duì)象剛體中同一特征點(diǎn)對(duì)應(yīng)的 三維標(biāo)記點(diǎn)從前一幀到當(dāng)前幀的變換參數(shù)R，t ；步驟72，按如下公式計(jì)算丟失的三維標(biāo)記點(diǎn)的候選補(bǔ)充三維點(diǎn)，并放入候選補(bǔ)充三維 標(biāo)記點(diǎn)集合，Mf= RM j+t為丟失的三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)于的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)。
8.—種三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，包括模型讀取模塊，用于讀取觀測(cè)對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型 中的剛體以及每個(gè)剛體上的特征點(diǎn)；投影模塊，用于通過(guò)運(yùn)動(dòng)捕捉獲得觀測(cè)對(duì)象的運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖像，每 一個(gè)圖像對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)捕捉中的采集攝影機(jī)，所述圖像中具有所述幀的二維標(biāo)記點(diǎn)，第 一幀具有已識(shí)別三維標(biāo)記點(diǎn)；候選標(biāo)記點(diǎn)生成模塊，用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影，所 述已識(shí)別三維標(biāo)記點(diǎn)同特征點(diǎn)對(duì)應(yīng)，依據(jù)所述投影在當(dāng)前幀中搜素出特征點(diǎn)對(duì)應(yīng)的二維標(biāo) 記點(diǎn)，由所述二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)在當(dāng)前幀中的候選三維標(biāo)記點(diǎn)，所述候選三維標(biāo)記 點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合；識(shí)別模塊，用于對(duì)于每個(gè)剛體，從所述剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì) 算標(biāo)記點(diǎn)組合對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的標(biāo)注似然函數(shù)值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，識(shí) 別所述標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為所述剛體中特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記點(diǎn)。
9.如權(quán)利要求8所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，所述候選標(biāo)記點(diǎn)生成模塊進(jìn)一步用于將前一幀的已識(shí)別三維標(biāo)記點(diǎn)在當(dāng)前幀的圖像中投影；在投影周圍的預(yù)設(shè)范圍內(nèi)搜索當(dāng)前幀的二維標(biāo)記點(diǎn)，搜素出的二維標(biāo)記點(diǎn)對(duì)應(yīng)于所述 已識(shí)別三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)；依據(jù)極幾何約束對(duì)所述二維標(biāo)記點(diǎn)進(jìn)行匹配，重構(gòu)出所述特征點(diǎn)在當(dāng)前幀中對(duì)應(yīng)的候 選三維標(biāo)記點(diǎn)，同一剛體的特征點(diǎn)的候選三維標(biāo)記點(diǎn)組成所述剛體的候選標(biāo)記點(diǎn)集合。
10.如權(quán)利要求8所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于， 所述識(shí)別模塊還用于在枚舉前，從所述候選標(biāo)記點(diǎn)集合中除去不符合約束條件的候選三維標(biāo)記點(diǎn)； 所述約束條件為同一剛體中的特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)間距離滿足第一預(yù)設(shè)范圍，同一 特征點(diǎn)對(duì)應(yīng)三維標(biāo)記點(diǎn)在相鄰幀中的位移滿足第二預(yù)設(shè)范圍。
11.如權(quán)利要求8所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，所述系統(tǒng)還包括 候選補(bǔ)充點(diǎn)生成模塊，用于在當(dāng)前幀中存在丟失的三維標(biāo)記點(diǎn)時(shí)，根據(jù)當(dāng)前幀中已識(shí)別出的三維標(biāo)記點(diǎn)建立候選補(bǔ)充三維標(biāo)記點(diǎn)集合；所述丟失的三維標(biāo)記點(diǎn)同剛體上在當(dāng)前 幀中未被識(shí)別出的特征點(diǎn)對(duì)應(yīng)；補(bǔ)充識(shí)別模塊，依據(jù)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇同剛體 中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)。
12.如權(quán)利要求11所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，所述補(bǔ)充識(shí)別模 塊進(jìn)一步用于從在當(dāng)前幀中具有未被識(shí)別出特征點(diǎn)的剛體中，選擇具有最多在當(dāng)前幀中已被識(shí)別出 特征點(diǎn)的剛體；對(duì)于選出的所述剛體，通過(guò)所述標(biāo)注似然函數(shù)從所述候選補(bǔ)充三維標(biāo)記點(diǎn)集合中選擇 所述剛體中未被識(shí)別的特征點(diǎn)對(duì)應(yīng)的三維標(biāo)記點(diǎn)；重復(fù)上述過(guò)程，直至所有擁有候選補(bǔ)充三維標(biāo)記點(diǎn)的剛體的特征點(diǎn)都對(duì)應(yīng)有已識(shí)別三 維標(biāo)記點(diǎn)。
13.如權(quán)利要求4所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛體 為對(duì)象剛體，如果所述對(duì)象剛體上至少有一個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別三維標(biāo)記點(diǎn)， 則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于在當(dāng)前幀的所有圖像中搜索尚未用于重構(gòu)已識(shí)別的三維標(biāo)記點(diǎn)的二維標(biāo)記點(diǎn)； 對(duì)于每個(gè)二維標(biāo)記點(diǎn)，計(jì)算所述二維標(biāo)記點(diǎn)的從所述二維標(biāo)記點(diǎn)所在圖像對(duì)應(yīng)的攝像 機(jī)光心出發(fā)的三維反投影光線；以對(duì)象剛體具有的一個(gè)已識(shí)別三維標(biāo)記點(diǎn)為球心，以前一幀中分別同所述已識(shí)別三維 標(biāo)記點(diǎn)和所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)之間的距離為半徑，將所述球心 和所述半徑確定的球面上同所述三維反投影光線的交點(diǎn)放入候選補(bǔ)充三維標(biāo)記點(diǎn)集合。
14.如權(quán)利要求11所述的三維標(biāo)記點(diǎn)序列的跟蹤系統(tǒng)，其特征在于，對(duì)于一個(gè)當(dāng)前幀丟失的三維標(biāo)記點(diǎn)，所述丟失的三維標(biāo)記點(diǎn)對(duì)應(yīng)的特征點(diǎn)所在的剛 體為對(duì)象剛體，如果所述對(duì)象剛體上至少有三個(gè)特征點(diǎn)在當(dāng)前幀中具有已識(shí)別的三維標(biāo)記 點(diǎn)，則所述候選補(bǔ)充點(diǎn)生成模塊進(jìn)一步用于依據(jù)對(duì)象剛體在當(dāng)前幀中已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)和所述已識(shí)別三維標(biāo)記點(diǎn)在 前一幀中對(duì)應(yīng)的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)計(jì)算對(duì)象剛體中同一特征點(diǎn)對(duì)應(yīng)的三維標(biāo) 記點(diǎn)從前一幀到當(dāng)前幀的變換參數(shù)R，t ；按如下公式計(jì)算丟失的三維標(biāo)記點(diǎn)的候選補(bǔ)充三維點(diǎn)，并放入候選補(bǔ)充三維標(biāo)記點(diǎn)集I=I，Mkl = RMkj^tMj為丟失的三維標(biāo)記點(diǎn)在前一幀中對(duì)應(yīng)于的已識(shí)別三維標(biāo)記點(diǎn)的三維坐標(biāo)。
全文摘要
本發(fā)明涉及三維標(biāo)記點(diǎn)序列的跟蹤方法及系統(tǒng)，方法包括步驟1，讀取人體鏈狀結(jié)構(gòu)模型，確定剛體和特征點(diǎn)；步驟2，獲得運(yùn)動(dòng)圖像的幀，每一幀具有多個(gè)圖像，圖像中具有二維標(biāo)記點(diǎn)，第一幀具有已識(shí)別三維標(biāo)記點(diǎn)；步驟3，在當(dāng)前幀的圖像中投影前一幀已識(shí)別三維標(biāo)記點(diǎn)，依據(jù)投影搜素出特征點(diǎn)對(duì)應(yīng)的二維標(biāo)記點(diǎn)，由二維標(biāo)記點(diǎn)重構(gòu)出特征點(diǎn)的候選三維標(biāo)記點(diǎn)，組成候選標(biāo)記點(diǎn)集合；步驟4，從剛體的候選標(biāo)記點(diǎn)集合中枚舉出標(biāo)記點(diǎn)組合，計(jì)算對(duì)應(yīng)的標(biāo)注似然函數(shù)值，保留最大的值對(duì)應(yīng)的標(biāo)記點(diǎn)組合，識(shí)別標(biāo)記點(diǎn)組合中的候選三維標(biāo)記點(diǎn)為特征點(diǎn)在當(dāng)前幀中的三維標(biāo)記點(diǎn)。本發(fā)明能夠從捕獲到的標(biāo)記點(diǎn)序列中，正確跟蹤人體鏈狀結(jié)構(gòu)模型的剛體中的各個(gè)特征點(diǎn)。
文檔編號(hào)G06T7/20GK101894377SQ20101019919
公開(kāi)日2010年11月24日 申請(qǐng)日期2010年6月7日 優(yōu)先權(quán)日2010年6月7日
發(fā)明者夏時(shí)洪, 毛天露, 王文中, 鄧小明, 黃武 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所