一種自動人體三維重建系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種自動人體三維重建系統(tǒng)，涉及計(jì)算機(jī)視覺領(lǐng)域人體模型重建。
【背景技術(shù)】
[0002] 許多基于視覺的人體運(yùn)動捕捉研究都是把人體的體型作為一個先驗(yàn)知識，并且高 質(zhì)量的人體模型在計(jì)算機(jī)視覺領(lǐng)域有著廣泛的應(yīng)用。
[0003] 現(xiàn)有的利用相機(jī)重建人體模型的方法大體可以分為三大類：1、利用多個相機(jī)同時 采集數(shù)據(jù)，利用多視圖重建的方法可以重建出人體點(diǎn)云模型。2、利用機(jī)器學(xué)習(xí)的方法，學(xué)習(xí) 出人體輪廓跟人體骨骼、人體體型的一種映射關(guān)系。3、利用深度相機(jī)獲取深度信息，然后利 用深度信息獲取人體的姿態(tài)，形體信息。第一類需要搭設(shè)多相機(jī)的信息采集系統(tǒng)，而且需要 對這些相機(jī)進(jìn)行標(biāo)定，環(huán)境搭建比較復(fù)雜。第二種方法需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練。由于 目前深度相機(jī)的成本還是比較高，因此第三種方法獲取信息的成本較高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明公開了一種自動人體三維重建系統(tǒng)，其目的在于整體或部分地解決一個或 多個上述問題或缺點(diǎn)，以提供至少以下描述的優(yōu)點(diǎn)。
[0005] 相比以往的系統(tǒng)，只需使用一個普通的相機(jī)與計(jì)算機(jī)，系統(tǒng)組成比較簡單。
[0006] 不需要過多人為操作，自動化程度較高，重建精度較高。
[0007] 為了整體或者部分實(shí)現(xiàn)上述目的，本發(fā)明公開的自動人體三維重建系統(tǒng)，其特征 在于包括以下步驟：
[0008] (1)利用相機(jī)拍攝人運(yùn)動的視頻。
[0009] (2)提取圖像上人體的關(guān)節(jié)點(diǎn)，并將關(guān)節(jié)點(diǎn)轉(zhuǎn)換成三維的人體骨架。
[0010] (3)對圖像上的人體從運(yùn)動學(xué)上進(jìn)行分割。
[0011] (4)對分割出來的部分進(jìn)行三維重建。
[0012] (5)利用重建出來的結(jié)果對線性蒙皮模型進(jìn)行變形。
[0013] (6)計(jì)算人體運(yùn)動過程中的剛性部分，得到高質(zhì)量的人體三維模型。
【附圖說明】
【附圖說明】 [0014] 用于提供對本發(fā)明技術(shù)方案的進(jìn)一步理解，并構(gòu)成說明書的一部分，與 本發(fā)明的實(shí)施一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對本發(fā)明技術(shù)方案的限制。附圖 說明如下：
[0015] 圖1為自動人體三維重建系統(tǒng)的硬件組成圖。
[0016] 圖2為該系統(tǒng)模塊二數(shù)據(jù)處理流程圖。
【具體實(shí)施方式】
[0017] 以下將結(jié)合附圖來詳細(xì)說明本發(fā)明的實(shí)施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段 來解決問題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。
[0018] 模塊一、數(shù)據(jù)采集。直接用相機(jī)拍攝一個運(yùn)動的人，得到一個視頻。101部分為一 個相機(jī)，102部分為一臺普通電腦。
[0019] 模塊二、數(shù)據(jù)處理。該模塊主要包括步驟：201、2D關(guān)節(jié)點(diǎn)、3D骨架獲取；202、在2D 圖像人體運(yùn)動學(xué)分割；203、三維重建與點(diǎn)云變形；204、計(jì)算人體三維模型剛性部分。
[0020] 201、2D關(guān)節(jié)點(diǎn)、3D骨架獲取：利用活動混合模型（Flexible Mixture model)提取 出圖像上的人體關(guān)節(jié)，再利用投影匹配適應(yīng)（Projected Matching Pursuit)算法恢復(fù)出人 體的三維姿態(tài)。
[0021] 202、在2D圖像人體運(yùn)動學(xué)分割：雖然人體是一個比較復(fù)雜的非剛性體，但是我們 可以將它看做是由許多剛性體構(gòu)成的，換句話說，人體很小的一個局部在運(yùn)動中具有很大 的一致性。我們就根據(jù)人體運(yùn)動中的這種"局部一致性"對圖像上的人體進(jìn)行分割。
[0022] 在線性蒙皮模型LBS (Linear Blend Skinning)模型中，人體被劃分為16個剛性 體。因此，我們將圖像上的人體也劃分為16個剛性部分。由于LBS模型有比較準(zhǔn)確的劃分， 因此我們把線性蒙皮模型（LBS)模型的輪廓作為一部分先驗(yàn)知識，圖像上的關(guān)節(jié)點(diǎn)作為另 一部分先驗(yàn)知識。
[0023] 考慮這樣一個條件隨機(jī)場X，它定義了變量（X1，…，XN}，每個變量的取值 為L=U1, I2，…，I1J。我們把圖像看做是一個條件隨機(jī)場I，U1，…，I N}，N是 圖像上像素的個數(shù)。表示圖像上第j個像素的值，X1就是該像素的類別。因 此，條件隨機(jī)場（I，X)就滿足Gibbs分布
，這 里g = (V，ε )是一個圖。因此在完全成對連接條件隨機(jī)場中（fully connected pairwise CRF)，對應(yīng)的吉布斯（Gibbs)能量為：
'其中
其中&是第乂1部 分輪廓的重心。匕是第X1部分骨骼的重心。Q是該點(diǎn)關(guān)于Χι部分的運(yùn)動系數(shù)。Cx,主要是 計(jì)算第j個像素點(diǎn)的位移與第X1部分骨骼重心的位移的關(guān)系。設(shè)第j個像素點(diǎn)的位移為 d,，第\部分骨骼重心的位移為& '

μ (X1, Xj)是由波特（Potts Model)給出，I1, Ij, Pl，別指像素點(diǎn)的值和像素點(diǎn)的位置。 最小化這個能量函數(shù)就可以得到圖像上人體的運(yùn)動學(xué)分割。
[0024] 203、三維重建與點(diǎn)云變形：對分割出來的每個部分進(jìn)行重建。這里用稠密光流算 法獲取對應(yīng)關(guān)系。然后利用多視圖算法進(jìn)行重建。接著使用一致性點(diǎn)漂移（Coherent Point Drift)算法對線性蒙皮模型（LBS)進(jìn)行變形。
[0025] 204、計(jì)算人體三維模型剛性部分：利用變形前的LBS模型和變形之后的LBS 模型計(jì)算人體運(yùn)動過程中的剛性部分。我們以點(diǎn)云上的三角面片為基本單元，對三角 面片的兩條邊進(jìn)行變換。F/y y = 2,3表示第i幀中第k個三角面片的兩個邊;代表 變換之后的兩條邊，代代表我們的非剛性變換。因此，我們可以寫出這樣的代價函數(shù)：
代可以用一個低維子空間來近似表 示，即
μ就是我們要求的運(yùn)動中的剛性部分。當(dāng)?shù)趇中對第k個三角面片進(jìn) 行了變形，那么p = 1，反之p = 〇。wd是一個權(quán)重。
[0026] 本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的系統(tǒng)結(jié)構(gòu)和各個步驟可以用通用的 計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個的計(jì)算裝置上，或者分布在多個計(jì)算裝置組成的網(wǎng) 絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲在存 儲裝置中由計(jì)算裝置來執(zhí)行，或者將他們分別制作成各個集成電路模塊，或者將它們中的 多個模塊或步驟制作成單個集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件 和軟件結(jié)合。
[0027] 雖然本發(fā)明所示出和描述的實(shí)施方式如上，但是所述的內(nèi)容只是為了便于理解本 發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在 不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式上以及細(xì)節(jié)上做任何的修 改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種自動人體三維重建系統(tǒng)，其特征是包含以下主要模塊： 模塊一、數(shù)據(jù)采集：直接用相機(jī)拍攝一個運(yùn)動的人，得到一個視頻。 模塊二、數(shù)據(jù)處理：該模塊主要包括步驟：201、2D關(guān)節(jié)點(diǎn)、3D骨架獲??；202、在2D圖像 人體運(yùn)動學(xué)分割；203、三維重建與點(diǎn)云變形；204、計(jì)算人體三維模型剛性部分。2. 權(quán)利要求1中所述方法的模塊二中步驟202的特征在于：利用人體的運(yùn)動信息對2D 圖像進(jìn)行分割，其能量函數(shù)為：部分輪廓的重心，\是第X1部分骨骼的重心，是該點(diǎn)關(guān)于Χι部分的運(yùn)動系數(shù)，q主要是 計(jì)算第j個像素點(diǎn)的位移與第X1部分骨骼重心的位移的關(guān)系，設(shè)第j個像素點(diǎn)的位移為屯， 第^部分骨骼重心的位移為'μ (X1, Xj)是由波特（PottS)模型給出，I1, Ij, P1, 口汾別指像素 點(diǎn)的值和像素 點(diǎn)的位 置，最小化該能量函數(shù)就可以得到圖像上人體的運(yùn)動學(xué)分割。3. 權(quán)利要求1中所述方法的模塊二中步驟204的特征在于：最小化代價函數(shù)：表示第i幀中第k個 三角面片的兩個邊，代表變換之后的兩條邊，A代表我們的非剛性變換，/?可以用一個 低維子空間來近似表示，即A=Uf+y. μ就是我們要求的運(yùn)動中的剛性部分，當(dāng)?shù)趇中 對第k個三角面片進(jìn)行變形，那么P = 1，反之P =0, Wd是一個權(quán)重。
【專利摘要】本發(fā)明是一種利用視頻進(jìn)行人體三維重建的系統(tǒng)，屬于計(jì)算機(jī)視覺領(lǐng)域。本發(fā)明解決的問題是：用普通相機(jī)101拍攝人運(yùn)動的視頻，電腦102借助2D關(guān)節(jié)點(diǎn)、3D骨骼，利用人的運(yùn)動信息對圖像上的人體進(jìn)行分割、重建，實(shí)現(xiàn)了運(yùn)動中對人體模型進(jìn)行重建。本發(fā)明的主要算法的核心部分在于利用人體的運(yùn)動信息對圖像上的人體進(jìn)行分割，將人體這一復(fù)雜非剛性體轉(zhuǎn)化成許多剛性體的組合。本發(fā)明提出的方法能夠簡單、廉價的獲取比較準(zhǔn)確的人體三維模型。
【IPC分類】G06T17/00
【公開號】CN105184861
【申請?zhí)枴緾N201510688248
【發(fā)明人】周余, 朱海宇, 于耀, 彭成磊, 都思丹, 王自強(qiáng), 高之泉, 唐炳驍, 陳希, 李云, 董晨
【申請人】南京大學(xué)
【公開日】2015年12月23日
【申請日】2015年10月20日