專利名稱：三維場(chǎng)景模型生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維技術(shù)領(lǐng)域，特別涉及一種三維場(chǎng)景模型生成方法，尤其涉及一種基于草圖的三維場(chǎng)景模型生成方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)上三維模型數(shù)量的增加(例如Google3D Warehouse等模型庫)和越來越成熟的利用二維草圖檢索三維模型的技術(shù)的發(fā)展，合理利用單個(gè)模型組合成所需場(chǎng)景的技術(shù)成為了可能。大量的研究表明隨意畫的二維草圖既可以用來做模型檢索也可以提供場(chǎng)景中物體的位置信息來幫助優(yōu)化場(chǎng)景模型的放置，這些都極大的減輕了建模的工作量。本發(fā)明的技術(shù)背景主要源自上述兩個(gè)方面。
在利用草圖進(jìn)行模型檢索方面最主流方法為“How do humans sketch objects”一文以及其引文中闡述的內(nèi)容。這些方法致力于改進(jìn)由單幅草圖檢索模型的效果，往往很少考慮場(chǎng)景中模型間的語義關(guān)系。并且由于二維草圖的局限性，在表達(dá)內(nèi)容和空間位置關(guān)系方面存在很大的歧義，這些方法都只能高度依賴用戶去解決這些歧義
近些 年，在自動(dòng)優(yōu)化三維模型位置方面的研究也取得了一些進(jìn)展，這些研究的主要目標(biāo)是將模型擺放在合理的位置上生成美觀的場(chǎng)景。最直接的應(yīng)用就是如何自動(dòng)確定各種家具擺放的位置從而使房間變得美觀舒適。這些研究主要包括^Interactivefurniture layout using interior design guidelines，，、“Make it home:automaticoptimization of furniture arrangement，，、“Context-based search for3D models，，等。
當(dāng)前比較主流的基于草圖生成三維模型的方法如“Magic canvas:1nteractivedesign of a3_d scene prototype from freehandsketches，，、“Sketch-Based Search andComposition of3D Models”、“Sketch-to-Design:Context_based Part Assembly”都是基于單個(gè)物體的設(shè)計(jì)模式:先從二維草圖檢索出三維模型，然后放置模型。由于不考慮物體間的語義關(guān)系，這些方法的效果要求每個(gè)草圖都必須精確檢索出所需模型。為了做到這一點(diǎn)，這些系統(tǒng)需要大量用戶干預(yù)，也需要許多專業(yè)知識(shí)。發(fā)明內(nèi)容
(一)要解決的技術(shù)問題
本發(fā)明要解決的技術(shù)問題是，針對(duì)現(xiàn)有技術(shù)的不足，提供一種三維場(chǎng)景模型生成方法，在最少用戶干預(yù)的前提下，自動(dòng)從輸入草圖生成準(zhǔn)確并且美觀的三維場(chǎng)景。
(二)技術(shù)方案
本發(fā)明提供一種三維場(chǎng)景模型生成方法，包括:
S1:預(yù)處理階段:
Sll:從場(chǎng)景模型庫中分析提取出場(chǎng)景的多個(gè)物體結(jié)構(gòu)組，其中每一個(gè)物體結(jié)構(gòu)組定義場(chǎng)景中物體間的語義關(guān)系；
S12:統(tǒng)計(jì)擬合出每個(gè)物體結(jié)構(gòu)組間物體的相對(duì)位置，并計(jì)算出高斯分布函數(shù)；
S2:生成階段:
S21:輸入由草圖表示的場(chǎng)景，并對(duì)所述草圖中的每一個(gè)物體在模型庫中進(jìn)行檢索；
S22:結(jié)合S21的檢索結(jié)果和SI中的語義關(guān)系，確定所述草圖對(duì)應(yīng)的物體模型；
S23:根據(jù)所述草圖計(jì)算對(duì)應(yīng)物體模型的初始位置；
S24:根據(jù)S23計(jì)算出的初始位置和S12中的高斯分布函數(shù)，并結(jié)合梯度下降法尋找局部最優(yōu)位置，該局部最優(yōu)位置就是模型的合理擺放位置，根據(jù)該位置擺放每一個(gè)S22中的物體模型，得到最終場(chǎng)景模型。
其中，在Sll中，利用數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則從場(chǎng)景中提取由Apriori算法定義的關(guān)聯(lián)程度最高的常見物體結(jié)構(gòu)組；
其中，S23具體包括:對(duì)放在地面上的物體直接按一定比例投影到場(chǎng)景中的地面上，對(duì)放置在其它物體上的物體，從所述輸入草圖中利用圖像方法匹配出支撐面，在支撐面上插值，計(jì)算出其相對(duì)支撐物體的位置。
其中，在Sll中，所述多個(gè)物體結(jié)構(gòu)組的數(shù)量為至少一個(gè)物體結(jié)構(gòu)組。
(三)有益效果
本發(fā)明的方法充分利用場(chǎng)景的語義信息，提高了利用草圖檢索模型方法的準(zhǔn)確率，在最少人工干預(yù)的前提下自動(dòng)解決輸入草圖中的歧義性，使沒有專業(yè)知識(shí)的用戶也可以利用本發(fā)明的系統(tǒng)創(chuàng)作出與專業(yè)人士相媲美的場(chǎng)景模型。另外，本發(fā)明有著良好的可擴(kuò)展性，所提出的結(jié)構(gòu)組的概念也可以為解決其他領(lǐng)域的問題提供一種思路。


圖1是本發(fā)明三維場(chǎng)景模型生成方法步驟流程圖2是本發(fā)明基于草圖生成三維場(chǎng)景模型方法實(shí)例I的處理流程圖3是基于草圖生成三維場(chǎng)景模型方法的部分結(jié)果以及在相同模型庫上制作的結(jié)果示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
如圖1所示，本發(fā)明提供一種三維場(chǎng)景模型生成方法，包括:
S1:預(yù)處理階段:
Sll:從場(chǎng)景模型庫中分析提取出場(chǎng)景的多個(gè)物體結(jié)構(gòu)組，其中每一個(gè)物體結(jié)構(gòu)組定義場(chǎng)景中物體間的語義關(guān)系；
S12:統(tǒng)計(jì)擬合出每個(gè)物體結(jié)構(gòu)組間物體的相對(duì)位置，并計(jì)算出高斯分布函數(shù)；
S2:生成階段:
S21:輸入由草圖表示的場(chǎng)景，并對(duì)所述草圖中的每一個(gè)物體在模型庫中進(jìn)行檢索；
S22:結(jié)合S21的檢索結(jié)果和SI中的語義關(guān)系，確定所述草圖對(duì)應(yīng)的物體模型；
S23:根據(jù)所述草圖計(jì)算對(duì)應(yīng)物體模型的初始位置；
S24:根據(jù)S23計(jì)算出的初始位置和S12中的高斯分布函數(shù)，并結(jié)合梯度下降法尋找局部最優(yōu)位置，該局部最優(yōu)位置就是模型的合理擺放位置，根據(jù)該位置擺放每一個(gè)S22中的物體模型，得到最終場(chǎng)景模型。
其中，在Sll中，利用數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則從場(chǎng)景中提取由Apriori算法定義的關(guān)聯(lián)程度最高的常見物體結(jié)構(gòu)組；(Apriori算法是一種挖掘關(guān)聯(lián)規(guī)則的頻繁項(xiàng)集算法，其核心思想是通過候選集生成和情節(jié)的向下封閉檢測(cè)兩個(gè)階段來挖掘頻繁項(xiàng)集。而且算法已經(jīng)被廣泛的應(yīng)用到商業(yè)、網(wǎng)絡(luò)安全等各個(gè)領(lǐng)域)
其中，S23具體包括:對(duì)放在地面上的物體直接按一定比例投影到場(chǎng)景中的地面上，對(duì)放置在其它物體上的物體，從所述輸入草圖中利用圖像方法匹配出支撐面，在支撐面上插值，計(jì)算出其相對(duì)支撐物體的位置。
其中，在Sll中，所述多個(gè)物體結(jié)構(gòu)組的數(shù)量為至少一個(gè)物體結(jié)構(gòu)組。
實(shí)施例1
圖2是本發(fā)明基于草圖生成三維場(chǎng)景模型方法實(shí)例I的處理流程圖，如圖2所示:
(I)處理階段:
該階段主要從場(chǎng)景數(shù)據(jù)庫中分析提取出常見的結(jié)構(gòu)組。比如圖1中展示了兩個(gè)結(jié)構(gòu)組“電視一柜子”和“床頭柜一床一床頭柜”。第一個(gè)結(jié)構(gòu)組中“電視”和“柜子”的關(guān)系是“電視”放在“柜子”上，并且從擬合出高斯函數(shù)可以看到“電視”中心相對(duì)“柜子”中心的分布。第二個(gè)結(jié)構(gòu)組中“床”和兩個(gè)“床頭柜”都放在地上，并且兩個(gè)“床頭柜” 一般都放在“床”兩側(cè)接近對(duì)稱的位置。
(2)運(yùn)行階段:
運(yùn)行階段由如下四個(gè)部分組成:
a.輸入一幅場(chǎng)景草圖，可以看到場(chǎng)景草圖中不同的物體以不同的顏色表示，及場(chǎng)景草圖是“分割”好的。
b.將輸入場(chǎng)景草圖中的每一個(gè)物體的草圖用圖像匹配的方法去模型庫中與所有模型不同視角生成的輪廓圖像匹配，將模型庫中所有模型按相似度降序排列。從中可以看到由于單幅草圖檢索模型的局限性，并不能保證每個(gè)期望的類別的模型都排列在第一個(gè)。
c.對(duì)每個(gè)物體草圖取出前100個(gè)候選模型進(jìn)行組合優(yōu)化，每一個(gè)組合除了考慮草圖匹配的得分以外，如果其中包含有預(yù)處理階段提取出的結(jié)構(gòu)組，則還會(huì)加上預(yù)定義的結(jié)構(gòu)組的得分。以一種貪心的方式取出得分最高的組合，從而得到場(chǎng)景草圖中每個(gè)物體對(duì)應(yīng)的最終模型。從草圖估計(jì)出每個(gè)模型的位置，將模型放置在各自估計(jì)的位置上。
定義一個(gè)關(guān)于物體平移和旋轉(zhuǎn)的勢(shì)函數(shù)，該勢(shì)函數(shù)同時(shí)要求場(chǎng)景中包含的結(jié)構(gòu)組中物體的相對(duì)位置關(guān)系盡量服從預(yù)定的高斯函數(shù)，又要求每個(gè)物體的位置和朝向不能離初始估計(jì)的位置太遠(yuǎn)。利用梯度下降法搜索出一個(gè)局部最優(yōu)解，將模型放置在最終確定的位置上。
如圖3所示，第一列是一些輸入草圖，第二列是由邀請(qǐng)的專業(yè)美工人員根據(jù)草圖在相同的模型庫上制作出來的場(chǎng)景。第三、四、五列為本發(fā)明的系統(tǒng)自動(dòng)生成的結(jié)果。可以看到，本發(fā)明生成的結(jié)果和美工制作的結(jié)果在視覺效果上基本相當(dāng)。
以上實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1.一種三維場(chǎng)景模型生成方法，其特征在于，包括: S1:預(yù)處理階段: 511:從場(chǎng)景模型庫中分析提取出場(chǎng)景的多個(gè)物體結(jié)構(gòu)組，其中每一個(gè)物體結(jié)構(gòu)組定義場(chǎng)景中物體間的語義關(guān)系； 512:統(tǒng)計(jì)擬合出每個(gè)物體結(jié)構(gòu)組間物體的相對(duì)位置，并計(jì)算出高斯分布函數(shù)； S2:生成階段: 521:輸入由草圖表示的場(chǎng)景，并對(duì)所述草圖中的每一個(gè)物體在模型庫中進(jìn)行檢索； 522:結(jié)合S21的檢索結(jié)果和SI中的語義關(guān)系，確定所述草圖對(duì)應(yīng)的物體模型； 523:根據(jù)所述草圖計(jì)算對(duì)應(yīng)物體模型的初始位置； 524:根據(jù)S23計(jì)算出的初始位置和S12中的高斯分布函數(shù)，并結(jié)合梯度下降法尋找局部最優(yōu)位置，該局部最優(yōu)位置就是模型的合理擺放位置，根據(jù)該位置擺放每一個(gè)S22中的物體模型，得到最終場(chǎng)景模型。
2.如權(quán)利要求1所述的方法，其特征在于，在Sll中，利用數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則從場(chǎng)景中提取由Apriori算法定義的關(guān)聯(lián)程度最高的常見物體結(jié)構(gòu)組。
3.如權(quán)利要求1所述的方法，其特征在于，S23具體包括:對(duì)放在地面上的物體直接按一定比例投影到場(chǎng)景中的地面上，對(duì)放置在其它物體上的物體，從所述輸入草圖中利用圖像方法匹配出支撐面，在支撐面上插值，計(jì)算出其相對(duì)支撐物體的位置。
4.如權(quán)利要求1所述的方法，其特征在于，在Sll中，所述多個(gè)物體結(jié)構(gòu)組的數(shù)量為至少一個(gè)物體結(jié)構(gòu)組。
全文摘要
本發(fā)明提供一種三維場(chǎng)景模型生成方法，S11從場(chǎng)景模型庫中分析提取出場(chǎng)景的物體結(jié)構(gòu)組以及物體間的語義關(guān)系；S12統(tǒng)計(jì)擬合出每個(gè)物體結(jié)構(gòu)組間物體的相對(duì)位置，并計(jì)算高斯分布函數(shù)；S21對(duì)所述草圖中的每一個(gè)物體在模型庫中進(jìn)行檢索；S22確定所述草圖對(duì)應(yīng)的模型；S23根據(jù)所述草圖計(jì)算對(duì)應(yīng)物體的初始位置；S24根據(jù)S23計(jì)算出的初始位置和S12中的高斯分布函數(shù)，并結(jié)合梯度下降法尋找局部最優(yōu)位置，根據(jù)該位置擺放每一個(gè)S22中的物體模型，得到最終場(chǎng)景模型。本發(fā)明的方法充分利用場(chǎng)景的語義信息，提高了利用草圖檢索模型方法的準(zhǔn)確率，在最少人工干預(yù)的前提下自動(dòng)解決輸入草圖中的歧義性。
文檔編號(hào)G06T17/00GK103198522SQ201310144170
公開日2013年7月10日 申請(qǐng)日期2013年4月23日 優(yōu)先權(quán)日2013年4月23日
發(fā)明者徐昆, 陳康, 孫偉倫, 胡事民 申請(qǐng)人:清華大學(xué)