本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別涉及一種基于實時建模的虛擬在線互動教學(xué)方法及系統(tǒng)。

背景技術(shù)：

1、虛擬現(xiàn)實技術(shù)是仿真技術(shù)的一個重要方向，是仿真技術(shù)與計算機圖形學(xué)、人機接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)的集合。虛擬現(xiàn)實技術(shù)主要涉及模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面，虛擬現(xiàn)實已成為當(dāng)前科技企業(yè)的研究熱點。隨著教學(xué)的多樣化發(fā)展，研究人員越發(fā)渴望將虛擬現(xiàn)實技術(shù)運用到在線教學(xué)中。

2、在現(xiàn)有的在線教學(xué)方案中，網(wǎng)絡(luò)遠程教育可以很好地彌補課堂教學(xué)的不足，使學(xué)習(xí)不受時空限制，也可以共享資源，解決教育資源緊張的問題，但網(wǎng)絡(luò)教育也存在一些缺陷，如難以創(chuàng)設(shè)沉浸式的教學(xué)情景，教師與學(xué)生、學(xué)生與學(xué)生之間實時交互比較困難，以及學(xué)習(xí)同伴之間的協(xié)同支持學(xué)習(xí)難以建立等，同時現(xiàn)有的虛擬現(xiàn)實教學(xué)中無法實現(xiàn)多種控制模式下的多元化教學(xué)，從而降低了在線教學(xué)的靈活性。

3、因此，需要提供一種基于實時建模的虛擬在線互動教學(xué)方法及系統(tǒng)，用于基于實時建模，實現(xiàn)在線互動教學(xué)方法，提高了在線教學(xué)的靈活性和互動性。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于實時建模的虛擬在線互動教學(xué)系統(tǒng)，包括：信息采集模塊，用于實時采集教學(xué)現(xiàn)場的圖像信息和聲音信息；圖像處理模塊，用于基于所述信息采集模塊采集的教學(xué)現(xiàn)場的圖像，實時提取老師的關(guān)鍵點信息；實時建模模塊，用于根據(jù)老師的關(guān)鍵點信息，實時構(gòu)建所述老師對應(yīng)的3d人物模型；參數(shù)獲取模塊，用于獲取教師端的最優(yōu)交互參數(shù)和至少一個待交互的學(xué)生端的最優(yōu)交互參數(shù)；所述信息采集模塊還用于實時采集所述至少一個待交互的學(xué)生端的動作信息及聲音信息；所述實時建模模塊還用于對于每個所述待交互的學(xué)生端，根據(jù)所述待交互的學(xué)生端的動作信息，實時構(gòu)建所述待交互的學(xué)生端對應(yīng)的3d人物模型；場景生成模塊，用于對于每個所述待交互的學(xué)生端，基于所述待交互的學(xué)生端的最優(yōu)交互參數(shù)、所述老師對應(yīng)的3d人物模型和教學(xué)現(xiàn)場的聲音信息，生成學(xué)生端虛擬教學(xué)場景，還用于基于教師端的最優(yōu)交互參數(shù)、所述待交互的學(xué)生端對應(yīng)的3d人物模型及所述待交互的學(xué)生端的聲音信息，生成教師端虛擬教學(xué)場景；場景交互模塊，包括教師端及學(xué)生端，其中，所述教師端用于顯示所述教師端虛擬教學(xué)場景，所述學(xué)生端用于顯示對應(yīng)的學(xué)生端虛擬教學(xué)場景。

2、進一步地，所述信息采集模塊包括設(shè)置在所述教學(xué)現(xiàn)場的多個圖像采集裝置；所述信息采集模塊實時采集教學(xué)現(xiàn)場的圖像信息，包括：將所述多個圖像采集裝置調(diào)整至對應(yīng)的初始位姿；所述多個圖像采集裝置在所述初始位姿下，采集教學(xué)現(xiàn)場的初始圖像信息；基于所述多個圖像采集裝置在所述初始位姿下采集的教學(xué)現(xiàn)場的初始圖像信息，識別老師的身份信息；基于所述老師的身份信息，判斷是否預(yù)存有所述老師對應(yīng)的最優(yōu)圖像采集參數(shù)；若是，獲取所述老師對應(yīng)的最優(yōu)圖像采集位姿集合，基于所述老師對應(yīng)的最優(yōu)圖像采集位姿集合實時采集教學(xué)現(xiàn)場的圖像信息，其中，所述最優(yōu)圖像采集位姿集合包括每個所述圖像采集裝置的最優(yōu)采集位姿；若否，獲取所述老師對應(yīng)的歷史教學(xué)視頻，基于所述老師對應(yīng)的歷史教學(xué)視頻，生成所述老師對應(yīng)的最優(yōu)圖像采集位姿集合，基于所述老師對應(yīng)的最優(yōu)圖像采集位姿集合實時采集教學(xué)現(xiàn)場的圖像信息。

3、進一步地，所述信息采集模塊基于所述老師對應(yīng)的歷史教學(xué)視頻，生成所述老師對應(yīng)的最優(yōu)圖像采集位姿集合，包括：基于所述老師對應(yīng)的歷史教學(xué)視頻，確定所述老師對應(yīng)的目標(biāo)活動范圍；基于所述多個圖像采集裝置在所述初始位姿下采集的教學(xué)現(xiàn)場的初始圖像信息，確定所述老師的人體特征信息；通過位姿確定模型基于所述老師對應(yīng)的目標(biāo)活動范圍和人體特征信息，生成所述老師對應(yīng)的最優(yōu)圖像采集位姿集合。

4、進一步地，所述信息采集模塊基于所述老師對應(yīng)的最優(yōu)圖像采集位姿集合實時采集教學(xué)現(xiàn)場的圖像信息，包括：基于所述老師對應(yīng)的目標(biāo)活動范圍和最優(yōu)圖像采集位姿集合，從所述多個圖像采集裝置中確定基準(zhǔn)圖像采集裝置；對于每個所述圖像采集裝置，通過坐標(biāo)轉(zhuǎn)換模型基于所述圖像采集裝置相對于所述基準(zhǔn)圖像采集裝置的圖像坐標(biāo)轉(zhuǎn)換矩陣；獲取每個所述圖像采集裝置實時采集的教學(xué)現(xiàn)場的局部圖像信息；基于每個所述圖像采集裝置相對于所述基準(zhǔn)圖像采集裝置的圖像坐標(biāo)轉(zhuǎn)換矩陣，對每個所述圖像采集裝置實時采集的教學(xué)現(xiàn)場的局部圖像信息進行融合，生成所述教學(xué)現(xiàn)場的實時圖像信息。

5、進一步地，所述圖像處理模塊基于所述信息采集模塊采集的教學(xué)現(xiàn)場的圖像，實時提取老師的關(guān)鍵點信息，包括：對所述教學(xué)現(xiàn)場的實時圖像信息進行預(yù)處理，生成預(yù)處理后的教學(xué)現(xiàn)場的實時圖像信息，其中，所述預(yù)處理至少包括去噪處理及縮放處理；使用計算機視覺技術(shù)對預(yù)處理后的教學(xué)現(xiàn)場的實時圖像信息進行關(guān)鍵點提取，提取所述老師的關(guān)鍵點信息。

6、進一步地，所述實時建模模塊根據(jù)老師的關(guān)鍵點信息，實時構(gòu)建所述老師對應(yīng)的3d人物模型，包括：使用三維建模軟件或算法庫，根據(jù)老師的相關(guān)信息生成所述老師對應(yīng)的初始3d人物模型；根據(jù)所述老師的關(guān)鍵點信息，計算出所述老師的每個關(guān)節(jié)的位置和旋轉(zhuǎn)角度；根據(jù)骨骼結(jié)構(gòu)，將所述老師的每個關(guān)節(jié)的位置和旋轉(zhuǎn)角度轉(zhuǎn)換為骨骼動畫的關(guān)鍵幀；將所述骨骼動畫的關(guān)鍵幀應(yīng)用到所述老師對應(yīng)的初始3d人物模型上，生成所述老師對應(yīng)的實時骨骼動畫。

7、進一步地，所述場景生成模塊基于所述待交互的學(xué)生端的最優(yōu)交互參數(shù)、所述老師對應(yīng)的3d人物模型和教學(xué)現(xiàn)場的聲音信息，生成學(xué)生端虛擬教學(xué)場景，包括：基于所述待交互的學(xué)生端的最優(yōu)交互參數(shù)，生成所述待交互的學(xué)生端的對應(yīng)的虛擬空間；將所述老師對應(yīng)的3d人物模型和教學(xué)現(xiàn)場的聲音信息引入到所述虛擬空間中，構(gòu)建所述學(xué)生端虛擬教學(xué)場景。

8、進一步地，所述參數(shù)獲取模塊獲取待交互的學(xué)生端的最優(yōu)交互參數(shù)，包括：獲取所述待交互的學(xué)生端的學(xué)生基礎(chǔ)信息，其中，所述學(xué)生基礎(chǔ)信息至少包括年齡信息及近視度數(shù)信息；基于所述待交互的學(xué)生端的學(xué)生基礎(chǔ)信息，確定最優(yōu)瞳距、最優(yōu)屈光度、初始亮度及初始色溫；基于所述初始亮度及初始色溫，建立多個測試環(huán)境，其中，所述測試環(huán)境至少包括測試亮度和測試色溫；獲取所述待交互的學(xué)生端的學(xué)生對所述多個測試環(huán)境的測試反饋；基于所述待交互的學(xué)生端的學(xué)生對所述多個測試環(huán)境的測試反饋對所述初始亮度及初始色溫進行調(diào)整，生成最優(yōu)亮度及最優(yōu)色溫，其中，所述最優(yōu)交互參數(shù)至少包括最優(yōu)瞳距、最優(yōu)屈光度、最優(yōu)亮度及最優(yōu)色溫。

9、進一步地，所述場景生成模塊還用于：生成學(xué)生端虛擬實驗場景和教師端虛擬實驗場景；基于所述信息采集模塊實時采集的所述至少一個待交互的學(xué)生端的動作信息，更新所述學(xué)生端虛擬實驗場景和教師端虛擬實驗場景。

10、本發(fā)明提供一種基于實時建模的虛擬在線互動教學(xué)方法，應(yīng)用于上述的一種基于實時建模的虛擬在線互動教學(xué)系統(tǒng)，包括：實時采集教學(xué)現(xiàn)場的圖像信息和聲音信息；基于教學(xué)現(xiàn)場的圖像，實時提取老師的關(guān)鍵點信息；根據(jù)老師的關(guān)鍵點信息，實時構(gòu)建所述老師對應(yīng)的3d人物模型；獲取至少一個待交互的學(xué)生端的最優(yōu)交互參數(shù)；對于每個所述待交互的學(xué)生端，基于所述待交互的學(xué)生端的最優(yōu)交互參數(shù)、所述老師對應(yīng)的3d人物模型和教學(xué)現(xiàn)場的聲音信息，生成學(xué)生端虛擬教學(xué)場景；學(xué)生端顯示對應(yīng)的學(xué)生端虛擬教學(xué)場景；實時采集所述至少一個待交互的學(xué)生端的動作信息及聲音信息；對于每個所述待交互的學(xué)生端，根據(jù)所述待交互的學(xué)生端的動作信息，實時構(gòu)建所述待交互的學(xué)生端對應(yīng)的3d人物模型；基于教師端的最優(yōu)交互參數(shù)、所述待交互的學(xué)生端對應(yīng)的3d人物模型及所述待交互的學(xué)生端的聲音信息，生成教師端虛擬教學(xué)場景；教師端顯示所述教師端虛擬教學(xué)場景。

11、相比于現(xiàn)有技術(shù)，本發(fā)明提供的一種基于實時建模的虛擬在線互動教學(xué)方法及系統(tǒng)，至少具備以下有益效果：

12、1、通過實時捕捉教室內(nèi)老師多個角度全身畫面，并將其貼到3d人物模型上，實現(xiàn)了對老師動作的實時分析和骨骼動畫的生成，使得虛擬教學(xué)環(huán)境更加真實和生動；同時，學(xué)生可以通過學(xué)生端設(shè)備登錄虛擬空間在線教學(xué)平臺，與老師進行實時交流、提問和回答問題，提高了學(xué)習(xí)的互動性和個性化程度。

13、2、通過獲取待交互的學(xué)生端的最優(yōu)交互參數(shù)，生成更匹配學(xué)生的視覺的學(xué)生端虛擬教學(xué)場景，并基于教師端的最優(yōu)交互參數(shù)，生成更匹配老師的視覺的教師端虛擬教學(xué)場景，提高學(xué)生和老師的體驗感。

14、3、通過建立學(xué)生端虛擬實驗場景，使得學(xué)生可以利用虛擬空間中的虛擬實驗和模擬操作進行實踐，進一步提高學(xué)習(xí)效果。