本發(fā)明屬于教育技術(shù)領(lǐng)域，涉及一種k12階段的互動(dòng)情景教學(xué)系統(tǒng)。

背景技術(shù)：

作為基礎(chǔ)教育，k12(一般是幼兒園到高三期間的基礎(chǔ)教育)階段的教育越來(lái)越受到關(guān)注，針對(duì)這個(gè)階段學(xué)生的特點(diǎn)，互動(dòng)情景教學(xué)是非常重要的一個(gè)方面。特別是互聯(lián)網(wǎng)教育技術(shù)領(lǐng)域，現(xiàn)有技術(shù)中已經(jīng)有專(zhuān)利申請(qǐng)關(guān)注到互動(dòng)情景教學(xué)方面的技術(shù)，比如：

cn204965778u，公開(kāi)了一種基于虛擬現(xiàn)實(shí)與視覺(jué)定位的幼兒教學(xué)系統(tǒng)，主要通過(guò)主控計(jì)算機(jī)、投影儀、攝像頭和觸控設(shè)備，用于使教師可以方便地在教學(xué)區(qū)域內(nèi)的方位呈現(xiàn)投影畫(huà)面，形成虛擬現(xiàn)實(shí)的全空間虛擬場(chǎng)景教學(xué)環(huán)境，讓幼兒在虛擬環(huán)境中進(jìn)行體驗(yàn)和互動(dòng)操作，并通過(guò)交互觸控設(shè)備獲得幼兒的觸控信號(hào)，通過(guò)攝像頭定位幼兒的位置信息，識(shí)別幼兒的動(dòng)作特征，幼兒互動(dòng)操作的反饋，從而實(shí)現(xiàn)沉浸式互動(dòng)教學(xué)活動(dòng)。

cn106557996a，公開(kāi)了一種第二語(yǔ)言教學(xué)系統(tǒng)，所述系統(tǒng)通過(guò)一個(gè)通過(guò)網(wǎng)絡(luò)和服務(wù)器進(jìn)行電子通訊的計(jì)算裝置、對(duì)用戶的第二語(yǔ)言能力進(jìn)行測(cè)試的語(yǔ)言能力測(cè)試單元、接受用戶學(xué)習(xí)需求信息的學(xué)習(xí)大綱定制單元、用戶在虛擬世界中的一個(gè)或多個(gè)生活仿真交互任務(wù)中與虛擬人物進(jìn)行互動(dòng)的生活仿真部分，以及從服務(wù)器將一個(gè)或多個(gè)生活仿真交互任務(wù)下載到計(jì)算機(jī)上的虛擬場(chǎng)所管理單元等實(shí)現(xiàn)模擬真實(shí)場(chǎng)景和個(gè)性服務(wù)。

us2014220543a1公開(kāi)了一種多導(dǎo)航模式的在線教育系統(tǒng)，所述系統(tǒng)可以設(shè)置多個(gè)提供活動(dòng)的裝置，每個(gè)活動(dòng)與技能、興趣或?qū)ｉL(zhǎng)領(lǐng)域相關(guān)，用戶可以根據(jù)排序性導(dǎo)航模式的裝置選擇多個(gè)排序活動(dòng)中的一個(gè)，并根據(jù)引導(dǎo)性導(dǎo)航模式的裝置從活動(dòng)母群中選擇一個(gè)或多個(gè)技能、興趣或?qū)ｉL(zhǎng)領(lǐng)域中的一個(gè)或多個(gè)活動(dòng)，以創(chuàng)建子群，利用獨(dú)立導(dǎo)航模式的裝置從活動(dòng)目群中選定活動(dòng)，從而提高計(jì)算機(jī)與用戶的互動(dòng)，并允許每個(gè)人有機(jī)會(huì)以有效的方式發(fā)現(xiàn)、探索和瀏覽參與學(xué)習(xí)的內(nèi)容。

cn103282935a公開(kāi)了一種計(jì)算機(jī)實(shí)施系統(tǒng)，包含使得一數(shù)字處理設(shè)備可提供數(shù)個(gè)活動(dòng)的裝置，每個(gè)活動(dòng)與技能、興趣或?qū)ｉL(zhǎng)的領(lǐng)域相關(guān)；使得所述數(shù)字處理設(shè)備可提供一排序性導(dǎo)航模式的裝置，其中所述系統(tǒng)向一用戶呈現(xiàn)了一個(gè)在一個(gè)或多個(gè)技能、興趣或?qū)ｉL(zhǎng)領(lǐng)域中的一個(gè)以上活動(dòng)的預(yù)設(shè)排序，其中所述用戶必須完成所述排序中的每一個(gè)前款活動(dòng)才能繼續(xù)進(jìn)入下一個(gè)；使得所述數(shù)字處理設(shè)備可提供一引導(dǎo)式導(dǎo)航模式的裝置，其中所述系統(tǒng)向所述用戶呈現(xiàn)了一指導(dǎo)者從活動(dòng)母群中選定的一個(gè)或多個(gè)技能、興趣或?qū)ｉL(zhǎng)領(lǐng)域中的一個(gè)或多個(gè)活動(dòng)，以創(chuàng)建活動(dòng)子群；使得所述數(shù)字處理設(shè)備可提供一獨(dú)立導(dǎo)航模式的裝置，其中所述用戶從活動(dòng)母群中選定活動(dòng)，該申請(qǐng)的系統(tǒng)能夠創(chuàng)建可與用戶互動(dòng)的虛擬環(huán)境，使用計(jì)算機(jī)系統(tǒng)的技術(shù)特征來(lái)與用戶互動(dòng)。

cn105573592a公開(kāi)了一種學(xué)前教育智能互動(dòng)系統(tǒng)，包括遙控器、投影鏡頭、主控單元；所有功能應(yīng)用單元的底層開(kāi)發(fā)程序被一個(gè)主框架程序整合在一起，所述功能應(yīng)用單元包括應(yīng)用了ar技術(shù)的互動(dòng)故事單元和利用unity技術(shù)開(kāi)發(fā)的互動(dòng)學(xué)習(xí)單元。

cn106569469a公開(kāi)了一種家庭農(nóng)場(chǎng)遠(yuǎn)程監(jiān)控系統(tǒng)，包括用戶終端和現(xiàn)場(chǎng)終端，所述用戶終端包括處理單元和連接在處理單元上的視頻單元、上位通信單元和控制單元。

cn106527684a公開(kāi)了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行運(yùn)動(dòng)的方法，應(yīng)用于智能終端，所述智能終端包括攝像頭及投影儀，所述方法包括：通過(guò)所述攝像頭采集目標(biāo)特征圖片；獲取與所述目標(biāo)特征圖片對(duì)應(yīng)的虛擬三維素材，并通過(guò)所述投影儀對(duì)所述虛擬三維素材進(jìn)行投射顯示；通過(guò)所述攝像頭采集用戶在投射出的虛擬三維素材中運(yùn)動(dòng)的圖像；通過(guò)所述投影儀對(duì)采集到的所述圖像進(jìn)行投射顯示，以實(shí)現(xiàn)將在現(xiàn)實(shí)中運(yùn)動(dòng)的用戶拉入所述虛擬三維素材對(duì)應(yīng)的虛擬三維環(huán)境中。所述虛擬三維素材為預(yù)先使用虛擬三維素材開(kāi)發(fā)工具根據(jù)所述特征圖片開(kāi)發(fā)出來(lái)并存儲(chǔ)于智能終端中。所述智能終端還包括語(yǔ)音采集部件，通過(guò)所述語(yǔ)音采集部件采集用戶的語(yǔ)音信息；根據(jù)采集到的語(yǔ)音信息調(diào)整投射出的虛擬三維素材中的內(nèi)容，以便于在用戶運(yùn)動(dòng)過(guò)程中與用戶進(jìn)行互動(dòng)。所述虛擬三維素材包括：虛擬三維場(chǎng)景、虛擬三維物體或虛擬三維動(dòng)畫(huà)視頻。

cn10106683501a公開(kāi)了一種ar兒童情景扮演投影教學(xué)方法，包括：s1、采集ar互動(dòng)卡片圖像、用戶面部圖像、用戶實(shí)時(shí)肢體動(dòng)作數(shù)據(jù)、用戶語(yǔ)音，利用深度傳感設(shè)備采集所述用戶實(shí)時(shí)肢體動(dòng)作數(shù)據(jù)；s2、識(shí)別所述ar互動(dòng)卡片圖像的信息，調(diào)用所述ar互動(dòng)卡片對(duì)應(yīng)的3d情景劇模板，所述3d情景劇模板包括3d角色模型和背景模型，所述3d角色模型由面部模型和肢體模型組成，所述背景模型為動(dòng)態(tài)或者靜態(tài)；s3、對(duì)所述用戶面部圖像進(jìn)行切割，將切割后的面部圖像合成到所述3d角色模型的所述面部模型；s4、將所述用戶實(shí)時(shí)肢體動(dòng)作數(shù)據(jù)與所述3d角色模型的所述肢體模型進(jìn)行數(shù)據(jù)交互，控制所述3d角色模型的肢體運(yùn)動(dòng)；s5、對(duì)所述用戶語(yǔ)音進(jìn)行變聲處理；s6、將s2中調(diào)用的所述3d情景劇模板轉(zhuǎn)化為投影投射在投影屏幕上，其中，所述背景模型轉(zhuǎn)化為動(dòng)態(tài)或者靜態(tài)的背景投影，所述3d角色模型根據(jù)所述用戶實(shí)時(shí)肢體動(dòng)作相應(yīng)地轉(zhuǎn)化為動(dòng)態(tài)的3d角色投影，投影的同時(shí)播放變聲處理后的所述用戶語(yǔ)音。

通過(guò)上述現(xiàn)有技術(shù)可以發(fā)現(xiàn)，現(xiàn)有技術(shù)中還沒(méi)有對(duì)于情景教學(xué)完整全面互動(dòng)的技術(shù)構(gòu)思，對(duì)于任何教學(xué)測(cè)試或測(cè)驗(yàn)都是比較難的事情，需要進(jìn)行專(zhuān)門(mén)的處理，很多互動(dòng)情景教學(xué)更多時(shí)候被當(dāng)成了實(shí)踐課，上完課后，沒(méi)有什么值得記錄的東西，對(duì)于考試或者作業(yè)來(lái)講，也非常困難。實(shí)際上，這是因?yàn)檫@樣的情景教學(xué)系統(tǒng)缺少最后用戶反饋的功能和環(huán)節(jié)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述問(wèn)題，本發(fā)明提供一種用于k12階段的互動(dòng)情景教學(xué)系統(tǒng)，包括計(jì)算機(jī)裝置以及與所述計(jì)算機(jī)裝置連接的場(chǎng)景營(yíng)造裝置、圖像采集裝置和用戶終端，

所述圖像采集裝置，包括攝像頭，用于遠(yuǎn)程采集情景教學(xué)的情景音視頻信息；

所述場(chǎng)景營(yíng)造裝置，包括投影設(shè)備和音響設(shè)備，用于將所述計(jì)算機(jī)裝置中存儲(chǔ)的預(yù)定場(chǎng)景或者通過(guò)所述圖像采集裝置獲得的實(shí)際場(chǎng)景投射到目標(biāo)區(qū)域，展現(xiàn)情景教學(xué)場(chǎng)景；

所述用戶終端，包括錄音裝置和攝像裝置，用于獲取用戶音視頻信息以及將用戶的操作指令發(fā)送給所述計(jì)算機(jī)裝置；

所述計(jì)算機(jī)裝置，用于接受所述用戶終端的操作指令，對(duì)所述場(chǎng)景營(yíng)造裝置和所述圖像采集裝置進(jìn)行控制，并且可以將從所述圖像采集裝置獲得的情景音視頻信息和從所述用戶終端獲得的用戶音視頻信息融合保存為一個(gè)音視頻文件。

所述計(jì)算機(jī)裝置包括情景音視頻截取單元、用戶音視頻獲取單元、信息合成保存單元，

所述情景音視頻截取單元，用于根據(jù)教學(xué)目標(biāo)設(shè)置的預(yù)置信息，截取與所述預(yù)置信息相關(guān)的從所述圖像采集裝置獲取的情景音視頻信息的片段，比如視頻片段、音頻片段、截屏圖片等，并且按照順序建立所述預(yù)置信息與所述片段之間的關(guān)聯(lián)關(guān)系；

所述用戶音視頻獲取單元，用于根據(jù)教學(xué)目標(biāo)設(shè)置的所述預(yù)置信息，對(duì)通過(guò)所述用戶終端獲取的用戶音視頻信息進(jìn)行分段處理，并且建立所述預(yù)置信息與所述分段之間的關(guān)聯(lián)關(guān)系；

所述信息合成保存單元，用于將經(jīng)過(guò)所述情景音視頻截取單元和所述用戶音視頻獲取單元分別處理過(guò)的情景音視頻信息和用戶音視頻信息，根據(jù)所述預(yù)置信息合成為一個(gè)音視頻文件，并且保存至所述計(jì)算機(jī)裝置。

所述情景音視頻截取單元進(jìn)一步包括信息預(yù)置單元、信息比對(duì)單元、數(shù)據(jù)截取單元、數(shù)據(jù)保存單元，

所述信息預(yù)置單元，用于根據(jù)教學(xué)目標(biāo)，尤其是教學(xué)目標(biāo)大綱文本信息，提取關(guān)鍵點(diǎn)作為預(yù)置信息，設(shè)置與所述預(yù)置信息對(duì)應(yīng)的音頻和/或圖像作為參考信息；

所述信息比對(duì)單元，用于將所述情景音視頻信息與所述參考信息的音頻和/或圖像進(jìn)行比對(duì)，獲取與所述預(yù)置信息對(duì)應(yīng)的情景音視頻信息的時(shí)間節(jié)點(diǎn)；

所述數(shù)據(jù)截取單元，用于根據(jù)所述時(shí)間節(jié)點(diǎn)，按照預(yù)設(shè)規(guī)則，比如按照固定時(shí)間間隔截取圖像、按照固定時(shí)間間隔截取視頻段、音頻段等，截取與所述預(yù)置信息對(duì)應(yīng)的情景音視頻信息；

所述數(shù)據(jù)保存單元，用于將截取的情景音視頻信息按照順序進(jìn)行保存，并且建立與所述預(yù)置信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系。

所述用戶音視頻獲取單元進(jìn)一步包括音頻識(shí)別單元、文本比對(duì)單元、分段標(biāo)記單元，

所述音頻識(shí)別單元，用于根據(jù)語(yǔ)音識(shí)別模型將獲得用戶音視頻信息中的音頻識(shí)別轉(zhuǎn)換成文本內(nèi)容，并且根據(jù)時(shí)間信息，比如數(shù)字時(shí)間戳信息，建立文本內(nèi)容與用戶音視頻信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系；

所述文本比對(duì)單元，用于根據(jù)所述預(yù)置信息，在所述文本內(nèi)容中進(jìn)行搜索比對(duì)，根據(jù)所述預(yù)置信息對(duì)所述文本內(nèi)容建立對(duì)應(yīng)關(guān)聯(lián)關(guān)系；

所述分段標(biāo)記單元，用于根據(jù)所述音頻識(shí)別單元和所述文本比對(duì)單元分別獲得的對(duì)應(yīng)關(guān)聯(lián)關(guān)系，經(jīng)由所述文本內(nèi)容建立所述預(yù)置信息與用戶音視頻信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系，并且根據(jù)所述預(yù)置信息的關(guān)鍵點(diǎn)對(duì)所述用戶音視頻信息進(jìn)行分段標(biāo)記。

所述信息合成保存單元進(jìn)一步包括對(duì)應(yīng)關(guān)系處理單元、數(shù)據(jù)壓縮處理單元、時(shí)間擬合處理單元、數(shù)據(jù)合成處理單元，

所述對(duì)應(yīng)關(guān)系處理單元，用于將進(jìn)行分段標(biāo)記的所述用戶音視頻信息與所述情景音視頻截取單元截取的情景音視頻信息片段，根據(jù)與所述預(yù)置信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)處理，建立用戶音視頻信息與情景音視頻信息的對(duì)應(yīng)關(guān)系；

所述數(shù)據(jù)壓縮處理單元，用于根據(jù)預(yù)設(shè)規(guī)則，以用戶音視頻信息分段時(shí)間持續(xù)時(shí)間為基準(zhǔn)，對(duì)于對(duì)應(yīng)的情景音視頻信息進(jìn)行壓縮處理，以滿足預(yù)設(shè)規(guī)則的時(shí)間性要求；

所述時(shí)間擬合處理單元，用于根據(jù)壓縮后的情景音視頻信息，對(duì)用戶音視頻信息根據(jù)分段標(biāo)記進(jìn)行擬合處理，比如在分段之間增加空閑時(shí)間，以完成情景音視頻信息的播放；

所述數(shù)據(jù)合成處理單元，用于將完成擬合處理之后的用戶音視頻信息和情景音視頻信息，根據(jù)對(duì)應(yīng)關(guān)系進(jìn)行合成，形成一個(gè)音視頻文件。

將合成的所述音視頻文件通過(guò)所述場(chǎng)景營(yíng)造裝置播放出來(lái)。

將合成的所述音視頻文件作為情景教學(xué)的作業(yè)提交給教師。

所述用戶終端的錄音裝置和攝像裝置是用戶終端自帶的或者外設(shè)的裝置。

所述用戶終端可以是臺(tái)式計(jì)算機(jī)、筆記本電腦、智能手機(jī)、pad。

所述用戶音視頻信息是錄制的用戶在完成情景教學(xué)的學(xué)習(xí)或?qū)嵺`之后，根據(jù)所述教學(xué)目標(biāo)的要求，按照教學(xué)目標(biāo)的關(guān)鍵點(diǎn)順序進(jìn)行的總結(jié)性講解。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明的互動(dòng)情景教學(xué)系統(tǒng)的組成架構(gòu)示意圖；

圖2是根據(jù)本發(fā)明的計(jì)算機(jī)裝置的功能構(gòu)成示意圖；

圖3是根據(jù)本發(fā)明的情景音視頻截取單元的功能構(gòu)成示意圖；

圖4是根據(jù)本發(fā)明的用戶音視頻獲取單元的功能構(gòu)成示意圖；和

圖5是根據(jù)本發(fā)明的信息合成保存單元的功能構(gòu)成示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的實(shí)施例僅僅是用于解釋本發(fā)明，并不是用于限制本發(fā)明。有關(guān)領(lǐng)域的普通技術(shù)人員在不背離本發(fā)明精神的情況下所做的各種變化和變形，都在本發(fā)明的獨(dú)立權(quán)利要求和從屬權(quán)利要求的范圍內(nèi)。

如圖1所示，根據(jù)本發(fā)明的互動(dòng)情景教學(xué)系統(tǒng)的組成架構(gòu)示意圖。根據(jù)本發(fā)明的用于k12階段的互動(dòng)情景教學(xué)系統(tǒng)，包括：計(jì)算機(jī)裝置10、以及與計(jì)算機(jī)裝置10連接的場(chǎng)景營(yíng)造裝置20、圖像采集裝置30和用戶終端40。場(chǎng)景營(yíng)造裝置20、圖像采集裝置30和用戶終端40可以通過(guò)有線網(wǎng)絡(luò)或者無(wú)線網(wǎng)絡(luò)或者通過(guò)有線數(shù)據(jù)線與計(jì)算機(jī)裝置10建立連接關(guān)系。所謂互動(dòng)情景教學(xué)是指用戶特別是k12階段的學(xué)生用戶可以參與到學(xué)習(xí)過(guò)程中的，以生動(dòng)形象的情景激起學(xué)生學(xué)習(xí)情緒的教學(xué)方法。這種教學(xué)通常以生動(dòng)真實(shí)的場(chǎng)景為主要依托。本發(fā)明的互動(dòng)情景教學(xué)優(yōu)選為例如植物生長(zhǎng)觀察、動(dòng)物喂養(yǎng)觀察、天氣情況觀察、手工制作等可以獲得生動(dòng)且具有規(guī)律變化的音視頻信息的教學(xué)場(chǎng)景。當(dāng)然本發(fā)明并不限制具體的教學(xué)場(chǎng)景，只要本發(fā)明的系統(tǒng)根據(jù)其功能判斷可以應(yīng)用其中即可。

圖像采集裝置30，包括至少一個(gè)攝像頭301，用于遠(yuǎn)程采集情景教學(xué)的情景音視頻信息。所述攝像頭301可以帶有音頻采集裝置的攝像頭，也可以是具有單獨(dú)設(shè)置的音頻采集裝置的。優(yōu)選的，所述攝像頭301是高清攝像頭。

場(chǎng)景營(yíng)造裝置20，包括投影設(shè)備201和音響設(shè)備203，用于將計(jì)算機(jī)裝置10中存儲(chǔ)的預(yù)定場(chǎng)景或者通過(guò)圖像采集裝置30獲得的實(shí)際場(chǎng)景投射到目標(biāo)區(qū)域，展現(xiàn)情景教學(xué)場(chǎng)景。優(yōu)選的，場(chǎng)景營(yíng)造裝置20進(jìn)一步包括ar增強(qiáng)現(xiàn)實(shí)顯示裝置204，將需要投射的圖像信息進(jìn)行處理后，以ar的方式展示出來(lái)，用戶可以使用相應(yīng)的觀察設(shè)備進(jìn)行觀看。

用戶終端40，包括錄音裝置401和攝像裝置402，用于獲取用戶音視頻信息以及將用戶的操作指令發(fā)送給所述計(jì)算機(jī)裝置。對(duì)于所述互動(dòng)情景教學(xué)系統(tǒng)可以具有多個(gè)用戶終端40，或者說(shuō)需要獲得許可，用戶就可以使用用戶終端40接入系統(tǒng)。對(duì)于很多智能用戶終端，已經(jīng)集成了錄音裝置401和攝像裝置402，但是為了對(duì)于音視頻數(shù)據(jù)更高質(zhì)量的追求或者其他原因，可以使用錄音和攝像的外設(shè)裝置，比如高保真麥克風(fēng)或者高清攝像頭。根據(jù)本發(fā)明，用戶使用用戶終端40進(jìn)行互動(dòng)情景教學(xué)的學(xué)習(xí)，當(dāng)用戶完成情景教學(xué)的學(xué)習(xí)或?qū)嵺`之后，或者在學(xué)習(xí)結(jié)束之前，根據(jù)教學(xué)目標(biāo)的要求，按照教學(xué)目標(biāo)的關(guān)鍵點(diǎn)順序進(jìn)行的總結(jié)性講解，由此形成本發(fā)明下述的用戶音視頻信息。具體來(lái)說(shuō)，用戶終端40可以是臺(tái)式計(jì)算機(jī)、筆記本電腦、智能手機(jī)、pad，但是其不限于此，只要滿足下列功能的設(shè)備都可以使用。

用戶終端40可以包括：處理器、網(wǎng)絡(luò)模塊、控制模塊、顯示模塊以及智能操作系統(tǒng)；所述用戶終端上可以設(shè)有通過(guò)數(shù)據(jù)總線連接各種拓展類(lèi)設(shè)備和配件的多種數(shù)據(jù)接口；所述智能操作系統(tǒng)包括windows、android及其改進(jìn)、ios，在其上可以安裝、運(yùn)行應(yīng)用軟件，實(shí)現(xiàn)在智能操作系統(tǒng)下的各種應(yīng)用軟件、服務(wù)和應(yīng)用程序商店/平臺(tái)的功能。

用戶終端40可以通過(guò)rj45/wi-fi/藍(lán)牙/2g/3g/4g/g.hn/zigbee/z-ware/rfid等連接方式連接到互聯(lián)網(wǎng)絡(luò)，并借助互聯(lián)網(wǎng)連接到其它的終端或其它電腦及設(shè)備，通過(guò)1394/usb/串行/sata/scsi/pci-e/thunderbolt/數(shù)據(jù)卡接口等多種數(shù)據(jù)接口或者總線方式，通過(guò)hdmi/ypbpr/spdif/av/dvi/vga/trs/scart/displayport等音視頻接口等連接方式，來(lái)連接各種拓展類(lèi)設(shè)備和配件，組成了一個(gè)會(huì)議/教學(xué)設(shè)備互動(dòng)系統(tǒng)。帶有軟件形式的聲音捕捉控制模塊和動(dòng)作捕捉控制模塊，或通過(guò)數(shù)據(jù)總線板載硬件形式的聲音捕捉控制模塊和動(dòng)作捕捉控制模塊，來(lái)實(shí)現(xiàn)聲控和形控功能；通過(guò)音視頻接口連接顯示/投影模塊、麥克風(fēng)、音響設(shè)備和其它音視頻設(shè)備，來(lái)實(shí)現(xiàn)顯示、投影、聲音接入、音視頻播放，以及數(shù)字或模擬的音視頻輸入和輸出功能；通過(guò)數(shù)據(jù)接口連接攝像頭、麥克風(fēng)、電子白板、rfid讀取設(shè)備，實(shí)現(xiàn)影像接入、聲音接入、電子白板的使用控制和錄屏，rfid讀取功能，并通過(guò)相應(yīng)的接口可接入和管控移動(dòng)存儲(chǔ)設(shè)備、數(shù)字設(shè)備和其它設(shè)備；通過(guò)dlna/igrs技術(shù)和互聯(lián)網(wǎng)絡(luò)技術(shù)，來(lái)實(shí)現(xiàn)的包括多屏設(shè)備之間的操控、互動(dòng)和甩屏等功能。

在本發(fā)明中，用戶終端40的處理器定義為包括但不限于：指令執(zhí)行系統(tǒng)，如基于計(jì)算機(jī)/處理器的系統(tǒng)、專(zhuān)用集成電路(asic)、計(jì)算設(shè)備、或能夠從非暫時(shí)性存儲(chǔ)介質(zhì)或非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)取得或獲取邏輯并執(zhí)行非暫時(shí)性存儲(chǔ)介質(zhì)或非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中包含的指令的硬件和/或軟件系統(tǒng)。所述處理器還可以包括任意控制器，狀態(tài)機(jī)，微處理器，基于互聯(lián)網(wǎng)絡(luò)的實(shí)體、服務(wù)或特征，或它們的任意其它模擬的、數(shù)字的和/或機(jī)械的實(shí)現(xiàn)方式。

本發(fā)明中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)定義為包括但不限于：能夠包含、存儲(chǔ)或保持程序、信息及數(shù)據(jù)的任意介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括許多物理介質(zhì)中的任一種，如電子介質(zhì)、磁性介質(zhì)、光介質(zhì)、電磁介質(zhì)或半導(dǎo)體介質(zhì)。合適計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及用戶終端和服務(wù)器使用的存儲(chǔ)器的更具體示例包括但不限于：磁性計(jì)算機(jī)盤(pán)(如軟盤(pán)或硬驅(qū))、磁帶、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦除可編程只讀存儲(chǔ)器(eprom)、光盤(pán)(cd)或數(shù)字視頻光盤(pán)(dvd)、藍(lán)光存儲(chǔ)器、固態(tài)硬盤(pán)(ssd)、閃存。

計(jì)算機(jī)裝置10，用于接受用戶終端40的操作指令，對(duì)場(chǎng)景營(yíng)造裝置20和圖像采集裝置30進(jìn)行控制，并且可以將從圖像采集裝置30獲得的情景音視頻信息和從用戶終端40獲得的用戶音視頻信息融合保存為一個(gè)音視頻文件。計(jì)算機(jī)裝置10可為普通臺(tái)式機(jī)、筆記本電腦、平板電腦等任何滿足實(shí)際需要的商用或家用計(jì)算機(jī)設(shè)備。計(jì)算機(jī)裝置10的上述功能是通過(guò)其功能單元執(zhí)行和實(shí)現(xiàn)的。

用戶使用用戶終端40通過(guò)網(wǎng)絡(luò)或者數(shù)據(jù)電纜以有線或無(wú)線的方式連接到計(jì)算機(jī)裝置10，由此可以接受或者主動(dòng)開(kāi)展情景教學(xué)科目的學(xué)習(xí)。比如用戶可以使用本發(fā)明的系統(tǒng)，可以進(jìn)行這類(lèi)主題的情景學(xué)習(xí)，比如在某種花卉開(kāi)花的季節(jié)，如春天觀察某種花開(kāi)的過(guò)程，秋天紅葉的變化，可以在雷電天氣觀察雷電的情況，還可以比如觀察種子發(fā)芽。作為一個(gè)示例，比如以觀察花卉開(kāi)花的過(guò)程為教學(xué)場(chǎng)景。用戶通過(guò)用戶終端40發(fā)出學(xué)習(xí)指令后，計(jì)算機(jī)裝置10接受指令，獲取用于觀察這種花卉的攝像頭301，所述攝像頭301可以是專(zhuān)門(mén)架設(shè)在野外或者室內(nèi)的攝像頭，也可以是比如植物園或者森林監(jiān)控公共攝像頭，這些攝像頭通過(guò)許可協(xié)議可以進(jìn)行調(diào)用。由于有些花卉的開(kāi)花可能需要較長(zhǎng)時(shí)間，而有些花卉的開(kāi)花時(shí)間可能較短，比如曇花。具體的，要根據(jù)情境教學(xué)的教學(xué)大綱的內(nèi)容，設(shè)置攝像頭301開(kāi)始監(jiān)控和獲取情境音視頻信息的時(shí)間。比如可以從有花苞開(kāi)始，定期的監(jiān)控和獲取音視頻信息，比如根據(jù)這種花的開(kāi)花時(shí)間快慢，設(shè)定相應(yīng)的音視頻信息的間隔獲取時(shí)間。對(duì)于獲得的情境音視頻信息，可以通過(guò)場(chǎng)景營(yíng)造裝置20定期或不定期的進(jìn)行展示，以便于觀察實(shí)時(shí)的狀態(tài)，以及情況變化。

如圖2所示，根據(jù)本發(fā)明的計(jì)算機(jī)裝置的功能構(gòu)成示意圖。計(jì)算機(jī)裝置10包括情景音視頻截取單元110、用戶音視頻獲取單元120、信息合成保存單元130。情景音視頻截取單元110，用于根據(jù)教學(xué)目標(biāo)設(shè)置的預(yù)置信息，截取與預(yù)置信息相關(guān)的從圖像采集裝置30獲取的情景音視頻信息的片段，比如視頻片段、音頻片段、截屏圖片等，并且按照順序建立預(yù)置信息與片段之間的關(guān)聯(lián)關(guān)系。由于情景教學(xué)的學(xué)習(xí)過(guò)程中，可能采集到大量的音視頻信息，但是這些音視頻信息并不是都是必要的。與教學(xué)目標(biāo)設(shè)定的關(guān)鍵點(diǎn)相關(guān)的音視頻信息才是最關(guān)心，從大量的音視頻信息中截取到這樣的信息即可。用戶音視頻獲取單元120，用于根據(jù)教學(xué)目標(biāo)設(shè)置的預(yù)置信息，對(duì)通過(guò)用戶終端40獲取的用戶音視頻信息進(jìn)行分段處理，并且建立預(yù)置信息與分段之間的關(guān)聯(lián)關(guān)系。在此優(yōu)選的是，用戶在完成情景教學(xué)的學(xué)習(xí)之后，根據(jù)教學(xué)目標(biāo)或大綱的要求，對(duì)于教學(xué)目標(biāo)的要求進(jìn)行一一回應(yīng)，由此形成用戶音視頻信息。信息合成保存單元130，用于將經(jīng)過(guò)情景音視頻截取單元110和用戶音視頻獲取單元120分別處理過(guò)的情景音視頻信息和用戶音視頻信息，根據(jù)預(yù)置信息合成為一個(gè)音視頻文件，并且保存至計(jì)算機(jī)裝置10。通過(guò)這種合成，將用戶按照教學(xué)目標(biāo)進(jìn)行的總結(jié)或者稱(chēng)之為作業(yè)類(lèi)的內(nèi)容，與情景教學(xué)過(guò)程中獲得音視頻信息結(jié)合起來(lái)，對(duì)應(yīng)起來(lái)，形成一個(gè)統(tǒng)一的文件，使得一個(gè)學(xué)生完成這樣的觀察或者學(xué)習(xí)之后，再以自己組織的文字，通過(guò)自己的語(yǔ)言說(shuō)出來(lái)，從而讓學(xué)生全程參與了情景教學(xué)，并且有一個(gè)完整的結(jié)束或者學(xué)習(xí)總結(jié)。由此解決了，以往情景教學(xué)過(guò)程很精彩，過(guò)后卻記不起來(lái)的，缺少深入的參與感的狀態(tài)。

如圖3所示，根據(jù)本發(fā)明的情景音視頻截取單元的功能構(gòu)成示意圖。情景音視頻截取單元110進(jìn)一步包括信息預(yù)置單元111、信息比對(duì)單元112、數(shù)據(jù)截取單元113、數(shù)據(jù)保存單元114。信息預(yù)置單元111，用于根據(jù)教學(xué)目標(biāo)，尤其是教學(xué)目標(biāo)大綱文本信息，提取關(guān)鍵點(diǎn)作為預(yù)置信息，設(shè)置與預(yù)置信息對(duì)應(yīng)的音頻和/或圖像作為參考信息。比如對(duì)于花卉開(kāi)花的觀察教學(xué)，教學(xué)目標(biāo)比如觀察花苞期、開(kāi)花期、盛花期、落花期等，就可以提取這些關(guān)鍵點(diǎn)，也就是關(guān)鍵詞作為預(yù)制信息。對(duì)于計(jì)算機(jī)無(wú)法識(shí)別出這些預(yù)制信息的具體含義，要執(zhí)行這些關(guān)鍵點(diǎn)的含義，本發(fā)明優(yōu)選的通過(guò)設(shè)置與所述關(guān)鍵點(diǎn)對(duì)應(yīng)的已有的參考音頻文件或者參考圖片，比如這種花已有的花苞期圖片、開(kāi)花期圖片，如果是觀察閃電，可以是閃電的音頻，這些圖片或音頻作為參考數(shù)據(jù)，計(jì)算機(jī)裝置10在獲得相應(yīng)的信息之后，同與設(shè)置的參考圖片進(jìn)行比較，比如通過(guò)判斷信息比對(duì)單元12，判斷當(dāng)前觀察對(duì)象所處的階段。判斷信息比對(duì)單元12，用于將情景音視頻信息與參考信息的音頻和/或圖像進(jìn)行比對(duì)，獲取與預(yù)置信息對(duì)應(yīng)的情景音視頻信息的時(shí)間節(jié)點(diǎn)。比如在花苞期，根據(jù)花苞期的長(zhǎng)短，間隔一定時(shí)間拍攝一張照片或者截取視頻的一個(gè)圖片，直至進(jìn)入開(kāi)花期，再根據(jù)規(guī)則要求，以及時(shí)間參數(shù)等設(shè)置相應(yīng)的間隔獲取時(shí)間，將這些圖片數(shù)據(jù)連續(xù)播放時(shí)，就可以形成與教學(xué)目標(biāo)的關(guān)鍵點(diǎn)對(duì)應(yīng)的動(dòng)態(tài)變化圖片信息。對(duì)于數(shù)據(jù)的具體截取通過(guò)數(shù)據(jù)截取單元113執(zhí)行，對(duì)于截取后不用的數(shù)據(jù)可以刪除。數(shù)據(jù)截取單元113，用于根據(jù)時(shí)間節(jié)點(diǎn)，按照預(yù)設(shè)規(guī)則，比如按照固定時(shí)間間隔截取圖像、按照固定時(shí)間間隔截取視頻段、音頻段等，截取與預(yù)置信息對(duì)應(yīng)的情景音視頻信息。數(shù)據(jù)保存單元114，用于將截取的情景音視頻信息按照順序進(jìn)行保存，并且建立與預(yù)置信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系。

如圖4所示，是根據(jù)本發(fā)明的用戶音視頻獲取單元的功能構(gòu)成示意圖。用戶音視頻獲取單元120進(jìn)一步包括音頻識(shí)別單元121、文本比對(duì)單元122、分段標(biāo)記單元123。音頻識(shí)別單元121，用于根據(jù)語(yǔ)音識(shí)別模型將獲得用戶音視頻信息中的音頻識(shí)別轉(zhuǎn)換成文本內(nèi)容，并且根據(jù)時(shí)間信息，比如數(shù)字時(shí)間戳信息，建立文本內(nèi)容與用戶音視頻信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系。文本比對(duì)單元122，用于根據(jù)預(yù)置信息，在文本內(nèi)容中進(jìn)行搜索比對(duì)，根據(jù)預(yù)置信息對(duì)文本內(nèi)容建立對(duì)應(yīng)關(guān)聯(lián)關(guān)系。分段標(biāo)記單元123，用于根據(jù)音頻識(shí)別單元和文本比對(duì)單元分別獲得的對(duì)應(yīng)關(guān)聯(lián)關(guān)系，經(jīng)由文本內(nèi)容建立預(yù)置信息與用戶音視頻信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系，并且根據(jù)預(yù)置信息的關(guān)鍵點(diǎn)對(duì)用戶音視頻信息進(jìn)行分段標(biāo)記。用戶學(xué)習(xí)完成之后或者之末，使用用戶終端40將按照教學(xué)目標(biāo)要求的觀察內(nèi)容，用文字描述出來(lái)，或者即興通過(guò)語(yǔ)言概括出來(lái)，當(dāng)然這樣的行為可以是教學(xué)要求的，包括按照教學(xué)目標(biāo)的順序進(jìn)行概括也是教學(xué)的要求。根據(jù)將用戶的語(yǔ)音識(shí)別成文字后，用戶對(duì)于文字內(nèi)容，采用教學(xué)目標(biāo)的關(guān)鍵點(diǎn)進(jìn)行識(shí)別比對(duì)，從而將用戶的音視頻信息分段并且與教學(xué)目標(biāo)關(guān)聯(lián)起來(lái)。

如圖5所示，根據(jù)本發(fā)明的信息合成保存單元的功能構(gòu)成示意圖。信息合成保存單元130進(jìn)一步包括對(duì)應(yīng)關(guān)系處理單元131、數(shù)據(jù)壓縮處理單元132、時(shí)間擬合處理單元133、數(shù)據(jù)合成處理單元134。對(duì)應(yīng)關(guān)系處理單元131，用于將進(jìn)行分段標(biāo)記的用戶音視頻信息與情景音視頻截取單元截取的情景音視頻信息片段，根據(jù)與預(yù)置信息的對(duì)應(yīng)關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)處理，建立用戶音視頻信息與情景音視頻信息的對(duì)應(yīng)關(guān)系。數(shù)據(jù)壓縮處理單元132，用于根據(jù)預(yù)設(shè)規(guī)則，以用戶音視頻信息分段時(shí)間持續(xù)時(shí)間為基準(zhǔn)，對(duì)于對(duì)應(yīng)的情景音視頻信息進(jìn)行壓縮處理，以滿足預(yù)設(shè)規(guī)則的時(shí)間性要求。時(shí)間擬合處理單元133，用于根據(jù)壓縮后的情景音視頻信息，對(duì)用戶音視頻信息根據(jù)分段標(biāo)記進(jìn)行擬合處理，比如在分段之間增加空閑時(shí)間，以完成情景音視頻信息的播放。數(shù)據(jù)合成處理單元134，用于將完成擬合處理之后的用戶音視頻信息和情景音視頻信息，根據(jù)對(duì)應(yīng)關(guān)系進(jìn)行合成，形成一個(gè)音視頻文件。基于教學(xué)的要求或者對(duì)于總結(jié)的要求或者對(duì)于作業(yè)長(zhǎng)度的要求，整個(gè)合成的音視頻文件的長(zhǎng)度是有一定要求的。在這個(gè)過(guò)程中，要根據(jù)實(shí)際情況，對(duì)于情景音視頻數(shù)據(jù)播放的時(shí)間或者數(shù)據(jù)量進(jìn)行調(diào)整，以滿足時(shí)間性的要求，比如加快或減少播放圖片的速度。這種調(diào)整在現(xiàn)有技術(shù)中比較常見(jiàn)，在此不再贅述。優(yōu)選的，將上述合成的音視頻文件通過(guò)場(chǎng)景營(yíng)造裝置20播放出來(lái)。優(yōu)選的，將前述合成的音視頻文件作為情景教學(xué)的作業(yè)提交給教師。

以上介紹了本發(fā)明的較佳實(shí)施方式，旨在使得本發(fā)明的精神更加清楚和便于理解，并不是為了限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的更新、替換、改進(jìn)，均應(yīng)包含在本發(fā)明所附的權(quán)利要求概況的保護(hù)范圍之內(nèi)。