本發(fā)明涉及投影儀，具體為一種基于人機交互的ai智能投影儀。

背景技術(shù)：

1、人機交互智能投影儀是一種結(jié)合了投影技術(shù)和智能交互技術(shù)的設(shè)備，通過使用觸控、語音識別、手勢識別等技術(shù)，實現(xiàn)人機交互的功能。這種設(shè)備不僅能投射圖像，還能通過各種交互方式進行操控，提升用戶的體驗。

2、現(xiàn)階段傳統(tǒng)的投影儀在手勢和語音識別的準確性和實時性方面存在不足，用戶在使用過程中可能會遇到誤識別和響應(yīng)延遲等問題，影響整體使用體驗。此外，缺乏對用戶行為的預(yù)測能力，使得系統(tǒng)不易于主動調(diào)整和優(yōu)化，導(dǎo)致用戶滿意度降低。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于人機交互的ai智能投影儀，解決了背景技術(shù)中提到的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：包括傳感器處理模塊、人機交互接口模塊、人機交互算法模塊、用戶行為預(yù)測模塊和評估模塊；

3、所述傳感器處理模塊用于在智能投影儀上安裝硬件配置采集用戶的手勢圖像和語音音頻，并將所采集到的手勢圖像和語音音頻進行預(yù)處理；

4、所述人機交互接口模塊用于構(gòu)建深度學習模型，對所采集到的手勢圖像和語音音頻進行深度學習，并提取手勢圖像和語音音頻的生物特征；

5、所述人機交互算法模塊用于依據(jù)所構(gòu)建的深度學習模型，對所提取到的生物特征進行構(gòu)建手勢識別算法輸出識別出的手勢類別f(x)，進行識別用戶手勢，同時構(gòu)建語音識別算法提取梅爾頻率倒譜系數(shù)mfcc進行識別用戶語音特征；

6、所述用戶行為預(yù)測模塊用于使用強化學習算法q-learning預(yù)測用戶行為，并使用q-learning的q值評估用戶滿意度，輸出用戶滿意得分s；

7、所述評估模塊用于使用手勢識別算法和語音識別算法對用戶輸入的手勢特征和語音特征，進行計算獲取綜合準確率a，并進行預(yù)設(shè)準確率閾值z進行初步評估，并進一步結(jié)合用戶滿意得分s和綜合準確率a，進行相關(guān)聯(lián)計算獲取綜合評估結(jié)果e進行全面評估系統(tǒng)性能。

8、優(yōu)選的，所述傳感器處理模塊包括數(shù)據(jù)采集單元和數(shù)據(jù)預(yù)處理單元；

9、所述數(shù)據(jù)采集單元用于在智能投影儀上安裝攝像頭和麥克風，分別使用攝像頭捕捉用戶手勢圖像，同時使用麥克風錄制用戶語音指令；

10、所述數(shù)據(jù)預(yù)處理單元包括圖像預(yù)處理單元和語音預(yù)處理單元；

11、所述圖像預(yù)處理單元用于對所采集到的手勢圖像使用高斯濾波器去除圖像噪聲，同時使用直方圖均衡化圖像對比度，再通過自動檢測方法確定手勢區(qū)域的邊界，根據(jù)邊界坐標從原圖像中提取手勢區(qū)域，并將所提取的手勢區(qū)域進行匯總生成手勢圖像數(shù)據(jù)集；

12、所述語音預(yù)處理單元用于對所采集到的語音指令使用頻譜減法去除背景噪音，從帶噪語音頻譜中減去估計的噪聲頻譜，對降噪后的頻譜進行逆變換，恢復(fù)時域信號，再語音指令音頻分割成25ms，根據(jù)幀長和幀移將音頻信號分割成多個短幀，并將這些短幀進行匯總生成語音指令數(shù)據(jù)集。

13、優(yōu)選的，所述人機交互接口模塊包括手勢識別模型單元、語音識別模型單元和模型集成單元；

14、所述手勢識別模型單元用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)cnn模型提取手勢圖像數(shù)據(jù)集中的手勢特征，再使用全連接層進行分類，并通過手勢圖像數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)cnn模型，將提取的手勢圖像特征傳遞給lstm網(wǎng)絡(luò)，處理手勢的時序信息；

15、所述語音識別模型單元用于使用深度神經(jīng)網(wǎng)絡(luò)dnn從語音指令數(shù)據(jù)集中提取高級特征，在使用librosa庫語音指令數(shù)據(jù)集語音信號中提取mfcc特征，同時將語音指令進行標注，并通過標注好的語音指令數(shù)據(jù)進行訓(xùn)練語音識別模型，使用隱馬爾可夫模型hmm對語音信號的序列進行解碼，識別連續(xù)的語音命令；

16、所述模型集成單元用于將所構(gòu)建的手勢識別模型和語音識別模型，通過編寫主程序?qū)崿F(xiàn)多模態(tài)交互，整合到智能投影儀系統(tǒng)中。

17、優(yōu)選的，所述人機交互算法模塊包括手勢算法單元、語音識別算法單元和準確率分析單元；

18、所述手勢算法單元用于通過智能投影儀實時采集到的手勢圖像經(jīng)過預(yù)處理后，輸入至手勢識別模型中，手勢識別模型使用卷積神經(jīng)網(wǎng)絡(luò)cnn對圖像特征提取，輸出是識別出的手勢類別f(x)。

19、優(yōu)選的，所述語音識別算法單元用于通過智能投影儀實時采集到的語音指令經(jīng)過預(yù)處理后，傳輸至語音識別模型中，提取梅爾頻率倒譜系數(shù)mfcc作為語音特征，用于識別語音指令。

20、優(yōu)選的，所述準確率分析單元用于使用手勢識別算法和語音識別算法對用戶輸入的手勢和語音，進行準確率計算獲取綜合準確率a。

21、優(yōu)選的，所述用戶行為預(yù)測模塊包括用戶行為預(yù)測算法單元和用戶滿意分析單元

22、所述用戶行為預(yù)測算法單元用于學習動作函數(shù)q(s,a)在狀態(tài)s下執(zhí)行動作a的預(yù)期長期獎勵，通過不斷地與環(huán)境交互，更新q值來優(yōu)化策略。

23、優(yōu)選的，所述用戶滿意分析單元通過用戶行為預(yù)測算法優(yōu)化交互體驗，使用q-learning的q值計算用戶滿意度，獲取用戶滿意度得分s。

24、優(yōu)選的，所述評估模塊包括準確率評估單元和綜合評估單元；

25、所述準確率評估單元用于預(yù)設(shè)準確率閾值z，根據(jù)所述獲取的綜合準確率a，對智能投影儀的手勢識別和語音識別的綜合準確率進行初步評估，具體評估方案如下；

26、當綜合準確率a≥準確率閾值z時，表示手勢識別和語音識別上都表現(xiàn)正常，此時則進一步結(jié)合用戶滿意度得分s進行綜合評估；

27、當綜合準確率a＜準確率閾值z時，表示手勢識別和語音識別上都表現(xiàn)異常，此時則需要將手勢圖像數(shù)據(jù)集和語音指令數(shù)據(jù)集的數(shù)量提升一倍，包括變體和噪聲條件，進行數(shù)據(jù)改善，生成更多的訓(xùn)練樣本，對手勢識別模型和語音識別模型進行深度訓(xùn)練優(yōu)化。

28、優(yōu)選的，所述綜合評估單元包括綜合計算單元和評估單元；

29、所述綜合計算單元用于將所獲取的綜合準確率a與用戶滿意度得分s，進行相關(guān)聯(lián)綜合計算，獲取綜合評估結(jié)果e；

30、所述評估單元用于依據(jù)綜合評估結(jié)果e輸出的數(shù)值進行全面評估智能投影儀的整體性能，具體評估方案如下；

31、當綜合評估結(jié)果e輸出的結(jié)果≥1時，表示當前智能投影儀的人機交互的綜合表現(xiàn)正常；

32、當綜合評估結(jié)果e輸出的結(jié)果＜1時，表示當前智能投影儀綜合表現(xiàn)異常，此時需要通知相關(guān)工作人員對當前智能投影儀進行進一步的改進。

33、本發(fā)明提供了一種基于人機交互的ai智能投影儀。具備以下有益效果：

34、(1)通過智能投影儀上的攝像頭和麥克風分別采集用戶的手勢圖像和語音音頻，對采集到的手勢圖像進行高斯濾波去除圖像噪聲，使用直方圖均衡化增強圖像對比度，并通過自動檢測方法確定手勢區(qū)域邊界，根據(jù)邊界坐標提取手勢區(qū)域，生成手勢圖像數(shù)據(jù)集，對采集到的語音指令使用頻譜減法去除背景噪音，從帶噪語音頻譜中減去估計的噪聲頻譜，對降噪后的頻譜進行逆變換，恢復(fù)時域信號，再將語音指令音頻分割成25ms的短幀，生成語音指令數(shù)據(jù)集，再使用卷積神經(jīng)網(wǎng)絡(luò)cnn從手勢圖像數(shù)據(jù)集中提取手勢特征，再通過全連接層進行分類，并將提取的手勢特征傳遞給lstm網(wǎng)絡(luò)處理手勢的時序信息，使用深度神經(jīng)網(wǎng)絡(luò)dnn從語音指令數(shù)據(jù)集中提取高級特征，通過librosa庫提取梅爾頻率倒譜系數(shù)mfcc識別語音指令，智能投影儀結(jié)合了手勢識別和語音識別的功能，通過卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)等先進模型實現(xiàn)對用戶手勢和語音指令的高效識別。這種多模態(tài)交互能力不僅提升了用戶操作的靈活性和便捷性，還增強了系統(tǒng)與用戶之間的互動體驗。

35、(2)使用強化學習算法q-learning，根據(jù)用戶的歷史行為數(shù)據(jù)預(yù)測用戶的未來行為，計算用戶滿意度得分s，使用綜合準確率a和用戶滿意度得分s，對系統(tǒng)性能進行綜合評估，判斷智能投影儀的整體表現(xiàn)，通過引入的強化學習算法q-learning，不斷優(yōu)化交互策略來預(yù)測和提升用戶行為的滿意度。這種方法不僅可以根據(jù)用戶的反饋動態(tài)調(diào)整系統(tǒng)響應(yīng)，還能夠適應(yīng)不同用戶和不同環(huán)境下的交互需求，從而提高整體的用戶體驗質(zhì)量。

36、(3)通過準確率評估和用戶滿意度評估的結(jié)合，對智能投影儀的性能進行全面評估。這種綜合評估不僅考慮了技術(shù)指標的達標情況，還結(jié)合了用戶的主觀感受，為優(yōu)化系統(tǒng)性能提供了科學依據(jù)和具體改進方向。