本發(fā)明涉及一種情緒感知干預系統(tǒng)，特別涉及一種情緒感知及干預系統(tǒng)、方法、裝置和機器人，屬于情緒監(jiān)測調整。

背景技術：

1、目前，情緒識別主要依靠如面部表情分析、語音識別技術或文本情感分析等單一模式。例如，面部表情分析軟件可以識別基本的情緒如快樂、悲傷或憤怒；語音分析技術則試圖通過語調、速度和語音的其他特征來判斷一個人的情緒狀態(tài)。此外，也有依賴于生理參數(shù)(如心率和皮膚電導)來判斷情緒的方法。

2、以上的典型現(xiàn)有技術，仍然存在缺點，如單一模態(tài)限制：依賴單一情感識別模式往往無法全面準確地理解復雜的人類情緒，因為情緒的表達是多維度和復合的，單一來源的數(shù)據往往容易產生誤解，導致識別結果的不全面和誤差較大；缺乏有效的干預機制：大多數(shù)現(xiàn)有系統(tǒng)在識別出情緒之后，缺乏有效的后續(xù)干預措施。這意味著雖然系統(tǒng)能知道用戶的情緒狀態(tài)，但無法提供實質性的幫助或改善用戶的情緒；個性化與自適應性不足：當前系統(tǒng)通常不具備學習用戶情緒模式并據此調整自身行為的能力，這限制了其在長期互動中對用戶提供持續(xù)有效支持的能力，且不能根據個體的具體情緒狀態(tài)進行調整；交互界面不友好：許多情緒識別系統(tǒng)的用戶界面不夠直觀或不易于使用，這降低了用戶的接受度和互動頻率，限制了技術的應用效果。

技術實現(xiàn)思路

1、本發(fā)明所要解決的技術問題在于：提供一種情緒感知及干預系統(tǒng)、方法、裝置和機器人，解決了缺乏能夠實施個性化干預的情緒感知機器人等問題。

2、本發(fā)明所要解決的技術問題采取以下技術方案來實現(xiàn)：

3、本發(fā)明提供一種情緒感知及干預系統(tǒng)，包括情緒識別模塊、數(shù)據處理模塊和干預執(zhí)行模塊，其中，

4、所述情緒識別模塊包括多個監(jiān)測模塊；

5、所述數(shù)據處理模塊用于接收所述情緒識別模塊的數(shù)據，并處理后發(fā)送干預指令至所述干預執(zhí)行模塊；

6、所述干預執(zhí)行模塊，根據所述數(shù)據處理模塊的指令進行情緒干預處理。

7、作為本發(fā)明的一種優(yōu)選技術方案，所述情緒識別模塊的監(jiān)測模塊包括了至少一個的表情監(jiān)測模塊、至少一個的語音情感分析模塊和至少一個的生理信號檢測模塊。

8、作為本發(fā)明的一種優(yōu)選技術方案，所述數(shù)據處理模塊包括處理單元和優(yōu)化單元。

9、作為本發(fā)明的一種優(yōu)選技術方案，所述干預執(zhí)行模塊包括至少一個的輸出模塊，其中，

10、所述輸出模塊連接的部件包括揚聲器。

11、本發(fā)明還提供了一種情緒感知及干預方法，應用于前述的一種情緒感知及干預系統(tǒng)，包括如下步驟：

12、步驟s1，情緒識別模塊在用戶交互時收集用戶數(shù)據；

13、步驟s2，將所述步驟s1中的數(shù)據傳輸至所述出數(shù)據處理模塊；

14、步驟s3，所述數(shù)據處理模塊根據獲取到的數(shù)據進行分析；

15、步驟s4，所述數(shù)據處理模塊根據分析結果向所述干預執(zhí)行模塊發(fā)送干預指令；

16、步驟s5，在所述步驟s4中，所述情緒識別模塊持續(xù)收集用戶在干預下的數(shù)據，并發(fā)送至所述數(shù)據處理模塊。

17、優(yōu)選地，所述步驟s1中，

18、收集的用戶數(shù)據包括面部表情數(shù)據、語音數(shù)據、生理信號數(shù)據。

19、所述數(shù)據s3中，所述數(shù)據處理模塊對數(shù)據的分析包括面部情緒分析、語音情緒分析和生理信號分析，其中，

20、所述面部情緒分析，包括如下步驟：

21、步驟s311，使用卷積神經網絡提取表情特征；

22、步驟s312，提取特征后進行分類，將提取的特征映射到特定的情緒狀態(tài)，按以下公式進行，

23、f(x)＝*x+b

24、其中，x是輸入圖像，w是權重矩陣，b是偏置，*表示卷積操作；

25、所述語音情緒分析，包括如下步驟：

26、步驟s321，將獲得的聲音數(shù)據進行處理，獲取清晰的語音特征；

27、步驟s322，使用梅爾頻率倒譜系數(shù)(mfcc)或聲學模型來分析語調、音量和速度；

28、步驟s323，利用機器學習技術，分析語音的情緒色彩，包括隱馬爾可夫模型(hmm)或循環(huán)神經網絡(rnn)，按以下公式進行，

29、

30、其中，p(e|o)是給定觀察到的語音特征o后情緒狀態(tài)e的概率，利用貝葉斯定理進行計算；

31、所述生理信號分析，包括對于心跳數(shù)據的檢測，按以下公式進行

32、

33、其中，hrv是心率變異性，rri是連續(xù)心跳間隔，是平均心跳間隔。

34、進一步優(yōu)選地，所述步驟s3中，還包括多模態(tài)融合，按以下公式進行計算：

35、vcombined＝vface+vvoice+vphysio

36、其中，vcombined是綜合特征向量，vface、vvoice、vphysio分別代表面部、語音和生理信號的特征向量，α、β、γ是調整權重。

37、作為本發(fā)明的一種優(yōu)選技術方案，所述步驟s5中，在干預時收集的用戶數(shù)據進行強化學習，按如下公式實現(xiàn)：

38、

39、其中，st是當前情緒狀態(tài)，at是干預措施，rt+1是用戶的反饋，α是學習率，γ是折扣因子。

40、本發(fā)明還提供了一種情緒感知及干預裝置，具有前述的一種情緒感知及干預系統(tǒng)，并可以執(zhí)行前述的一種情緒感知及干預方法，還具有交互設備及界面，用于用戶設定的數(shù)據，并發(fā)送至所述數(shù)據處理模塊。

41、本發(fā)明還提供了一種情緒感知及干預機器人，具有前述的一種情緒感知及干預裝置。

42、本發(fā)明的有益效果是：本發(fā)明采用面部表情、語音情感分析及生理信號監(jiān)測相結合的方法，相比于傳統(tǒng)單一模式的情緒識別技術，能夠更全面、更精確地理解和分析用戶的情緒狀態(tài)；可以根據不同用戶的情緒狀態(tài)和歷史干預效果，機器人能夠學習并優(yōu)化其干預策略，實現(xiàn)個性化的情緒管理；不僅能夠綜合面部、語音及生理信號等多種數(shù)據源來更全面地識別用戶情緒，還能根據情緒狀態(tài)提供個性化的干預措施，如音樂播放、舒緩對話和放松練習等，極大地增強了機器人在實際應用中的有效性和用戶的滿意度；自學習和自適應能力使其能夠更好地與特定用戶協(xié)同工作，進而提高長期使用的效果。

技術特征：

1.一種情緒感知及干預系統(tǒng)，其特征在于，包括情緒識別模塊(100)、數(shù)據處理模塊(200)和干預執(zhí)行模塊(300)，其中，

2.根據權利要求1所述的一種情緒感知及干預系統(tǒng)，其特征在于，所述情緒識別模塊(100)的監(jiān)測模塊包括了至少一個的表情監(jiān)測模塊、至少一個的語音情感分析模塊和至少一個的生理信號檢測模塊。

3.根據權利要求1所述的一種情緒感知及干預系統(tǒng)，其特征在于，所述數(shù)據處理模塊(200)包括處理單元和優(yōu)化單元。

4.根據權利要求1所述的一種情緒感知及干預系統(tǒng)，其特征在于，所述干預執(zhí)行模塊(300)包括至少一個的輸出模塊，其中，

5.一種情緒感知及干預方法，應用于如權利要求1至4中任一項所述的一種情緒感知及干預系統(tǒng)，其特征在于，包括如下步驟：

6.根據權利要求5所述的一種情緒感知及干預方法，其特征在于，所述數(shù)據s3中，所述數(shù)據處理模塊(200)對數(shù)據的分析包括面部情緒分析、語音情緒分析和生理信號分析，其中，

7.根據權利要求5所述的一種情緒感知及干預方法，其特征在于，所述步驟s3中，還包括多模態(tài)融合，按以下公式進行計算：

8.根據權利要求5所述的一種情緒感知及干預系統(tǒng)方法，其特征在于，所述步驟s5中，在干預時收集的用戶數(shù)據進行強化學習，按如下公式實現(xiàn)：

9.一種情緒感知及干預裝置，具有如權利要求1至4中任一項所述的一種情緒感知及干預系統(tǒng)，并可以執(zhí)行如權利要求5至8中任一項所述的一種情緒感知及干預方法，其特征在于，還具有交互設備及界面，用于用戶設定的數(shù)據，并發(fā)送至所述數(shù)據處理模塊(200)。

10.一種情緒感知及干預機器人，具有權利要求9中所述的一種情緒感知及干預裝置。

技術總結
本發(fā)明公開了一種情緒感知及干預系統(tǒng)、方法、裝置和機器人，系統(tǒng)包括情緒識別模塊、數(shù)據處理模塊和干預執(zhí)行模塊，其中，所述情緒識別模塊包括多個監(jiān)測模塊；所述數(shù)據處理模塊用于接收所述情緒識別模塊的數(shù)據，并處理后發(fā)送干預指令至所述干預執(zhí)行模塊；所述干預執(zhí)行模塊，根據所述數(shù)據處理模塊的指令進行情緒干預處理。采用面部表情、語音情感分析及生理信號監(jiān)測相結合的方法，相比于傳統(tǒng)單一模式的情緒識別技術，能夠更全面、更精確地理解和分析用戶的情緒狀態(tài)；可以根據不同用戶的情緒狀態(tài)和歷史干預效果，機器人能夠學習并優(yōu)化其干預策略，實現(xiàn)個性化的情緒管理。

技術研發(fā)人員：張?zhí)熨Y,魏鵬飛,樊珍
受保護的技術使用者：安徽萊陸智能科技有限公司
技術研發(fā)日：
技術公布日：2024/10/21