本發(fā)明涉及ai大腦，具體為基于車載os的多模態(tài)ai大腦構(gòu)建方法、終端和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、車載操作系統(tǒng)(os)是專門為汽車設(shè)計(jì)的嵌入式操作系統(tǒng)，管理和控制車內(nèi)的硬件和軟件資源，確保各個(gè)功能模塊的協(xié)同工作。它提供了一個(gè)統(tǒng)一的平臺(tái)，支持各種車載應(yīng)用，如導(dǎo)航、娛樂、安全監(jiān)控和通信等，車載os必須具備高可靠性、實(shí)時(shí)性、可擴(kuò)展性和安全性，適應(yīng)車內(nèi)復(fù)雜的使用環(huán)境和多樣化的需求。

2、一般的，傳統(tǒng)車載ai語音功能在國(guó)內(nèi)的汽車上，是通過車載網(wǎng)絡(luò)(tbox)，本地端側(cè)大模型+車機(jī)存儲(chǔ)數(shù)據(jù)結(jié)合云端大模型數(shù)據(jù)的方式，來對(duì)車內(nèi)的駕駛員與非駕駛員給出的提問進(jìn)行查詢搜索，然后再通過車內(nèi)的音箱發(fā)出聲音給出回答，這樣的方式，會(huì)讓車載ai語音回答的問題都是基于在線+離線數(shù)據(jù)搜索的方式給出的，它只能解決和回答脫離當(dāng)前汽車使用場(chǎng)景的問題，導(dǎo)致數(shù)據(jù)孤立性，傳統(tǒng)方案依賴單一或少數(shù)感知模塊，無法全面感知車內(nèi)外環(huán)境，只有基本的攝像頭和麥克風(fēng)，缺乏對(duì)駕駛員狀態(tài)和外部環(huán)境的綜合感知，交互方式較為單一，只有基本的語音指令和反饋，缺乏燈光、虛擬助手等多樣化的交互方式，而觸覺反饋在傳統(tǒng)方案中較少應(yīng)用，駕駛員和乘客在交互時(shí)缺乏直觀的反饋，導(dǎo)致注意力不集中和響應(yīng)不及時(shí)，同時(shí)，這種方案對(duì)車內(nèi)環(huán)境的監(jiān)測(cè)和調(diào)節(jié)較為簡(jiǎn)單，無法實(shí)時(shí)監(jiān)測(cè)空氣質(zhì)量和環(huán)境參數(shù)，無法提供智能化的環(huán)境調(diào)節(jié)，影響駕乘舒適性，車載系統(tǒng)數(shù)據(jù)整合能力較弱，無法充分利用車輛各系統(tǒng)的數(shù)據(jù)進(jìn)行智能化控制和決策，整體智能水平有限，難以實(shí)現(xiàn)自然的人機(jī)交互。

3、綜上，需要提出基于車載os的多模態(tài)ai大腦構(gòu)建方法、終端和存儲(chǔ)介質(zhì)來解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供基于車載os的多模態(tài)ai大腦構(gòu)建方法、終端和存儲(chǔ)介質(zhì)，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、基于車載os的多模態(tài)ai大腦構(gòu)建方法，包括以下步驟：

4、s1.需求分析，收集和分析系統(tǒng)需求，確定多模態(tài)感知和交互功能的具體要求，明確系統(tǒng)的性能指標(biāo)、數(shù)據(jù)處理能力和安全性要求；

5、s2.系統(tǒng)架構(gòu)設(shè)計(jì)，設(shè)計(jì)整體系統(tǒng)架構(gòu)，確定各功能模塊的邏輯分布和數(shù)據(jù)流動(dòng)，定義各模塊之間的接口和通信協(xié)議；

6、s3.硬件選擇和集成，選擇適合的攝像頭、麥克風(fēng)、傳感器和觸控設(shè)備，確定這些硬件設(shè)備的安裝位置和連接方式；

7、s4.軟件平臺(tái)搭建，搭建車載os平臺(tái)，確保其具有良好的擴(kuò)展性和穩(wěn)定性，集成各硬件設(shè)備的驅(qū)動(dòng)程序，確保硬件與os的兼容性；

8、s5.數(shù)據(jù)采集和預(yù)處理，開發(fā)數(shù)據(jù)采集模塊，實(shí)時(shí)獲取各硬件設(shè)備的數(shù)據(jù)，實(shí)施數(shù)據(jù)預(yù)處理步驟，包括降噪、去重和格式轉(zhuǎn)換；

9、s6.ai模型開發(fā)和訓(xùn)練，選擇和開發(fā)適合的ai模型，包括視覺、語音、嗅覺和觸覺感知模型，使用大量數(shù)據(jù)集訓(xùn)練模型，優(yōu)化其性能和準(zhǔn)確性；

10、s7.多模態(tài)數(shù)據(jù)融合，設(shè)計(jì)并實(shí)現(xiàn)多模態(tài)數(shù)據(jù)融合算法，綜合處理來自不同傳感器的數(shù)據(jù)，確保數(shù)據(jù)融合后的結(jié)果能夠準(zhǔn)確反映車內(nèi)外環(huán)境和駕駛員狀態(tài)；

11、s8.人機(jī)交互界面設(shè)計(jì)，設(shè)計(jì)直觀、易用的用戶交互界面，包括語音指令和觸控操作界面，開發(fā)虛擬助手和情感顯示功能，提升用戶體驗(yàn)；

12、s9.系統(tǒng)集成和調(diào)試，將所有模塊集成到車載os平臺(tái)上，確保各模塊協(xié)同工作，進(jìn)行全面的系統(tǒng)調(diào)試，排除各類潛在故障和性能瓶頸；

13、s10.功能驗(yàn)證和優(yōu)化，進(jìn)行功能驗(yàn)證測(cè)試，確保系統(tǒng)滿足設(shè)計(jì)需求和性能指標(biāo)，根據(jù)測(cè)試結(jié)果進(jìn)行系統(tǒng)優(yōu)化，提高整體運(yùn)行效率和用戶滿意度；

14、s11.安全性和隱私保護(hù)，實(shí)施安全措施，保護(hù)系統(tǒng)免受外部攻擊和數(shù)據(jù)泄露，確保用戶隱私得到充分保護(hù)，遵守相關(guān)法規(guī)和標(biāo)準(zhǔn)，用戶培訓(xùn)和文檔編寫，開展用戶培訓(xùn)，幫助用戶熟悉系統(tǒng)的操作和功能，編寫詳細(xì)的系統(tǒng)使用手冊(cè)和技術(shù)文檔，提供給用戶和維護(hù)人員；

15、s12.部署和維護(hù)，將系統(tǒng)部署到車輛上，確保其正常運(yùn)行，進(jìn)行持續(xù)的系統(tǒng)維護(hù)和更新，確保其長(zhǎng)期穩(wěn)定和高效。

16、本發(fā)明還提出一種多模態(tài)ai大腦，包括視覺模塊、聽覺模塊、嗅覺模塊、觸覺模塊、交互情感模塊以及控制整合模塊；

17、所述視覺模塊用于捕捉車內(nèi)情況和提供環(huán)境感知；

18、所述聽覺模塊用于捕捉語音指令和車外聲音環(huán)境感知；

19、所述嗅覺模塊用于監(jiān)測(cè)車內(nèi)空氣質(zhì)量、溫度以及濕度數(shù)據(jù)；

20、所述觸覺模塊用于提供觸覺反饋；

21、所述交互情感模塊用于燈光自動(dòng)調(diào)節(jié)和虛擬視覺交互；

22、所述控制整合模塊用于整車數(shù)據(jù)訪問和提供ai語音控制功能。

23、優(yōu)選地，所述視覺模塊還包括車內(nèi)dms攝像頭單元和環(huán)境感知單元；

24、所述車內(nèi)dms攝像頭單元用于監(jiān)控駕駛員的注意力和疲勞狀態(tài)，捕捉車內(nèi)的情況，利用面部識(shí)別技術(shù)和行為分析，檢測(cè)駕駛員的眼睛閉合、頭部位置，判斷其狀態(tài)；

25、所述環(huán)境感知單元用于感知車外環(huán)境，檢測(cè)障礙物和其他車輛，利用激光雷達(dá)提供高精度的距離和形狀信息，利用毫米波雷達(dá)在惡劣天氣下也能可靠工作，協(xié)同提供360度環(huán)境感知。

26、優(yōu)選地，所述聽覺模塊還包括車內(nèi)高清麥克風(fēng)單元和車外環(huán)境麥克風(fēng)單元；

27、所述車內(nèi)高清麥克風(fēng)單元用于捕捉車內(nèi)人員的語音指令和對(duì)話，高靈敏度麥克風(fēng)陣列結(jié)合語音識(shí)別技術(shù)，實(shí)現(xiàn)車內(nèi)語音交互和聲源定位；

28、所述車外環(huán)境麥克風(fēng)單元用于捕捉車外的聲音，包括警笛、鳴笛，用于增強(qiáng)駕駛安全性，通過聲音識(shí)別危險(xiǎn)信號(hào)并通知駕駛員。

29、優(yōu)選地，所述嗅覺模塊還包括車內(nèi)空氣質(zhì)量傳感器單元和溫度和濕度傳感器單元；

30、所述車內(nèi)空氣質(zhì)量傳感器單元用于檢測(cè)車內(nèi)空氣中的有害氣體和異味，實(shí)時(shí)監(jiān)測(cè)空氣質(zhì)量，自動(dòng)調(diào)節(jié)空氣凈化系統(tǒng)，提供健康的車內(nèi)環(huán)境；

31、所述溫度和濕度傳感器單元用于監(jiān)測(cè)車內(nèi)外的溫度和濕度，根據(jù)車內(nèi)外環(huán)境參數(shù)，調(diào)整空調(diào)系統(tǒng)和座椅加熱，提供舒適的駕乘體驗(yàn)。

32、優(yōu)選地，所述觸覺模塊還包括車內(nèi)觸控屏幕反饋單元和座椅和方向盤觸覺反饋單元；

33、所述車內(nèi)觸控屏幕反饋單元用于提供觸控反饋和控制能力，在中控、副駕駛和后排屏幕上提供觸覺反饋，提升用戶交互體驗(yàn)；

34、所述座椅和方向盤觸覺反饋單元用于通過座椅和方向盤提供振動(dòng)反饋，包括在車道偏離警告時(shí)，方向盤振動(dòng)提醒駕駛員，座椅振動(dòng)提供導(dǎo)航提示。

35、優(yōu)選地，所述交互情感模塊還包括氛圍燈和車燈控制單元和車內(nèi)屏幕虛擬圖像顯示單元；

36、所述氛圍燈和車燈控制單元用于根據(jù)ai情緒和指令調(diào)整車內(nèi)外燈光，通過改變氛圍燈顏色和車燈亮度來表達(dá)ai的情緒，包括紅色表示警告，綠色表示平靜；

37、所述車內(nèi)屏幕虛擬圖像顯示單元用于在車內(nèi)屏幕上顯示虛擬助手形象和信息，虛擬助手可以在中控屏、副駕駛屏和后排屏幕上出現(xiàn)，提供視覺交互和信息展示。

38、優(yōu)選地，所述控制整合模塊還包括整車數(shù)據(jù)訪問單元和ai語音控制單元；

39、所述整車數(shù)據(jù)訪問單元用于訪問和處理整車的can數(shù)據(jù)，獲取車輛實(shí)時(shí)狀態(tài)信息，控制車輛各系統(tǒng)，包括轉(zhuǎn)向、加速、制動(dòng)；

40、所述ai語音控制單元用于綜合處理多模態(tài)數(shù)據(jù)并提供語音交互，利用整合的視覺、聽覺、嗅覺和觸覺數(shù)據(jù)，生成智能語音回應(yīng)和指令，實(shí)現(xiàn)自然的人機(jī)交互。

41、基于上述終端，本發(fā)明還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)多模態(tài)ai大腦終端中各模塊的功能。

42、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明通過視覺、聽覺、嗅覺、觸覺多模態(tài)感知模塊，能夠全面感知車內(nèi)外環(huán)境，提供更準(zhǔn)確和豐富的信息，視覺模塊不僅監(jiān)控駕駛員狀態(tài)，還感知外部環(huán)境，聽覺模塊不僅捕捉車內(nèi)語音，還檢測(cè)外部警告聲，交互情感模塊通過燈光和虛擬助手形象，實(shí)現(xiàn)了自然的人機(jī)交互，增強(qiáng)了駕駛體驗(yàn)，ai情緒表達(dá)和虛擬助手的互動(dòng)，使得駕駛體驗(yàn)更加智能和人性化，觸覺模塊提供的觸控反饋和振動(dòng)提示，使得駕駛員和乘客在交互時(shí)有更直觀的體驗(yàn)，方向盤和座椅的振動(dòng)反饋在警告和導(dǎo)航時(shí)提供了有效的提示，嗅覺模塊實(shí)時(shí)監(jiān)測(cè)車內(nèi)空氣質(zhì)量和環(huán)境參數(shù)，自動(dòng)調(diào)節(jié)空氣凈化和空調(diào)系統(tǒng)，確保車內(nèi)環(huán)境的健康和舒適，控制整合模塊通過訪問整車數(shù)據(jù)，實(shí)現(xiàn)了對(duì)車輛各系統(tǒng)的全面控制和實(shí)時(shí)監(jiān)測(cè)，并結(jié)合多模態(tài)數(shù)據(jù)提供智能語音交互，使得駕駛更加安全和便捷。