本發(fā)明涉及一種智能LED交互方法，還涉及一種智能LED交互裝置。

背景技術(shù)：

隨著電子技術(shù)的不斷發(fā)展，廣告、新聞、資訊、咨詢等信息越來(lái)越多的使用LED顯示屏完成，這些顯示屏廣泛分布在樓宇、電梯、過(guò)道、地鐵、公交站等位置。隨著用戶體驗(yàn)和感受要求的不斷提高，能夠進(jìn)行智能交互的LED顯示技術(shù)得以出現(xiàn)和發(fā)展。

申請(qǐng)公布號(hào)為CN104080010A(申請(qǐng)?zhí)枮?01410295113.9)的中國(guó)發(fā)明專(zhuān)利申請(qǐng)《交互式信息推送系統(tǒng)及方法》，其中公開(kāi)的交互系統(tǒng)識(shí)別前景圖像中朝向顯示屏的人臉，當(dāng)人臉朝向顯示屏的時(shí)間超過(guò)一定的時(shí)間后則播放顯示屏當(dāng)前播放的第一圖文數(shù)據(jù)對(duì)應(yīng)的第二圖文數(shù)據(jù)，進(jìn)而發(fā)送到顯示屏進(jìn)行播放。該系統(tǒng)中人機(jī)的交互內(nèi)容僅限于顯示屏中存儲(chǔ)的內(nèi)容，且是被動(dòng)的播放給用戶，交互的局限性大。并且使用過(guò)程中，用戶處于動(dòng)態(tài)狀態(tài)，該系統(tǒng)無(wú)法實(shí)時(shí)獲取用戶的動(dòng)態(tài)狀態(tài)，即無(wú)法獲知交互用戶是否已經(jīng)更換，進(jìn)而不能的準(zhǔn)確的滿足不同用戶的需求。

申請(qǐng)公開(kāi)號(hào)為CN102221881A(申請(qǐng)?zhí)枮?01110131915.2)的中國(guó)發(fā)明專(zhuān)利申請(qǐng)《基于仿生代理與實(shí)現(xiàn)追蹤興趣區(qū)域分析的人機(jī)交互方法》，其中公開(kāi)的交互方法，能夠計(jì)算用戶眼球在屏幕上的焦點(diǎn)位置，進(jìn)而得到用戶眼球在屏幕上的焦點(diǎn)位置，進(jìn)而分析用戶關(guān)注的興趣區(qū)域，從而實(shí)現(xiàn)自然、和諧的人機(jī)交互。但是該交互方法也同樣忽略了用戶的動(dòng)態(tài)狀態(tài)檢測(cè)，容易出現(xiàn)興趣內(nèi)容誤傳的情況。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的第一個(gè)技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)提供一種能夠?qū)崟r(shí)檢測(cè)用戶的動(dòng)態(tài)狀態(tài)，以確認(rèn)當(dāng)前的用戶身份，實(shí)現(xiàn)與交互用戶之間信息準(zhǔn)確交互的智能LED交互方法。

本發(fā)明所要解決的第二個(gè)技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)提供一種能夠在交互過(guò)程中檢測(cè)并確認(rèn)用戶身份，以確保交互信息準(zhǔn)確性的智能LED交互裝置

本發(fā)明解決上述第一個(gè)技術(shù)問(wèn)題所采用的技術(shù)方案為：一種智能LED交互方法，其特征在于包括如下步驟：

步驟1、初始化，LED顯示屏顯示設(shè)定的首頁(yè)內(nèi)容；

步驟2、獲取LED顯示屏前方的視頻畫(huà)面；

步驟3、實(shí)時(shí)對(duì)視頻畫(huà)面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在；當(dāng)視屏畫(huà)面圖像中檢測(cè)到人臉，則進(jìn)入步驟4；

步驟4、遍歷視頻畫(huà)面圖像中所有的人臉坐標(biāo)和特征，獲取最大人臉的坐標(biāo)和特征數(shù)據(jù)；

步驟5、計(jì)算并判斷最大人臉尺寸是否超過(guò)設(shè)定的人臉尺寸閾值，如果最大人臉尺寸超過(guò)設(shè)定的人臉尺寸閾值，存儲(chǔ)最大人臉的特征數(shù)據(jù)，并進(jìn)入步驟6；如果最大人臉尺寸未超過(guò)設(shè)定的人臉尺寸閾值，則返回步驟2；

步驟6、判斷最大人臉在視頻畫(huà)面圖像中的出現(xiàn)的累積時(shí)間是否超過(guò)設(shè)定的識(shí)別時(shí)間閾值，如果超過(guò)設(shè)定的識(shí)別時(shí)間閾值，則進(jìn)入步驟7，如果未超過(guò)設(shè)定的識(shí)別時(shí)間閾值，刪除最大人臉的特征數(shù)據(jù)，并返回步驟2；

步驟7、檢測(cè)交互狀態(tài)標(biāo)識(shí)，如果交互狀態(tài)標(biāo)識(shí)示為工作狀態(tài)，刪除最大人臉的特征數(shù)據(jù)，并返回步驟2，如果交互狀態(tài)標(biāo)識(shí)示為空閑狀態(tài)，則啟動(dòng)交互；

步驟8、檢測(cè)是否存在用戶語(yǔ)音信息，如果未檢測(cè)到用戶的語(yǔ)音信息則進(jìn)入步驟9，如果檢測(cè)到用戶的語(yǔ)音信息，則進(jìn)入步驟14；

步驟9、交互狀態(tài)標(biāo)識(shí)調(diào)整為視覺(jué)交互工作狀態(tài)，將步驟4中最大人臉對(duì)應(yīng)的用戶作為當(dāng)次交互用戶，分析當(dāng)次交互用戶相對(duì)于LED顯示屏的注視角度對(duì)應(yīng)的屏幕區(qū)域，同時(shí)分別對(duì)當(dāng)次交互用戶注視各個(gè)注視區(qū)域的累計(jì)時(shí)間進(jìn)行計(jì)時(shí)；

步驟10、將用戶注視各個(gè)注視區(qū)域的累積時(shí)間分別與設(shè)定的注視時(shí)間閾值進(jìn)行比較，如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間均小于設(shè)定的注視時(shí)間閾值，則將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，刪除最大人臉的特征數(shù)據(jù)，并返回步驟2；如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間中有大于設(shè)定的注視時(shí)間閾值，則進(jìn)行步驟11；

步驟11、將LED顯示屏上用戶注視累積時(shí)間最長(zhǎng)的注視區(qū)域作為用戶的興趣區(qū)域，LED顯示屏將當(dāng)前興趣區(qū)域顯示內(nèi)容對(duì)應(yīng)的更詳細(xì)的內(nèi)容播放給用戶；

步驟12、實(shí)時(shí)獲取LED顯示屏前方的視頻畫(huà)面；判斷視頻畫(huà)面圖像中當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)是否還存在，如果存在則LED顯示屏持續(xù)播放步驟10中的內(nèi)容，如果當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)丟失，則對(duì)該人臉特征數(shù)據(jù)的丟失時(shí)間進(jìn)行計(jì)時(shí)；

步驟13、如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間超過(guò)設(shè)定的丟失時(shí)間閾值，則LED顯示屏停止當(dāng)前內(nèi)容的播放，進(jìn)而LED顯示屏顯示設(shè)定的主頁(yè)內(nèi)容，刪除當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間未超出設(shè)定的丟失時(shí)間閾值，則LED顯示屏繼續(xù)播放當(dāng)前內(nèi)容直至播放結(jié)束，刪除當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟14、交互狀態(tài)標(biāo)識(shí)調(diào)整為語(yǔ)音交互工作狀態(tài)，獲取當(dāng)次交互用戶的語(yǔ)音信息，提取并保存當(dāng)次交互用戶的聲紋特征；

步驟15、對(duì)獲取的語(yǔ)音信息進(jìn)行識(shí)別和語(yǔ)義分析，進(jìn)而提取答案，并將答案通過(guò)LED顯示屏進(jìn)行顯示和/或?qū)⒋鸢负铣蔀檎Z(yǔ)音傳送給當(dāng)次交互用戶；

步驟16、在步驟15進(jìn)行的同時(shí)，實(shí)時(shí)獲取LED顯示屏前方的視頻畫(huà)面，并對(duì)實(shí)時(shí)對(duì)視頻畫(huà)面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在，如果無(wú)人臉存在，則對(duì)人臉丟失時(shí)間進(jìn)行累積計(jì)時(shí)，如果人臉丟失的累積時(shí)間超過(guò)設(shè)置的語(yǔ)音交互用戶丟失時(shí)間閾值，則立即結(jié)束步驟15，并刪除當(dāng)次交互用戶的聲紋特征，LED顯示屏顯示設(shè)定的主頁(yè)內(nèi)容，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，同時(shí)返回步驟2；

在步驟15進(jìn)行的同時(shí)，如果接受到語(yǔ)音信息則不予響應(yīng)；

步驟17、在設(shè)定的等待時(shí)間閾值范圍內(nèi)，如果獲取到語(yǔ)音信息，則進(jìn)入步驟18；如果未獲取到語(yǔ)音信息，則刪除當(dāng)次交互用戶的聲紋特征，LED顯示屏顯示設(shè)定的主頁(yè)內(nèi)容，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟18、判斷獲取的語(yǔ)音信息對(duì)應(yīng)的聲紋特征是否為當(dāng)次交互用戶的聲紋特征，如果是，則進(jìn)入步驟15；如果不是，則進(jìn)入步驟17。

作為改進(jìn)，步驟15中，對(duì)獲取的語(yǔ)音信息進(jìn)行識(shí)別和語(yǔ)義分析包括如下步驟：

步驟15.1、識(shí)別語(yǔ)音信息，并將語(yǔ)音信息轉(zhuǎn)換為語(yǔ)音文本；

步驟15.2、對(duì)語(yǔ)音文本進(jìn)行分詞，提取語(yǔ)音文本中的核心詞和關(guān)鍵詞；

步驟15.3、根據(jù)提取的語(yǔ)音文本的核心詞和關(guān)鍵詞，在本地知識(shí)庫(kù)中搜索并提取答案；

步驟15.4、判斷答案是否提取成功，如果答案提取成功，則進(jìn)入步驟15.9，否則進(jìn)入步驟15.5；

步驟15.5、根據(jù)提取的語(yǔ)音文本的核心詞和關(guān)鍵詞，搜索廣域網(wǎng)或互聯(lián)網(wǎng)以獲取答案；

步驟15.6、判斷是否搜索到答案，如果搜索到答案進(jìn)入步驟15.8和步驟15.9，否則進(jìn)入步驟15.7；

步驟15.7、LED顯示屏顯示和/或語(yǔ)音提示答案獲取失敗，同時(shí)記錄答案獲取失敗的問(wèn)題，以備人工添加答案；

步驟15.8、保存答案到本地知識(shí)庫(kù)；

步驟15.9、將答案通過(guò)LED顯示屏進(jìn)行顯示和/或?qū)⒋鸢负铣蔀檎Z(yǔ)音傳送給當(dāng)次交互用戶。

為了減少答案的獲取時(shí)間，根據(jù)提取的語(yǔ)音文本的核心詞和關(guān)鍵詞，增加相應(yīng)核心詞和關(guān)鍵詞的權(quán)重，同時(shí)，增加該核心詞和關(guān)鍵詞對(duì)應(yīng)答案的權(quán)重；

在步驟15.3中，當(dāng)核心詞和關(guān)鍵詞對(duì)應(yīng)多個(gè)答案時(shí)，則提取權(quán)重高的答案。

優(yōu)選地，獲取語(yǔ)音信息時(shí)，檢測(cè)語(yǔ)音信息對(duì)應(yīng)的音頻聲強(qiáng)是否超出設(shè)定的音頻聲強(qiáng)閾值，如果語(yǔ)音信息的音頻聲強(qiáng)未超過(guò)設(shè)定的音頻聲強(qiáng)閾值則視為未接收到語(yǔ)音信息，如果語(yǔ)音信息的音頻聲強(qiáng)超出設(shè)定的音頻聲強(qiáng)閾值，則視為接收到語(yǔ)音信息。

優(yōu)選地，在步驟8中，在設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)語(yǔ)音信息，如果在設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)到語(yǔ)音信息，則視為檢測(cè)到用戶的語(yǔ)音信息，如果在設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)未檢測(cè)到語(yǔ)音信息，則視為未檢測(cè)到用戶的語(yǔ)音信息。

本發(fā)明解決上述第二個(gè)技術(shù)問(wèn)題所采用的技術(shù)方案為：一種智能LED交互裝置，其特征在于包括：

中央處理器，用于進(jìn)行數(shù)據(jù)處理和發(fā)送控制命令；

存儲(chǔ)器，與所述中央處理器相連接，用于存儲(chǔ)數(shù)據(jù)；所述存儲(chǔ)器具有用于存儲(chǔ)預(yù)存文字、圖片、視頻、語(yǔ)音的預(yù)存內(nèi)容存儲(chǔ)單元和用于存儲(chǔ)問(wèn)題、答案的本地知識(shí)庫(kù)；

LED顯示屏，與所述中央處理器相連接，用于顯示文字、圖片、視頻；

視頻采集模塊，用于采集LED顯示屏前方的視頻畫(huà)面；

人臉檢測(cè)模塊，與所述視頻采集模塊相連接，用于檢測(cè)和獲取視頻采集模塊傳送的視頻畫(huà)面中的人臉的坐標(biāo)和特征數(shù)據(jù)；

音頻采集模塊，用于采集用戶的語(yǔ)音信息；

檢測(cè)控制器，分別與所述人臉檢測(cè)模塊、音頻采集模塊相連接，用于計(jì)算比較人臉的尺寸與設(shè)定的人臉尺寸閾值的大小，以及檢測(cè)是否存在用戶語(yǔ)音信息；

注視識(shí)別模塊，分別與所述檢測(cè)控制器和中央處理器相連接，用于計(jì)算分析用戶注視LED顯示屏各個(gè)注視區(qū)域的角度和時(shí)間，進(jìn)而獲取LED顯示屏上用戶的興趣區(qū)域；

聲紋識(shí)別模塊，分別與所述音頻采集模塊和檢測(cè)控制器相連接，用于識(shí)別音頻采集模塊傳送的用戶語(yǔ)音信息中的聲紋特征；

語(yǔ)音識(shí)別模塊，分別與所述音頻采集模塊和檢測(cè)控制器相連接，用于識(shí)別分析音頻采集模塊傳送的用戶語(yǔ)音信息并將用戶語(yǔ)音信息轉(zhuǎn)換為語(yǔ)音文本；

語(yǔ)義分析模塊，分別與所述語(yǔ)音識(shí)別模塊和中央處理器相連接，用于分析語(yǔ)音識(shí)別模塊傳送的語(yǔ)音文本以提取語(yǔ)音文本中的核心詞和關(guān)鍵詞，進(jìn)而將核心詞和關(guān)鍵詞傳送至中央處理器中；

答案提取模塊，分別與所述中央處理器和存儲(chǔ)器中的本地知識(shí)庫(kù)相連接，根據(jù)所述中央處理器傳送的核心詞和關(guān)鍵詞，在本地知識(shí)庫(kù)中搜索并提取答案，進(jìn)而將答案?jìng)魉椭林醒胩幚砥鳎?/p>

網(wǎng)絡(luò)搜索模塊，與所述中央處理器相連接，當(dāng)答案提取模塊在本地知識(shí)庫(kù)中未提取到答案時(shí)，根據(jù)所述中央處理器的控制命令，通過(guò)網(wǎng)絡(luò)搜索答案；

語(yǔ)音合成模塊，與所述中央處理器相連接，用于將中央處理器傳送的答案合成為語(yǔ)音音頻；

音頻播放模塊，分別與所述語(yǔ)音合成模塊、中央處理器、存儲(chǔ)器相連接，用于播放語(yǔ)音合成模塊中合成的語(yǔ)音音頻以及存儲(chǔ)器中的音頻數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：本發(fā)明中的智能LED交互方法和智能LED交互裝置，在使用過(guò)程中能夠?qū)崟r(shí)檢測(cè)用戶的動(dòng)態(tài)狀態(tài)和身份特征，以確認(rèn)當(dāng)前的用戶身份，從而實(shí)現(xiàn)交互過(guò)程中用戶與需求信息的匹配性，確保將匹配的內(nèi)容準(zhǔn)確的傳送至用戶，使得交互過(guò)程更加智能化，避免了交互資源的浪費(fèi)，提高了交互的準(zhǔn)確性、有效性。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例中智能LED交互裝置的結(jié)構(gòu)框圖。

圖2為本發(fā)明實(shí)施例中智能LED交互的流程圖。

具體實(shí)施方式

以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。

如圖1所示，本實(shí)施例中的智能LED交互裝置包括：中央處理器1、存儲(chǔ)器2、LED顯示屏3、視頻采集模塊4、人臉檢測(cè)模塊5、音頻采集模塊6、檢測(cè)控制器7、注視識(shí)別模塊8、聲紋識(shí)別模塊9、語(yǔ)音識(shí)別模塊10、語(yǔ)義分析模塊11、答案提取模塊12、網(wǎng)絡(luò)搜索模塊13、語(yǔ)音合成模塊14以及音頻播放模塊15。

其中中央處理器1，用于進(jìn)行數(shù)據(jù)處理和發(fā)送控制命令。

存儲(chǔ)器2與中央處理器1相連接，用于存儲(chǔ)數(shù)據(jù)。本實(shí)施例中的存儲(chǔ)器2專(zhuān)門(mén)設(shè)置有用于存儲(chǔ)預(yù)存文字、圖片、視頻、語(yǔ)音的預(yù)存內(nèi)容存儲(chǔ)單元21，以及用于存儲(chǔ)問(wèn)題、答案的本地知識(shí)庫(kù)22。

LED顯示屏3與中央處理器1相連接，根據(jù)中央處理器1的控制，顯示存儲(chǔ)器2中的文字、圖片、視頻等內(nèi)容。

視頻采集模塊4安裝在LED顯示屏3上，用于采集LED顯示屏3前方的視頻畫(huà)面。本實(shí)施例中的視頻采集模塊4可以選用攝像頭，實(shí)施采集LED顯示屏3前方的視頻畫(huà)面。

人臉檢測(cè)模塊5與視頻采集模塊4相連接，該人臉檢測(cè)模塊5可以使用現(xiàn)有技術(shù)中的人臉檢測(cè)裝置或者集成芯片，該人臉檢測(cè)模塊5可以用于檢測(cè)和獲取視頻采集模塊4傳送的視頻畫(huà)面中的人臉的坐標(biāo)和特征數(shù)據(jù)。

音頻采集模塊6用于采集用戶的語(yǔ)音信息，該音頻采集模塊6可以安裝在LED顯示屏3上，也可以安裝在LED顯示屏3附近，本實(shí)施例中的音頻采集模塊6可以采用話筒。

檢測(cè)控制器7分別與人臉檢測(cè)模塊5、音頻采集模塊6相連接進(jìn)行工作，該檢測(cè)控制器7可以選用單片機(jī)。該檢測(cè)控制器7用于計(jì)算比較人臉的尺寸與設(shè)定的人臉尺寸閾值的大小，從而判斷是否啟動(dòng)該智能LED交互裝置的交互操作。該檢測(cè)控制器7還可以檢測(cè)是否存在用戶語(yǔ)音信息，用戶語(yǔ)音信息的判斷可以根據(jù)需要設(shè)定音頻的聲強(qiáng)閾值，從而判斷采集到用戶語(yǔ)音信息與否。

注視識(shí)別模塊8分別與檢測(cè)控制器7和中央處理器1相連接，該注視識(shí)別模塊8可以采用現(xiàn)有技術(shù)中注視識(shí)別裝置成品或者現(xiàn)有的注視識(shí)別集成芯片。該注視識(shí)別模塊8用于計(jì)算分析用戶注視LED顯示屏3各個(gè)注視區(qū)域的角度和時(shí)間，進(jìn)而獲取LED顯示屏3上用戶的興趣區(qū)域。

聲紋識(shí)別模塊9分別與音頻采集模塊6和檢測(cè)控制器7相連接，該聲紋識(shí)別模塊9可以采用現(xiàn)有的聲紋識(shí)別裝置或者集成芯片，該聲紋識(shí)別模塊9用于識(shí)別音頻采集模塊6傳送的用戶語(yǔ)音信息中的聲紋特征，從而在分析多個(gè)用于語(yǔ)音信息后能夠判斷是否為同一個(gè)用戶的聲紋特征，方便確認(rèn)用戶的身份，進(jìn)而將分析結(jié)果傳送至檢測(cè)控制器7中。

語(yǔ)音識(shí)別模塊10分別與音頻采集模塊6和檢測(cè)控制器7相連接，該語(yǔ)音識(shí)別模塊10可以采用現(xiàn)有的語(yǔ)音識(shí)別裝置或者集成芯片。語(yǔ)音識(shí)別模塊10用于識(shí)別分析音頻采集模塊6傳送的用戶語(yǔ)音信息并將用戶語(yǔ)音信息轉(zhuǎn)換為語(yǔ)音文本。

語(yǔ)義分析模塊11分別與語(yǔ)音識(shí)別模塊10和中央處理器1相連接，該語(yǔ)義分析模塊11可以采用現(xiàn)有的語(yǔ)音分析裝置或者集成芯片。語(yǔ)義分析模塊11可以用于分析語(yǔ)音識(shí)別模塊10傳送的語(yǔ)音文本以提取語(yǔ)音文本中的核心詞和關(guān)鍵詞，進(jìn)而將核心詞和關(guān)鍵詞傳送至中央處理器1中，根據(jù)核心詞和關(guān)鍵詞傳送至中央處理器1的次數(shù)，可以設(shè)置相應(yīng)核心詞和關(guān)鍵詞的權(quán)重，以方便在使用中利用其權(quán)重進(jìn)行控制。

答案提取模塊12分別與中央處理器1和存儲(chǔ)器2中的本地知識(shí)庫(kù)22相連接。該答案提取模塊12可以采用現(xiàn)有的信息搜索裝置或者集成芯片，該答案提取模塊12使用的搜索算法可以使用現(xiàn)有技術(shù)中的各種搜索算法。如答案提取模塊12根據(jù)所述中央處理器1傳送的核心詞和關(guān)鍵詞，在本地知識(shí)庫(kù)22中通過(guò)模糊搜索查詢提取相應(yīng)的答案，進(jìn)而將提取的答案?jìng)魉椭林醒胩幚砥?。中央處理器1也可以根據(jù)接收的答案的頻率來(lái)設(shè)置本地知識(shí)庫(kù)22中相應(yīng)答案的權(quán)重，從而方便利用答案權(quán)重進(jìn)行答案的選擇控制。

網(wǎng)絡(luò)搜索模塊13與中央處理器1相連接，通過(guò)該網(wǎng)絡(luò)搜索模塊13可以實(shí)現(xiàn)和外部廣域網(wǎng)、互聯(lián)網(wǎng)的網(wǎng)絡(luò)連接，進(jìn)而當(dāng)答案提取模塊12在本地知識(shí)庫(kù)22中未提取到答案時(shí)，根據(jù)中央處理器1的控制命令，該網(wǎng)絡(luò)搜索模塊13通過(guò)網(wǎng)絡(luò)搜索答案，并將搜索到的答案?jìng)魉椭林醒胩幚砥?中，進(jìn)而中央處理器1一方面可以控制將該答案進(jìn)行顯示，另一方面可以將該答案存儲(chǔ)至本地知識(shí)庫(kù)22中以備使用。本實(shí)施例中的網(wǎng)絡(luò)搜索模塊13可以采用現(xiàn)有的網(wǎng)絡(luò)搜索裝置或者集成芯片。

語(yǔ)音合成模塊14與中央處理器1相連接，用于將中央處理器1傳送的答案合成為語(yǔ)音音頻。該語(yǔ)音合成模塊14可以使用現(xiàn)有成熟的語(yǔ)音合成裝置或者集成芯片。

音頻播放模塊15分別與語(yǔ)音合成模塊14、中央處理器1、存儲(chǔ)器2相連接，用于播放語(yǔ)音合成模塊14中合成的語(yǔ)音音頻以及存儲(chǔ)器2中的音頻數(shù)據(jù)。該音頻播放模塊15可以使用通用的擴(kuò)音器。音頻播放器軟件可以設(shè)置在中央處理器1。

本實(shí)施例中的智能LED交互方法，包括如下步驟：

步驟1、初始化，中央處理器1調(diào)取存儲(chǔ)器2的預(yù)存內(nèi)容存儲(chǔ)單元21中的文字、圖片、視頻內(nèi)容，控制LED顯示屏3顯示設(shè)定的首頁(yè)內(nèi)容，LED顯示屏3上分為多個(gè)顯示區(qū)域，則設(shè)定的首頁(yè)內(nèi)容分別在不同的顯示區(qū)域顯示不同的內(nèi)容；

步驟2、利用視頻采集模塊4采集獲取LED顯示屏3前方的視頻畫(huà)面；

步驟3、根據(jù)視頻采集模塊4采集的視頻畫(huà)面，利用人臉檢測(cè)模塊5實(shí)時(shí)對(duì)視頻畫(huà)面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在；當(dāng)視屏畫(huà)面圖像中檢測(cè)到人臉，則進(jìn)入步驟4；

步驟4、利用人臉檢測(cè)模塊5遍歷視頻畫(huà)面圖像中所有的人臉坐標(biāo)和特征，進(jìn)而將所有的人臉坐標(biāo)和特征數(shù)據(jù)傳送至檢測(cè)控制器7中，檢測(cè)控制器7計(jì)算獲取最大人臉的坐標(biāo)和特征數(shù)據(jù)；

步驟5、檢測(cè)控制器7計(jì)算并判斷最大人臉尺寸是否超過(guò)設(shè)定的人臉尺寸閾值，如果最大人臉尺寸超過(guò)設(shè)定的人臉尺寸閾值，則將最大人臉的特征數(shù)據(jù)存儲(chǔ)在檢測(cè)控制器7中，并進(jìn)入步驟6；如果最大人臉尺寸未超過(guò)設(shè)定的人臉尺寸閾值，則返回步驟2；

步驟6、檢測(cè)控制器7判斷最大人臉在視頻畫(huà)面圖像中的出現(xiàn)的累積時(shí)間是否超過(guò)設(shè)定的識(shí)別時(shí)間閾值，如果超過(guò)設(shè)定的識(shí)別時(shí)間閾值，則進(jìn)入步驟7，如果未超過(guò)設(shè)定的識(shí)別時(shí)間閾值，則刪除其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，并返回步驟2；

步驟7、檢測(cè)控制器7檢測(cè)其內(nèi)的交互狀態(tài)標(biāo)識(shí)，如果檢測(cè)控制器7中當(dāng)前的交互狀態(tài)標(biāo)識(shí)示為工作狀態(tài)，則刪除檢測(cè)控制器7內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，并返回步驟2，如果檢測(cè)控制器7中當(dāng)前交互狀態(tài)標(biāo)識(shí)示為空閑狀態(tài)，則啟動(dòng)交互；

步驟8、檢測(cè)控制器7檢測(cè)音頻采集模塊6采集的用戶語(yǔ)音信息，進(jìn)而檢測(cè)控制器7判斷是否存在用戶語(yǔ)音信息；

檢測(cè)控制器7獲取語(yǔ)音信息時(shí)，檢測(cè)語(yǔ)音信息對(duì)應(yīng)的音頻聲強(qiáng)是否超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值，如果語(yǔ)音信息的音頻聲強(qiáng)未超過(guò)設(shè)定的音頻聲強(qiáng)閾值則視為未接收到語(yǔ)音信息，如果語(yǔ)音信息的音頻聲強(qiáng)超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值，則視為接收到語(yǔ)音信息；同時(shí)檢測(cè)控制器7在其設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)語(yǔ)音信息，如果在設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)檢測(cè)到語(yǔ)音信息，則視為檢測(cè)到用戶的語(yǔ)音信息，如果在設(shè)定的語(yǔ)音信息檢測(cè)時(shí)間閾值內(nèi)未檢測(cè)到語(yǔ)音信息，則視為未檢測(cè)到用戶的語(yǔ)音信息；

如果檢測(cè)控制器7未檢測(cè)到用戶的語(yǔ)音信息則進(jìn)入步驟9，如果檢測(cè)控制器7檢測(cè)到用戶的語(yǔ)音信息，則進(jìn)入步驟14；

步驟9、檢測(cè)控制器7將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為視覺(jué)交互工作狀態(tài)，將步驟4中最大人臉對(duì)應(yīng)的用戶作為當(dāng)次交互用戶，注視識(shí)別模塊8獲取檢測(cè)控制器7中的最大人臉特征數(shù)據(jù)，并分析最大人臉特征數(shù)據(jù)對(duì)應(yīng)的當(dāng)次交互用戶相對(duì)于LED顯示屏3的注視角度，進(jìn)而分析當(dāng)次交互用戶在屏幕上所有的注視區(qū)域，同時(shí)分別對(duì)當(dāng)次交互用戶注視的各個(gè)注視區(qū)域的累計(jì)時(shí)間進(jìn)行計(jì)時(shí)；

步驟10、注視識(shí)別模塊8將用戶注視各個(gè)注視區(qū)域的累積時(shí)間分別與其設(shè)定的注視時(shí)間閾值進(jìn)行比較；

如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間均小于設(shè)定的注視時(shí)間閾值，則注視識(shí)別模塊8分別向檢測(cè)控制器7和中央處理器1反饋當(dāng)次視覺(jué)交互工作結(jié)束的信息，檢測(cè)控制器7則將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并刪除其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)，而中央處理器1則控制LED顯示屏3仍然顯示首頁(yè)內(nèi)容，并返回步驟2；

如果用戶注視各個(gè)注視區(qū)域的累積時(shí)間中有大于設(shè)定的注視時(shí)間閾值，則進(jìn)行步驟11；

步驟11、注視識(shí)別模塊8將LED顯示屏3上用戶注視累積時(shí)間最長(zhǎng)的注視區(qū)域識(shí)別為用戶的興趣區(qū)域，注視識(shí)別模塊8將識(shí)別結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3將當(dāng)前興趣區(qū)域顯示內(nèi)容對(duì)應(yīng)的更詳細(xì)的內(nèi)容顯示播放給用戶，如果LED顯示屏3播放的是視頻內(nèi)容，則中央處理器1同時(shí)控制音頻播放模塊15播放相應(yīng)的音頻數(shù)據(jù)；

步驟12、在LED顯示屏3播放興趣區(qū)域的詳細(xì)內(nèi)容過(guò)程中，利用視頻采集模塊4實(shí)時(shí)獲取LED顯示屏3前方的視頻畫(huà)面并傳送至人臉檢測(cè)模塊5；人臉檢測(cè)模塊5將視頻畫(huà)面圖像中所有的人臉坐標(biāo)和特征傳送至檢測(cè)控制器7，檢測(cè)控制器7將獲取的新的人臉特征數(shù)據(jù)與其內(nèi)存儲(chǔ)的最大人臉的特征數(shù)據(jù)進(jìn)行對(duì)比，從而判斷視頻畫(huà)面圖像中當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)是否還存在；

如果檢測(cè)控制器7判斷當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)存在，則注視識(shí)別模塊8檢測(cè)默認(rèn)當(dāng)次交互用戶注視LED顯示屏3觀看LED顯示屏3的播放內(nèi)容，從而將注視結(jié)果傳送至中央處理器1，則中央處理器1控制LED顯示屏3持續(xù)播放步驟10中的內(nèi)容；

如果檢測(cè)控制器7判斷當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)丟失，則檢測(cè)控制器7對(duì)該人臉特征數(shù)據(jù)的丟失時(shí)間進(jìn)行計(jì)時(shí)；

步驟13、如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間超過(guò)檢測(cè)控制器7內(nèi)設(shè)定的丟失時(shí)間閾值，檢測(cè)控制器7則刪除其內(nèi)存儲(chǔ)的當(dāng)次交互用戶對(duì)應(yīng)的最大人臉特征數(shù)據(jù)，并將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

同時(shí)檢測(cè)控制器7向注視識(shí)別模塊8發(fā)送當(dāng)次交互用戶丟失的結(jié)果，注視識(shí)別模塊8則相應(yīng)默認(rèn)當(dāng)次交互用戶未注視LED顯示屏3觀看LED顯示屏3的播放內(nèi)容，從而將注視結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3停止當(dāng)前內(nèi)容的播放，并控制LED顯示屏3顯示設(shè)定的主頁(yè)內(nèi)容；

如果步驟12中的人臉特征數(shù)據(jù)的丟失時(shí)間未超出設(shè)定的丟失時(shí)間閾值，則LED顯示屏3繼續(xù)播放當(dāng)前內(nèi)容直至播放結(jié)束；

LED顯示屏3播放結(jié)束后，中央中央處理器1則獲取LED顯示屏3傳送的當(dāng)次視覺(jué)交互工作結(jié)束的信息，該當(dāng)次視覺(jué)交互工作結(jié)束的信息經(jīng)過(guò)注視識(shí)別模塊8傳送至檢測(cè)控制器7，則檢測(cè)控制器7刪除當(dāng)次交互用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)，同時(shí)將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟14、檢測(cè)控制器7將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為語(yǔ)音交互工作狀態(tài)，檢測(cè)控制器7控制聲紋識(shí)別模塊9和語(yǔ)音識(shí)別模塊10接收音頻采集模塊6傳送的音頻聲強(qiáng)超出檢測(cè)控制器7中設(shè)定的音頻聲強(qiáng)閾值的語(yǔ)音信息，聲紋識(shí)別模塊9提取語(yǔ)音信息中的聲紋特征并傳送至檢測(cè)控制器7，檢測(cè)控制器7存儲(chǔ)當(dāng)次交互用戶的聲紋特征數(shù)據(jù)；

步驟15、對(duì)獲取的語(yǔ)音信息進(jìn)行識(shí)別和語(yǔ)義分析，具體包括如下步驟：

步驟15.1、語(yǔ)音識(shí)別模塊10識(shí)別語(yǔ)音信息，并將語(yǔ)音信息轉(zhuǎn)換為語(yǔ)音文本，進(jìn)而將該語(yǔ)音文本傳送至語(yǔ)義分析模塊11中；

步驟15.2、語(yǔ)義分析模塊11對(duì)獲取的語(yǔ)音文本進(jìn)行分詞，進(jìn)而提取語(yǔ)音文本中的核心詞和關(guān)鍵詞，進(jìn)而將提取的核心詞和關(guān)鍵詞傳送至中央處理器1中；

步驟15.3、中央處理器1根據(jù)接收到核心詞和關(guān)鍵詞的次數(shù)調(diào)整相應(yīng)核心詞和關(guān)鍵詞的權(quán)重，同時(shí)中央處理器1將對(duì)接收到的核心詞和關(guān)鍵詞傳送至答案提取模塊12，答案提取模塊12根據(jù)接收到的核心詞和關(guān)鍵詞使用相應(yīng)的搜索算法自本地知識(shí)庫(kù)22中搜索并提取答案，根據(jù)不同的搜索要求，答案提取模塊12對(duì)本地知識(shí)庫(kù)22的搜索算法可以根據(jù)要求采用現(xiàn)有的各種搜索算法；根據(jù)不同核心詞和關(guān)鍵詞的權(quán)重可以擴(kuò)展使用核心詞和關(guān)鍵詞的優(yōu)先級(jí)，進(jìn)而優(yōu)化搜索過(guò)程，縮短搜索時(shí)間；

步驟15.4、答案提取模塊12將相應(yīng)的答案搜索結(jié)果傳送至中央處理器1，如果答案提取模塊12在本地知識(shí)庫(kù)22中搜索到答案，則將答案?jìng)魉椭林醒胩幚砥?，中央處理器1對(duì)本地?cái)?shù)據(jù)庫(kù)中該答案的權(quán)重進(jìn)行調(diào)整，進(jìn)而進(jìn)入步驟15.9，否則將答案提取失敗的結(jié)果傳送至中央處理器1，進(jìn)入步驟15.5；對(duì)答案權(quán)重的調(diào)整可以實(shí)現(xiàn)答案優(yōu)先級(jí)的應(yīng)用，如此在出現(xiàn)多個(gè)能夠使用的答案時(shí)，可以根據(jù)答案的優(yōu)先級(jí)選擇更加精準(zhǔn)的答案；

步驟15.5、中央處理器1向網(wǎng)絡(luò)搜索模塊13傳送前述的核心詞和關(guān)鍵詞并向網(wǎng)絡(luò)搜索模塊13發(fā)送啟動(dòng)工作的控制命令，網(wǎng)絡(luò)搜索模塊13搜索廣域網(wǎng)或互聯(lián)網(wǎng)以獲取前述的核心詞和關(guān)鍵詞對(duì)應(yīng)的答案；

步驟15.6、網(wǎng)絡(luò)搜索模塊13如果搜索到答案，則將答案?jìng)魉椭林醒胩幚砥?，進(jìn)而進(jìn)入步驟15.8和步驟15.9，否則網(wǎng)絡(luò)搜索模塊13向中央處理器1返回獲取答案失敗的結(jié)果，進(jìn)而進(jìn)入步驟15.7；

步驟15.7、中央處理器1控制LED顯示屏3顯示和/或控制音頻播放模塊15語(yǔ)音提示答案獲取失敗，同時(shí)中央處理器1記錄答案獲取失敗的問(wèn)題，以備人工添加答案；

步驟15.8、中央處理器1將網(wǎng)絡(luò)搜索模塊13搜索到的答案及對(duì)應(yīng)的核心詞和關(guān)鍵詞保存到本地知識(shí)庫(kù)22；

步驟15.9、中央處理器1控制LED顯示屏3顯示答案，和/或中央處理器1將答案?jìng)魉椭琳Z(yǔ)音合成模塊14，語(yǔ)音合成模塊14將答案合成為語(yǔ)音音頻，進(jìn)而通過(guò)音頻播放模塊15播放給當(dāng)次交互用戶。

步驟16、在步驟15進(jìn)行的同時(shí)，利用視頻采集模塊4實(shí)時(shí)獲取LED顯示屏3前方的視頻畫(huà)面，并利用人臉檢測(cè)模塊5對(duì)實(shí)時(shí)對(duì)視頻畫(huà)面圖像進(jìn)行人臉檢測(cè)，判斷是否有人臉存在，如果無(wú)人臉存在，則檢測(cè)控制器7對(duì)人臉丟失時(shí)間進(jìn)行累積計(jì)時(shí)，如果人臉丟失的累積時(shí)間超過(guò)檢測(cè)控制器7內(nèi)設(shè)置的語(yǔ)音交互用戶丟失時(shí)間閾值，則立即結(jié)束步驟15，同時(shí)檢測(cè)控制器7刪除其內(nèi)存儲(chǔ)的當(dāng)次交互用戶的聲紋特征，并將其內(nèi)的交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)；注視識(shí)別模塊8則相應(yīng)默認(rèn)無(wú)交互用戶未注視LED顯示屏3，從而將注視結(jié)果傳送至中央處理器1，中央處理器1控制LED顯示屏3顯示設(shè)定的主頁(yè)內(nèi)容，同時(shí)返回步驟2；

在步驟15進(jìn)行的同時(shí)，如果檢測(cè)控制器7接受到音頻采集模塊6傳送的語(yǔ)音信息則不予響應(yīng)；

步驟17、當(dāng)次語(yǔ)音交互完成后，檢測(cè)控制器7重新等待獲取音頻采集模塊6傳送的語(yǔ)音信息，如果在檢測(cè)控制器7設(shè)定的等待時(shí)間閾值范圍內(nèi)獲取到語(yǔ)音信息，則進(jìn)入步驟18；如果在檢測(cè)控制器7設(shè)定的等待時(shí)間閾值范圍內(nèi)未獲取到語(yǔ)音信息，則刪除當(dāng)次交互用戶的聲紋特征，LED顯示屏3顯示設(shè)定的主頁(yè)內(nèi)容，將交互狀態(tài)標(biāo)識(shí)調(diào)整為空閑狀態(tài)，并返回步驟2；

步驟18、聲紋識(shí)別模塊9獲取音頻采集模塊6傳送的新的語(yǔ)音信息，進(jìn)而聲紋識(shí)別模塊9提取新的語(yǔ)音信息的聲紋特征并傳送至檢測(cè)控制器7，檢測(cè)控制器7將新的新的語(yǔ)音信息對(duì)應(yīng)的聲紋特征與存儲(chǔ)的聲紋特征進(jìn)行對(duì)比，進(jìn)而判斷獲取的語(yǔ)音信息對(duì)應(yīng)的聲紋特征是否為當(dāng)次交互用戶的聲紋特征，如果是，則進(jìn)入步驟15；如果不是，則進(jìn)入步驟17。