顯示裝置、車輛和顯示方法
【專利摘要】本發(fā)明涉及顯示裝置、車輛和顯示方法，其通過識別用戶的眼睛來識別用戶的意圖，并將識別結(jié)果應(yīng)用到設(shè)備控制過程，由此極大地提高用戶的輸入單元操控行為的方便性。顯示裝置包括：控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中；顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的視覺刺激信號和基本視覺信息；以及EEG分析器，其被配置為確定所生成的EEG信號占有的頻率。
【專利說明】
顯示裝置、車輛和顯示方法
技術(shù)領(lǐng)域
[0001]本發(fā)明的實(shí)施例涉及顯示裝置、車輛和顯示方法，其能夠識別用戶的眼睛并提供所識別的用戶的眼睛的反饋。
【背景技術(shù)】
[0002]通常，為了允許用戶控制設(shè)備并獲得必要的信息，用戶必須用手直接操控輸入單元。然而，如果用戶當(dāng)前駕駛車輛或者不能自由地使用他或她的手，則用戶可能難以操控輸入單元，并且可能在其他任務(wù)(例如，車輛行駛)中發(fā)生意想不到的麻煩。
[0003]因此，需要開發(fā)一種技術(shù)，用于在最小化輸入單元的操控次數(shù)的同時識別用戶的意圖，并基于所識別的結(jié)果控制設(shè)備或提供必要的信息。
[0004]最近，許多開發(fā)者和公司已經(jīng)深入研究了通過識別用戶的眼睛來識別用戶的意圖的技術(shù)。假設(shè)將該技術(shù)應(yīng)用于設(shè)備控制方法，則輸入單元操控操作中的一些或全部操作能夠用注視特定區(qū)域的用戶的行為替代，而不直接操作輸入單元，使得用戶能夠更方便地控制對應(yīng)的設(shè)備并且能夠容易地從設(shè)備獲得期望的信息。

【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的一個方面提供了顯示裝置、車輛和顯示方法，其通過識別用戶的眼睛來識別用戶的意圖，并將識別結(jié)果應(yīng)用到設(shè)備控制過程，由此極大地提高用戶的輸入單元操控行為的方便性。
[0006]本發(fā)明的其他方面的一部分將在以下的描述中闡述，并且一部分將是從描述中顯而易見的，或者可以通過實(shí)踐本發(fā)明而獲得。
[0007]根據(jù)本發(fā)明的一方面，一種顯示裝置包括:控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中；顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的視覺刺激信號和基本視覺信息；以及腦電圖(EEG)分析器，其被配置為確定所生成的EEG信號占有的頻率。
[0008]視覺刺激信號生成的EEG信號可以包括穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。
[0009]顯示單元可以以移動圖像或靜止圖像的方式顯示基本視覺信息。
[0010]如果基本視覺信息是以移動圖像的形式顯示的，則控制器可以在不顯示構(gòu)成移動圖像的幀的特定時間處插入視覺刺激信號。
[0011]該顯示裝置還可以包括:通信單元，其被配置為從用于檢測用戶的EEG信號的腦電圖檢測器接收所生成的EEG信號。
[0012]控制器可以生成控制信號，以激活與所生成的EEG信號占有的頻率對應(yīng)的功能。
[0013]控制器可以將顯示單元的畫面圖像劃分為多個區(qū)域，并將具有不同頻率的視覺刺激信號插入在所劃分的區(qū)域上顯示的基本視覺信息中。
[0014]EEG分析器可以基于所生成的EEG信號占有的頻率來識別用戶的眼睛。
[0015]根據(jù)本發(fā)明的另一方面，一種車輛包括:控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中；顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的視覺刺激信號和基本視覺信息；以及通信單元，其被配置為從用于檢測用戶的EEG信號的EEG檢測器接收EEG信號；以及腦電圖(EEG)分析器，其被配置為確定用戶的EEG信號占有的頻率，并基于所確定的頻率來確定用戶注視的區(qū)域。
[0016]視覺刺激信號生成的腦電圖(EEG)信號可以包括穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。
[0017]顯示單元可以包括多個顯示器。
[0018]顯示單元可以包括音頻視頻導(dǎo)航(AVN)顯示器、集群顯示器和平視顯示器。
[0019]控制器可以將具有不同頻率的視覺刺激信號插入到在多個顯示器上分別顯示的基本視覺信息中。
[0020]控制器可以控制與多個顯示器當(dāng)中的、用戶注視的顯示器相關(guān)的功能。
[0021]該車輛還可以包括:輸入單元，其被配置為從用戶接收控制命令?？刂破骺梢愿鶕?jù)從用戶操控的輸入單元接收到的控制命令來控制與用戶注視的顯示器相關(guān)的功能。
[0022]控制器可以將不同的視覺刺激信號插入到在顯示單元的不同區(qū)域上顯示的視覺信息中。
[0023]如果用戶注視顯示單元的區(qū)域中的一個，則控制器可以立刻執(zhí)行與區(qū)域中的這一個區(qū)域?qū)?yīng)的功能，使得立刻執(zhí)行的功能可以被確定為快捷方式功能。
[0024]該車輛還可以包括:揚(yáng)聲器，其被配置為輸出聲學(xué)信號或聲音信號。
[0025]如果用戶注視顯示單元持續(xù)預(yù)定參考時間或更長，則控制器通過顯示單元和揚(yáng)聲器中的至少一個輸出警告消息。
[0026]如果用戶未注視交通燈，則控制器可以通過顯示單元和揚(yáng)聲器中的至少一個輸出警告消息。
[0027]如果用戶注視交通燈當(dāng)中的紅燈并且如果車輛未停止行駛，則控制器可以通過顯示單元和揚(yáng)聲器中的至少一個輸出警告消息。
[0028]顯示單元可以放大與用戶頻繁使用的功能對應(yīng)的區(qū)域的顯示尺寸或者用戶頻繁注視的區(qū)域的顯示尺寸。
[0029]控制器可以將用戶頻繁使用的功能或者用戶頻繁注視的功能確定為快捷方式功會K。
[0030]根據(jù)本發(fā)明的另一方面，一種顯示裝置包括:控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中；顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的視覺刺激信號和基本視覺信息。
[0031]根據(jù)本發(fā)明的另一方面，一種用于接收注視廣告顯示設(shè)備的用戶的腦電圖(EEG)信號的車輛，所述廣告顯示設(shè)備不僅顯示基本視覺信息，還顯示根據(jù)預(yù)定頻率被插入基本視覺信息中的視覺刺激信號，所述車輛包括:EEG分析器，其被配置為確定用戶的EEG信號占有的頻率，并基于所確定的頻率來確定用戶注視的區(qū)域；以及控制器，如果用戶注視的區(qū)域是廣告顯示設(shè)備，則控制器被配置為通過顯示單元或輸出單元提供與廣告顯示設(shè)備關(guān)聯(lián)的信息。
[0032]顯示單元可以包括音頻視頻導(dǎo)航(AVN)顯示器、集群顯示器和平視顯示器。
[0033]平視顯示器可以使用增強(qiáng)現(xiàn)實(shí)技術(shù)顯示與廣告顯示設(shè)備關(guān)聯(lián)的信息。
[0034]根據(jù)本發(fā)明的另一方面，一種顯示方法包括以下步驟:根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中；接收用戶的腦電圖(EEG)信號；通過分析接收到的EEG信號來確定用戶注視的區(qū)域；以及執(zhí)行與用戶注視的區(qū)域?qū)?yīng)的控制功能。
[0035]確定用戶注視的區(qū)域的步驟可以包括:確定接收到的EEG信號占有的頻率；以及確定所確定的頻率是否與視覺刺激信號的預(yù)定頻率相同。
[0036]該顯示方法還可以包括以下步驟:將顯示視覺刺激信號的區(qū)域映射到與該區(qū)域?qū)?yīng)的控制功能，并存儲映射結(jié)果。
【附圖說明】
[0037]從下面結(jié)合附圖對實(shí)施例進(jìn)行的描述中，本發(fā)明的這些方面和/或其他方面將變得明顯和更容易理解，在附圖中:
[0038]圖1是示出根據(jù)本發(fā)明的實(shí)施例的顯示裝置的方框圖；
[0039]圖2和圖3是示出在根據(jù)本發(fā)明的實(shí)施例的顯示裝置上顯示的示例性視覺刺激信號;
[0040]圖4到圖6示出視覺刺激信號的示例性插入格式，所述視覺刺激信號具有特定頻率并且被插在基本視覺信息幀之間；
[0041]圖7是示出根據(jù)本發(fā)明的實(shí)施例的用于通過將不同頻率分配到顯示單元的各區(qū)域來顯示視覺刺激信號的示例性方法的概念性示圖；
[0042]圖8是示出根據(jù)本發(fā)明的實(shí)施例的腦電圖(EEG)檢測器的外觀的視圖；
[0043]圖9是示出根據(jù)本發(fā)明的實(shí)施例的EEG檢測器的控制方框圖；
[0044]圖10是示出根據(jù)本發(fā)明的實(shí)施例的顯示裝置的EEG分析器的詳細(xì)方框圖；
[0045]圖11是示出根據(jù)本發(fā)明的實(shí)施例的進(jìn)一步包括存儲設(shè)備的顯示裝置的控制方框圖；
[0046]圖12是示出根據(jù)本發(fā)明的實(shí)施例的車輛中所包含的顯示裝置的方框圖；
[0047]圖13是示出根據(jù)本發(fā)明的實(shí)施例的車輛的內(nèi)部結(jié)構(gòu)的視圖；
[0048]圖14是示出平視顯示器和關(guān)聯(lián)的構(gòu)成元件的視圖；
[0049]圖15是示出根據(jù)用戶注視區(qū)域的示例性控制操作的概念性示圖；
[0050]圖16是示出用于將一個顯示器劃分為多個區(qū)域并將不同頻率分配到所劃分的區(qū)域的示例性方法的概念性示圖；
[0051]圖17是示出用于在所劃分的區(qū)域上顯示具有不同頻率的視覺刺激信號的示例性方法的概念性示圖；
[0052]圖18和圖19是示出根據(jù)用戶注視區(qū)域的其他控制操作的概念性示圖；
[0053]圖20是示出當(dāng)顯示單元的畫面圖像被劃分為多個區(qū)域時，用于調(diào)整多個區(qū)域的尺寸的示例性方法的概念性示圖；
[0054]圖21示出用戶的使用歷史信息的各種利用領(lǐng)域；
[0055]圖22是示出根據(jù)用戶注視區(qū)域的控制操作的另一個示例的概念性示圖；
[0056]圖23是示出在用戶注視紅色交通燈的情況中使用的控制操作的示例的概念性示圖；
[0057]圖24是示出在用戶未注視交通燈的情況中使用的控制操作的示例的概念性示圖；
[0058]圖25到圖27是示出在用戶注視位于車輛外的標(biāo)識牌的情況中使用的示例性控制操作的概念性示圖；
[0059]圖28是示出通過識別用戶的眼睛來控制空調(diào)設(shè)備或全自動座椅設(shè)備的車輛的方框圖；
[0060]圖29示例性示出當(dāng)通過識別用戶的眼睛來控制空調(diào)設(shè)備或全自動座椅設(shè)備時，在顯示單元上顯示的畫面圖像；
[0061]圖30是示出根據(jù)本發(fā)明的實(shí)施例的顯示方法的流程圖；
[0062]圖31是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，基于用戶注視區(qū)域通過輸入單元確定控制對象的方法的流程圖；
[0063]圖32是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，立刻執(zhí)行與用戶注視區(qū)域?qū)?yīng)的功能的方法的流程圖；
[0064]圖33是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，根據(jù)用戶的使用歷史信息來控制顯示畫面圖像的構(gòu)成元素的方法的流程圖；
[0065]圖34是示出當(dāng)用戶注視外部視覺刺激信號時所使用的顯示方法的流程圖；以及
[0066]圖35是示出基于用戶的使用歷史信息來控制顯示畫面圖像的構(gòu)成元素的另一個方法的流程圖。
【具體實(shí)施方式】
[0067]現(xiàn)在將詳細(xì)參考本發(fā)明的實(shí)施例，其示例在附圖中示出，其中貫穿全文，相同的參考數(shù)字指示相同元件。在下文中將參考圖1描述根據(jù)本發(fā)明的實(shí)施例的顯示裝置、車輛和顯示控制方法。
[0068]圖1是示出根據(jù)本發(fā)明的實(shí)施例的顯示裝置的方框圖。
[0069]參考圖1，根據(jù)實(shí)施例的顯示裝置100包括:顯示單元140，其被配置為向用戶提供視覺信息；控制器130，其被配置為控制顯示單元140 ;通信單元110，其用于從EEG檢測器200接收腦電圖(EEG)信號，EEG檢測器200已經(jīng)檢測到接收視覺信息的用戶的EEG信號；以及EEG分析器120，其被配置為通過分析接收到的EEG信號來識別用戶的意圖。
[0070]顯示裝置100能夠通過以最小化用作用戶和設(shè)備之間的接口設(shè)備的輸入單元的物理操控次數(shù)并使用最小化的輸入單元的操控次數(shù)來控制顯示裝置100的方式，識別用戶的眼睛，以此識別用戶的意圖。
[0071]為了正確地識別用戶的眼睛，顯示裝置100可以測量并分析用戶的腦電圖(EEG)信號。EEG信號是當(dāng)使用電極測量通過合成從腦神經(jīng)生成的電信號而采集的精細(xì)大腦頭皮信號時獲得的電位。更詳細(xì)地，可以使用穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。SSVEP是當(dāng)用戶注視具有恒定頻率的視覺刺激信號時，從負(fù)責(zé)大腦的視覺區(qū)域的枕葉附近導(dǎo)出的EEG信號。由于SSVEP具有與視覺刺激信號的頻率分量相同的頻率分量，因此將施加到用戶的視覺刺激信號的頻率與用戶的EEG信號的頻率進(jìn)行比較，使得能夠確定用戶是否注視對應(yīng)的視覺刺激信號。
[0072]為了使用SSVEP識別用戶的眼睛，控制器130可以控制顯示單元140顯示視覺信息，視覺信息包括具有預(yù)定頻率的視覺刺激信號。在該情況下，需要將與預(yù)定頻率有關(guān)的信息預(yù)先存儲在顯示裝置100中，但頻率的大小不受限制。
[0073]如果EEG檢測器200檢測到用戶的EEG信號并將EEG信號傳輸?shù)斤@示裝置100，則通信單元100接收EEG信號并將接收到的EEG信號傳輸?shù)紼EG分析器120。雖然出于方便描述的目的，實(shí)施例公開了 EEG檢測器200與顯示裝置100分開，但是應(yīng)當(dāng)注意，EEG檢測器200還可以被包含在顯示裝置100中。
[0074]EEG分析器120可以確定由EEG檢測器200檢測到的用戶EEG信號是否具有特定頻率。特定頻率意味著預(yù)定頻率。為此，可以使用各種分析方法。例如，可以使用功率譜密度分析方法或典型相關(guān)分析方法。另外，在分析EEG信號之前可以執(zhí)行預(yù)處理，例如放大或過濾，并且因此將在下文中詳細(xì)給出其詳細(xì)描述。
[0075]控制器130可以針對EEG信號的分析結(jié)果執(zhí)行控制過程。例如，如果用戶的注視對應(yīng)于顯示單元140的控制過程，則控制器130可以控制顯示單元140顯示用戶期望的畫面圖像。如果用戶的注視對應(yīng)于其他設(shè)備的控制過程，則控制器130可以將控制信號傳輸?shù)綄?yīng)的設(shè)備。下文中將描述基于EEG分析結(jié)果的詳細(xì)控制操作。
[0076]圖2和圖3示出在根據(jù)本發(fā)明的實(shí)施例的顯示裝置上顯示的示例性視覺刺激信號。
[0077]如上所述，控制器130可以控制顯示單元140顯示視覺信息，視覺信息包括具有特定頻率的視覺刺激信號。SSVEP可以由光驅(qū)動響應(yīng)(photic driving response)生成。當(dāng)用戶集中地注視以特定頻率閃爍的圖案或閃爍時，大腦的光驅(qū)動響應(yīng)指示在枕葉視覺皮層處測量到相同頻率。
[0078]作為用于生成具有特定頻率的視覺刺激信號的視覺刺激圖案的代表性示例，具有矩形圖案的第一圖案(P1)和不具有矩形圖案的第二圖案(P2)可以彼此交叉，如圖2中所示，或者具有不同檢查圖案的第三和第四圖案(P3、P4)可以彼此交叉，如圖3中所示，從而形成頻率。然而，圖2和圖3中示出的視覺刺激圖案僅僅為示例，用于使顯示裝置100生成具有特定頻率的視覺刺激信號，并且本發(fā)明的顯示裝置100的范圍和精神不限于此。
[0079]圖4到圖6示出具有特定頻率且插入在基本視覺信息幀之間的視覺刺激信號的示例性插入格式。
[0080]在顯示單元140上顯示的視覺信息可以包括用于生成EEG信號的視覺刺激信號、以及基本視覺信息?？刂破?30可以將用于生成EEG信號的視覺刺激信號插入在顯示單元140上顯示的基本視覺信息中?；疽曈X信息可以被顯示在顯示單元140上，以便向用戶提供信息或內(nèi)容。基本視覺信息可以以如下方式生成具有特定頻率的EEG信號，即基本視覺信息能夠與用于識別用戶的意圖的視覺刺激信號區(qū)分開。例如，基本視覺信息可以包括導(dǎo)航畫面圖像信息、音頻畫面圖像信息、視頻畫面圖像信息等。
[0081]另外，基本視覺信息可以是移動圖像或靜止圖像。如果基本視覺信息是移動圖像，則可以將視覺刺激信號插入在構(gòu)成移動圖像的幀之間，即，視覺刺激信號可以被插入在沒有顯示幀的時間處或者沒有顯示幀的區(qū)間中。如果基本視覺信息是靜止圖像，則可以將視覺刺激信號插入在連續(xù)顯示靜止圖像的時間中。替換地，可以根據(jù)預(yù)定幀速率以與移動圖像相同的方式顯示靜止圖像，并且也可以根據(jù)需要將視覺刺激信號插入在靜止圖像幀之間。
[0082]如圖4中所示，如果以在顯示單元140上每秒顯示η個幀的幀速率(即，nFPS)顯示移動圖像，則控制器130可以將用于生成EEG信號的視覺刺激信號插入在各個幀(FpF2、F3……Fn)之間。更詳細(xì)地，可以將Hi1視覺刺激信號插入在第一幀(F1)的顯示時間U1)與第二幀(F2)的顯示時間(t2)之間，并且可以將m2視覺刺激信號插入在第二幀(F2)的顯示時間(t2)與第三幀(F3)的顯示時間(t3)之間。類似地，還可以將視覺刺激信號插入在剩余時間之間，并且可以將mn i視覺刺激信號插入在第(η-1)個幀的顯示時間與第η個幀的顯示時間(tn)之間。在該情況下，Hi1Nmnl可以是等于或大于零‘0’的整數(shù)，并且可以具有相同值或不同值。
[0083]控制器130可以調(diào)整被插入到各個幀中的視覺刺激信號的數(shù)目(mi?mn J，使得其能夠成為期望的頻率。
[0084]例如，如圖5中所示，Hi^mn i中的每個可以被分配‘I’。更詳細(xì)地，如果將一個視覺刺激信號插入在所有幀之間，則可以顯示每秒(η-1)個視覺刺激信號(VSpVS2……VSn 在該情況下，可以將顯示單元140上顯示的視覺刺激信號的頻率設(shè)置為(n-l)Hz。
[0085]在另一個示例中，如圖6中所示，以交替地插入視覺刺激信號的方式，在用于顯示第一幀(F1)的第一時間U1)與用于顯示第二幀(F2)的第二時間(t2)之間插入單個視覺刺激信號，并且在用于顯示第二幀(F2)的第二時間(t2)與用于顯示第三幀(F3)的第三時間(t3)之間不插入視覺刺激信號。在該情況下，一秒可以顯示(n-l)/2(這里η為奇數(shù))個視覺刺激信號(VSp VS2……VSn 1/2)，并且可以將顯示單元140上顯示的每個視覺刺激信號的頻率設(shè)置為(n-l)/2Hz。
[0086]如上所述，控制器130將基本視覺信息(S卩，用戶期望的TV節(jié)目、電影、導(dǎo)航畫面圖像等)控制為在沒有變化的情況下顯示，并且同時在用戶不能夠識別的瞬間期間將視覺刺激信號插入基本視覺信息中，使得控制器130能夠有效地使用顯示器，而不造成眼睛疲勞或用戶不便性，并且能夠識別用戶的眼睛。
[0087]圖7是根據(jù)本發(fā)明的實(shí)施例示出通過將不同頻率分配到顯示單元的相應(yīng)區(qū)域來顯示視覺刺激信號的示例性方法的概念性示圖。
[0088]參考圖7，控制器130可以將顯示單元140的畫面圖像劃分為多個區(qū)域，并且在各個區(qū)域中顯示具有不同頻率的視覺刺激信號。例如，如從圖7中可以看出，顯示單元140的畫面圖像被劃分為四個區(qū)域(mi)。具有XHz頻率的視覺刺激信號可以被顯示在第一區(qū)域(R1)上，具有YHz頻率的視覺刺激信號可以被顯示在第二區(qū)域(R2)上，具有ZHz頻率的視覺刺激信號可以被顯示在第三區(qū)域(R3)上，并且具有WHz頻率的視覺刺激信號可以被顯示在第四區(qū)域(R4)上。在該情況下，X、Y、Z和W可以由不同的頻率值表示。
[0089]參考圖7，如果一個畫面圖像中包含的若干區(qū)域顯示具有不同頻率的視覺刺激信號，則能夠使用僅一個畫面圖像來識別各種用戶意圖。
[0090]如果用戶注視顯示單元140上顯示的視覺刺激信號，則生成與視覺刺激信號的頻率同步的EEG信號，并且由EEG檢測器200檢測EEG信號。
[0091]圖8是示出根據(jù)本發(fā)明的實(shí)施例的腦電圖(EEG)檢測器的外觀的視圖。圖9是示出根據(jù)本發(fā)明的實(shí)施例的EEG檢測器的控制方框圖。
[0092]參考圖8，EEG檢測器200以可佩戴方式形成，使得用戶能夠佩戴EEG檢測器200。由用戶佩戴的EEG檢測器200可以有線或無線地連接到顯示裝置100。
[0093]參考圖9，EEG檢測器200可以包括用于檢測EEG信號的電極單元210以及用于將電極單元210檢測到的信號傳輸?shù)斤@示單元100的發(fā)送器。
[0094]電極單元210可以包括能夠附接到頭皮的多個EEG測量電極，并且多個EEG測量電極可以被分類為信號電極和參考電極。
[0095]如果將若干EEG測量電極附接到枕葉，則可以通過EEG測量電極測量當(dāng)信號在神經(jīng)系統(tǒng)中的顱神經(jīng)之間傳遞時生成的電流。
[0096]發(fā)送器220可以有線地或無線地將電極單元210檢測到的EEG信號傳輸?shù)斤@示裝置100。在該情況下，傳輸?shù)腅EG信號可以是模擬信號或數(shù)字信號。當(dāng)傳輸數(shù)字EEG信號時，可以在發(fā)送器220中包含模數(shù)轉(zhuǎn)換器(ADC)，用于將檢測到的EEG信號轉(zhuǎn)換為數(shù)字EEG信號。
[0097]如果EEG檢測器200有線地連接到顯示裝置100，則發(fā)送器200可以包括用于將EEG檢測器200連接到顯示裝置100的電纜。在該情況下，顯示裝置100的通信單元110可以包括能夠連接到電纜的端子。
[0098]如果EEG檢測器200無線地連接到顯示裝置100，則發(fā)送器220和通信單元110中的每一個可以包括從以下中選擇的至少一個通信模塊:藍(lán)牙通信模塊、藍(lán)牙低功耗(BLE)通信模塊、超寬帶(UWB)、ZigBee、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟(DLNA)模塊、近場通信(NFC)模塊等。
[0099]然而，EEG檢測器200和顯示裝置100之間的通信方案不限于以上示例，并且在不脫離本發(fā)明的范圍和精神的情況下，EEG檢測器200和顯示裝置100也能夠使用除以上提到的示例以外的其他通信方案與彼此通信。
[0100]另一方面，EEG檢測器200可以將電極單元210檢測到的EEG信號轉(zhuǎn)換為原始信號(raw signal)，并且可以將原始EEG信號傳輸?shù)斤@示裝置100。如果需要，EEG檢測器200執(zhí)行原始信號的預(yù)處理(例如，放大、過濾等)，然后根據(jù)需要傳輸預(yù)處理后的結(jié)果信號。在前者情況下，已經(jīng)接收到EEG信號的顯示裝置100可以執(zhí)行預(yù)處理。雖然顯示裝置100的實(shí)施例包括前者情況和后者情況，但是以下實(shí)施例將示例性地公開顯示裝置100執(zhí)行預(yù)處理的后者情況。
[0101]圖10是示出根據(jù)本發(fā)明的實(shí)施例的顯示裝置的EEG分析器的詳細(xì)方框圖。圖11是示出根據(jù)本發(fā)明的實(shí)施例的進(jìn)一步包括存儲設(shè)備的顯示裝置的控制方框圖。
[0102]參考圖10，如果通信單元110從EEG檢測器200接收到用戶的EEG信號，則EEG分析器120可以分析用戶EEG信號并識別用戶的眼睛。例如，如從圖10中可以看出，EEG分析器120可以包括用于預(yù)處理EEG信號的預(yù)處理器121以及用于分析EEG信號的頻率分量的頻率分析器122。
[0103]盡管附圖中未示出，但是如果從EEG檢測器200接收到的EEG信號為模擬信號，則通信單元110或EEG分析器120可以包括ADC，并且EEG分析器120可以分析由ADC轉(zhuǎn)換的數(shù)字EEG信號。
[0104]EEG檢測器200的EEG信號可能包括由頭皮中的信號傳播、眨眼、面部肌肉的運(yùn)動、周邊環(huán)境以及在顯示單元140上顯示的基本視覺信息產(chǎn)生的噪聲。因此，預(yù)處理器121可以放大用戶EEG信號或者可以過濾噪聲。
[0105]更詳細(xì)地，僅特定區(qū)域的頻率可以通過頻帶濾波器(例如，高通濾波器)，或者可以通過空間濾波器去除或加強(qiáng)空間頻帶。例如，可以使用高通濾波器切斷小于0.1Hz的頻率信號，或者可以使用空間濾波器將低權(quán)重分配到從運(yùn)動皮層的周邊部分生成的信號，并且可以放大要被測量的運(yùn)動皮層的EEG信號。
[0106]例如，空間濾波器可以是公共平均參考(CAR)濾波器、大表面拉普拉斯(大SL)濾波器、小表面拉普拉斯(小SL)濾波器、公共空間模式(CSP)濾波器等中的任一個。
[0107]替換地，可以使用噪聲移除算法移除EEG信號的噪聲，例如，獨(dú)立成分分析(ICA)算法、線性判別分析(LDA)算法、主成分分析(PCA)算法、典型相關(guān)分析(CCA)算法等。
[0108]頻率分析器122可以分析EEG信號的頻率分量。例如，頻率分析器122可以通過傅里葉變換計(jì)算基于頻率的功率譜，并且可以通過將功率譜值的幅值彼此進(jìn)行比較來搜索特定頻率分量。
[0109]另一方面，從注視視覺刺激信號的用戶生成的EEG信號可以包括指示視覺刺激信號頻率的基頻和指示基頻的倍數(shù)的諧頻。因此，頻率分析器122還可以通過倒譜分析來確定EEG信號的頻率分量。
[0110]EEG分析器120可以確定在參考時間或更多時間期間是否生成了特定頻率分量。例如，假設(shè)將參考時間設(shè)置為5秒，如果在5秒或更多秒期間生成了特定頻率分量，則這意味著用戶注視對應(yīng)的區(qū)域。替換地，這意味著用戶試圖執(zhí)行與用戶注視的對應(yīng)區(qū)域?qū)?yīng)的功能。作為結(jié)果，在用戶短暫地注視特定區(qū)域而沒有任何意圖的情況中，能夠防止特定功能被執(zhí)行。
[0111]以上提到的EEG分析器120的構(gòu)造和詳細(xì)操作僅僅為示例性的，并且顯示裝置100的實(shí)施例的范圍或精神不限于此。因此，在不脫離本發(fā)明的范圍或精神的情況下，不但以上提到的示例而且其他方法或其他構(gòu)造也可以應(yīng)用于本發(fā)明的實(shí)施例，只要能夠辨別EEG檢測器200檢測到的EEG信號的頻率。
[0112]參考圖11，顯示裝置100可以進(jìn)一步包括存儲設(shè)備160?？梢詫⒁曈X刺激信號的頻率數(shù)據(jù)庫(DB) 161存儲在存儲設(shè)備160中。與特定頻率對應(yīng)的功能或者與功能對應(yīng)的區(qū)域可以被映射并存儲在頻率DB161中。
[0113]存儲設(shè)備160可以包括讀存取存儲器(RAM)、只讀存儲器(R0M)、硬盤驅(qū)動器(HDD)、磁盤、光盤、固體靜態(tài)磁盤等。
[0114]例如，收音功能可以被映射到8Hz頻率，藍(lán)牙功能可以被映射到1Hz頻率，導(dǎo)航功能可以被映射到15Hz頻率，以及電話功能可以被映射到12Hz頻率。在該情況下，如果EEG檢測器200檢測到的用戶EEG信號包括15Hz頻率，則EEG分析器120能夠識別用戶選擇導(dǎo)航功能。
[0115]控制器130可以生成控制信號，用于根據(jù)EEG分析器120的判定結(jié)果控制設(shè)備。在該情況下，如果要被控制的設(shè)備是外部設(shè)備，則控制器130將控制信號傳輸?shù)酵獠坎糠?。如果顯示單元140是控制目標(biāo)，則控制器130可以將控制信號重新傳輸?shù)斤@示單元140。
[0116]EEG分析器120可以包括存儲器和微處理器，存儲器存儲用于執(zhí)行以上提到的構(gòu)成元件的操作的程序和數(shù)據(jù)，微處理器通過執(zhí)行存儲在存儲器中的程序來處理數(shù)據(jù)。另外，EEG分析器120中所包含的各構(gòu)成元件可以由額外的微處理器實(shí)現(xiàn)，并且EEG分析器120的兩個或更多個構(gòu)成元件可以共享微處理器。
[0117]控制器130可以包括存儲器和微處理器，存儲器存儲用于生成控制信號的程序和數(shù)據(jù)，微處理器通過執(zhí)行存儲在存儲器中的程序來處理數(shù)據(jù)。在該情況下，控制器130可以與EEG分析器120共享存儲器或微處理器，并且還可以與顯示裝置100的其他構(gòu)成元件共享存儲器或微處理器。
[0118]另外，在存儲設(shè)備160中可以包括被配置為存儲控制器130和EEG分析器120的程序和數(shù)據(jù)的存儲器。
[0119]根據(jù)實(shí)施例的顯示裝置100可以被包含在車輛中。下文中將詳細(xì)描述包括根據(jù)實(shí)施例的顯示裝置100的車輛。
[0120]圖12是根據(jù)本發(fā)明的實(shí)施例示出在車輛中所包含的顯示裝置的方框圖。圖13是根據(jù)本發(fā)明的實(shí)施例示出車輛的內(nèi)部結(jié)構(gòu)的視圖。圖14是示出平視顯示器以及關(guān)聯(lián)的構(gòu)成元件的視圖。
[0121]如果顯示裝置100被包含在車輛中，則用于顯示視覺刺激信號的顯示單元140可以包括音頻視頻導(dǎo)航(AVN)顯示器141、集群顯示器142和平視顯示器143。雖然出于方便描述的目的，圖12的顯示單元140包括AVN顯示器141、集群顯示器142和平視顯示器143，但是應(yīng)當(dāng)注意，圖12的顯示單元140還可以選擇性地包括AVN顯示器141、集群顯示器142和平視顯示器143中的一個或多個。
[0122]如從圖12中可以看出，用戶可以注視在AVN顯示器141、集群顯示器142和平視顯示器143中的至少一個上顯示的視覺信息。盡管注視視覺信息的用戶識別不出視覺刺激信號，但是用戶也能夠注視視覺刺激信號。如果EEG檢測器200檢測到用戶EEG信號并將檢測到的EEG信號傳輸?shù)斤@示裝置100，則EEG分析器120可以通過分析EEG信號來識別用戶意圖，并且控制器130可以生成與用戶意圖對應(yīng)的控制信號。
[0123]參考圖13中示出的車輛I的內(nèi)部部件，AVN顯示器141可以以用戶(具體地，車輛駕駛者)在駕駛時查看或操控所顯示的圖像的方式安裝到儀表板10的中央面板11。中央面板11可以指示儀表板10的中央?yún)^(qū)域，其包括設(shè)置在駕駛者座椅191FL和乘客座椅191FR之間的控制儀表盤。
[0124]可以由液晶顯示器(IXD)、發(fā)光二極管(LED)、等離子體顯示板(TOP)、有機(jī)發(fā)光二極管(OLED)、陰極射線管(CRT)等中的任一個來實(shí)現(xiàn)AVN顯示器141。
[0125]中央面板11可以不僅包括AVN顯示器141，還包括通風(fēng)口 181，通過該通風(fēng)口排出從空調(diào)設(shè)備180 (圖28中示出)生成的暖空氣或冷空氣。
[0126]車輛可以包括托盤42和中央控制臺40，托盤設(shè)置在駕駛者座椅19IFL和乘客座椅191FR之間以便存放物品，中央控制臺包括變速桿41。在中央控制臺40中可以包含AVN輸入單元171。例如，AVN輸入單元171可以由旋鈕(jog-shuttle)或控制桿實(shí)現(xiàn)。如果由旋鈕實(shí)現(xiàn)AVN輸入單元171，則用戶可以通過向前或向后以及向左或向右移動旋鈕，或者通過按壓或旋轉(zhuǎn)旋鈕來控制AVN功能。然而，圖13中示出的旋鈕僅僅是能夠應(yīng)用到車輛I的實(shí)施例的示例，并且還可以通過硬鍵而不是旋鈕或控制桿來實(shí)現(xiàn)AVN輸入單元171。
[0127]另一方面，成形為硬鍵的輔助輸入單元173可以被安裝到與AVN顯示器141鄰近的區(qū)域。替換地，如果由觸摸屏實(shí)現(xiàn)AVN顯示器141，則成形為軟鍵的輔助輸入單元173還可以被安裝到AVN顯示器141的一個區(qū)域。
[0128]可以以當(dāng)前駕駛車輛的駕駛者能夠識別儀表面板上顯示的信息的方式，將儀表集群112設(shè)置在儀表板10的區(qū)域中的、面向方向盤12的區(qū)域?？梢杂梢壕э@示器(LCD)、發(fā)光二極管(LED)、等離子體顯示板(TOP)、有機(jī)發(fā)光二極管(OLED)、陰極射線管(CRT)等中的任一個實(shí)現(xiàn)集群顯示器142。
[0129]儀表集群112可以進(jìn)一步包括集群顯示器142、用于指示車輛速度的速度計(jì)144a以及用于指示車輛RPM的RPM計(jì)144b。集群顯示器142可以被設(shè)置在速度計(jì)144a和RPM計(jì)144b之間，如圖13中所示。然而，本發(fā)明的范圍或精神不限于此，并且沒有限制根據(jù)實(shí)施例的集群顯示器142的詳細(xì)位置。
[0130]以硬鍵形狀形成的集群輸入單元172被安裝到方向盤12的一個區(qū)域，使得控制方向盤12的車輛駕駛者能夠操控集群輸入單元172。替換地，以桿形狀形成的集群輸入單元172被安裝到方向盤12的后側(cè)，使得用戶推動或者拉動桿狀集群輸入單元172，或者向上或向下移動桿狀集群輸入單元172，以便控制儀表集群112。
[0131]平視顯示器143可以不直接向用戶提供視覺信息，并且可以反射視覺信息且在車輛I的擋風(fēng)玻璃30上顯示反射的視覺信息。參考圖14，在擋風(fēng)玻璃30的一個區(qū)域30a上顯示平視顯示器143的輸出圖像，并且下文中將參考圖14描述平視顯示器和關(guān)聯(lián)的構(gòu)造。
[0132]參考圖14，可以在車輛I的前面設(shè)置平視顯示器143，并且可以在平視顯示器143的前面設(shè)置反射板143a。如果平視顯示器143在向前方向中輸出圖像，則輸出圖像自反射板143a反射并被投影到擋風(fēng)玻璃30上。在該情況下，擋風(fēng)玻璃30可以作為組合器操作。
[0133]投影的圖像自擋風(fēng)玻璃30反射并被傳遞給用戶5的眼睛。盡管用戶5觀看到在擋風(fēng)玻璃30的顯示區(qū)域30a上顯示的如圖5中所示的圖像，但是用戶的眼睛觀看到的圖像是在擋風(fēng)玻璃30的外面形成的虛擬圖像31a。
[0134]圖14中示出的平視顯示器143和關(guān)聯(lián)的構(gòu)造僅僅為示例性的，平視顯示器143可以包括多個反射板143a，可以不包括反射板143a，或者可以額外地包括衍射元件。
[0135]還可以單獨(dú)地包括用于操控平視顯示器143的輸入單元。安裝到方向盤12的集群輸入單元172還可以用作操控平視顯示器143的輸入單元。
[0136]替換地，分別設(shè)置在方向盤12的左側(cè)和右側(cè)的集群輸入單元172中的一個可以操作為用于操控集群顯示器142的輸入單元，并且另一個還可以用作操控平視顯示器143的輸入單元。
[0137]替換地，以桿形狀形成的每個集群輸入單元172被安裝到方向盤12的后側(cè)，使得用戶推動或拉動桿狀集群輸入單元172，或者向上或向下移動桿狀集群輸入單元172，以便控制平視顯示器143。
[0138]另一方面，雖然出于方便描述的目的，圖13示例性地公開了用于控制AVN顯示器141的輸入單元、用于控制集群顯示器的輸入單元以及用于控制平視顯示器的輸入單元，但是可以僅使用以上提到的輸入單元中的一些，使得僅一個輸入單元可以接收用于控制多個顯示單元的命令。例如，AVN輸入單元171可以不僅接收用于控制AVN顯示器的命令，還可以接收用于控制集群顯示器142或平視顯示器143的命令。
[0139]圖15是示出根據(jù)用戶注視區(qū)域的示例性控制操作的概念性示圖。
[0140]如上所述，顯示裝置100通過分析用戶EEG信號來確定用戶注視區(qū)域，并控制與用戶注視區(qū)域?qū)?yīng)的設(shè)備。例如，如果用戶5注視AVN顯示器141、集群顯示器142和平視顯示器143中的任一個，則用戶5可以通過操控設(shè)置在車輛I中的輸入單元來顯示用戶注視的顯示器。為此，可以將具有不同頻率的視覺刺激信號分別插入在AVN顯示器141、集群顯示器142和平視顯示器143上顯示的視覺信息中。
[0141]圖15示出用戶5注視AVN顯示器141的示例性情況。參考圖15，如果用戶注視AVN顯示器141，則在用戶5的枕葉中會產(chǎn)生具有在AVN顯示器上顯示的視覺刺激信號的頻率的EEG信號。如果EEG檢測器200檢測到用戶5的EEG信號，則EEG分析器120可以通過分析檢測到的EEG信號來確定頻率。如果EEG信號的頻率是與AVN顯示器141對應(yīng)的頻率(即，如果EEG信號的頻率是在AVN顯示器141上顯示的視覺刺激信號的頻率)，則這意味著用戶當(dāng)前注視AVN顯示器141。在該情況下，關(guān)聯(lián)的信息被映射到具有特定頻率的視覺刺激信號的顯示區(qū)域并且被映射到具有對應(yīng)頻率的視覺刺激信號的顯示區(qū)域，使得可以使用所存儲的頻率數(shù)據(jù)庫(DB)。
[0142]如果用戶5注視AVN顯示器141，則這意味著可以使用輸入單元來控制AVN功能。因此，盡管用戶5操控某一輸入單元，但是控制器130能夠根據(jù)該操控控制AVN功能，并且控制器130還可以控制顯示單元140或揚(yáng)聲器150，以便輸出與對應(yīng)功能對應(yīng)的輸出內(nèi)容。雖然圖15示出用戶5操控AVN輸入單元171，但是還可以通過操控集群輸入單元172來控制AVN功能。雖然用戶5注視集群顯示器142或平視顯示區(qū)域30a，但是還可以通過操控AVN輸入單元171來控制集群顯示器142或平視顯示器143。
[0143]另一方面，圖7示例性地公開了一個畫面被劃分為多個區(qū)域并且不同的頻率被分配到多個區(qū)域。因此，AVN顯示器141、集群顯示器142或平視顯示器143被劃分為多個區(qū)域，并且可以根據(jù)用戶注視哪個區(qū)域來使用不同的控制方法。下文中將參考圖16和圖17給出其詳細(xì)描述。
[0144]圖16是示出將一個顯示器劃分為多個區(qū)域并將不同頻率分配到區(qū)域的示例性方法的概念性示圖。圖17是示出在所劃分的區(qū)域上顯示具有不同頻率的視覺刺激信號的示例性方法的概念性示圖。
[0145]參考圖16，AVN顯示器141被劃分為四個區(qū)域(RpHR4)。收音功能可以被分配到第一區(qū)域(R1),藍(lán)牙功能可以被分配到第二區(qū)域(R2)，導(dǎo)航功能可以被分配到第三區(qū)域(R3)，并且電話功能可以被分配到第四區(qū)域(R4)。
[0146]為了確定用戶5注視四個區(qū)域中的哪個區(qū)域，可以在四個區(qū)域上顯示具有不同頻率的視覺刺激信號。參考圖17，如果用戶注視收音區(qū)域(R1)，則可以在收音區(qū)域(R1)上顯示指示收音功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。兩個視覺刺激信號被插入到兩個連續(xù)幀中，以便生成頻率。
[0147]如果用戶注視藍(lán)牙區(qū)域(R2)，則可以在藍(lán)牙區(qū)域(R2)上顯示指示藍(lán)牙功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。將一個視覺刺激信號插入在兩個連續(xù)幀之間，使得可以生成與在收音區(qū)域(R1)上顯示的視覺刺激信號的頻率不同的頻率。
[0148]如果用戶注視導(dǎo)航區(qū)域(R3)，則可以在導(dǎo)航區(qū)域(R3)上顯示指示導(dǎo)航功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。可以將一個視覺刺激信號交替地插入在兩個連續(xù)幀之間，使得可以生成與在收音區(qū)域(R1)和藍(lán)牙區(qū)域(R2)上顯示的視覺刺激信號的那些頻率不同的頻率。
[0149]如果用戶注視電話區(qū)域(R4)，則可以在電話區(qū)域(R4)上顯示指示電話功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。可以將三個視覺刺激信號插入在兩個連續(xù)幀之間，使得可以生成與在收音區(qū)域(R1)、藍(lán)牙區(qū)域(R2)和導(dǎo)航區(qū)域(R3)上顯示的視覺刺激信號的那些頻率不同的頻率。
[0150]參考圖16，如果用戶5注視藍(lán)牙區(qū)域(R2)，則在枕葉中會產(chǎn)生具有被分配到藍(lán)牙區(qū)域(R2)的頻率的EEG信號，并且EEG檢測器200可以檢測該EEG信號。EEG分析器120分析檢測到的EEG信號，使得確定出用戶5當(dāng)前注視藍(lán)牙區(qū)域。
[0151]如果用戶5注視藍(lán)牙區(qū)域，則這意味著用戶5期望通過操控輸入單元來控制藍(lán)牙功能。因此，盡管用戶5操控某一輸入單元，但是控制器130能夠根據(jù)該操控控制藍(lán)牙功能，并且可以控制顯示單元140或揚(yáng)聲器150，以便輸出與藍(lán)牙功能對應(yīng)的內(nèi)容。
[0152]雖然圖16示例性地公開了用戶5操控AVN輸入單元171，但是應(yīng)注意，還可以通過操控集群輸入單元172來控制藍(lán)牙功能。
[0153]另一方面，顯示單元140的畫面圖像當(dāng)中的僅一些區(qū)域也可以用于識別用戶的眼睛。另外，如果用戶注視特定區(qū)域，則這意味著可以通過操控輸入單元來控制與對應(yīng)區(qū)域?qū)?yīng)的功能。然而，注視特定區(qū)域的用戶的操作還可以用作控制命令的輸入行為。下文中將參考圖18和圖19給出其詳細(xì)描述。
[0154]圖18和圖19是示出根據(jù)用戶注視區(qū)域的其他控制操作的概念性示圖。
[0155]參考圖18，可以在顯示單元140上顯示與當(dāng)前執(zhí)行的功能關(guān)聯(lián)的主畫面圖像140a。例如，主畫面圖像140a可以是導(dǎo)航畫面圖像?？梢栽陲@示單元140的一個區(qū)域上顯示結(jié)束按鈕區(qū)域140e。如果用戶注視結(jié)束按鈕區(qū)域140e，則可以在結(jié)束按鈕區(qū)域140e上顯示指示能夠終止當(dāng)前執(zhí)行的功能的視覺信息，并且可以將具有特定頻率的視覺刺激信號插入在構(gòu)成視覺信息的幀之間。與特定頻率有關(guān)的信息可以被存儲在存儲設(shè)備160中。
[0156]如果用戶5注視結(jié)束按鈕區(qū)域140e，則在枕葉中會產(chǎn)生具有在結(jié)束按鈕區(qū)域140e上顯示的視覺刺激信號的頻率的EEG信號，并且EEG檢測器200可以檢測到EEG信號。EEG分析器120分析檢測到的EEG信號，使得EEG分析器120可以確定出用戶5注視結(jié)束按鈕區(qū)域140e。
[0157]如果用戶5注視結(jié)束按鈕區(qū)域140e，則這意味著用戶期望終止導(dǎo)航功能。因此，控制器130可以立刻終止導(dǎo)航功能，并且可以在顯示單元140上顯示初始菜單畫面圖像140f而不是導(dǎo)航畫面圖像140a。
[0158]如從圖19中可以看出，可以根據(jù)各個功能顯示多個快捷方式區(qū)域，在這些區(qū)域中能夠根據(jù)用戶的眼睛的識別立刻執(zhí)行對應(yīng)功能。在該情況下，快捷方式區(qū)域可以指示在沒有額外操控的情況下立刻執(zhí)行對應(yīng)功能。參考圖19，可以在顯示單元140的一些部分上顯示與當(dāng)前執(zhí)行的功能關(guān)聯(lián)的主畫面圖像140a，并且可以在顯示單元140的其他部分上顯示視頻快捷方式區(qū)域140b和導(dǎo)航快捷方式區(qū)域140c。
[0159]控制器130可以在視頻快捷方式區(qū)域140b和導(dǎo)航快捷方式區(qū)域140c上顯示具有不同頻率的視覺刺激信號。在該情況下，可以在主畫面圖像140a上顯示與當(dāng)前執(zhí)行的功能關(guān)聯(lián)的基本視覺信息，并且在主畫面圖像140a上可以不顯示用于識別用戶的眼睛的視覺刺激信號。
[0160]如果用戶注視視頻快捷方式區(qū)域140b，則可以在視頻快捷方式區(qū)域140b上顯示視頻快捷方式功能能夠被執(zhí)行的基本視覺信息，并且可以在構(gòu)成基本視覺信息的幀之間插入視覺刺激信號。如果用戶注視導(dǎo)航快捷方式區(qū)域140c，則可以在導(dǎo)航快捷方式區(qū)域140c上顯示導(dǎo)航快捷方式功能能夠被執(zhí)行的基本視覺信息，并且可以在構(gòu)成基本視覺信息的幀之間插入視覺刺激信號。
[0161]如果用戶5注視視頻快捷方式區(qū)域140b，則在用戶5的枕葉中會產(chǎn)生具有在視頻快捷方式區(qū)域140b上顯示的視覺刺激信號的頻率的EEG信號，并且EEG檢測器200可以檢測到EEG信號。EEG分析器120分析檢測到的EEG信號，使得EEG分析器120可以確定出用戶5當(dāng)前注視視頻快捷方式區(qū)域140b。
[0162]如果用戶5注視視頻快捷方式區(qū)域140b，則這意味著用戶5期望執(zhí)行視頻功能。因此，控制器130可以立刻執(zhí)行視頻功能。同時，顯示單元140的主畫面圖像140a可以切換至視頻畫面圖像，并且可以顯示音頻快捷方式區(qū)域140d而不是視頻快捷方式區(qū)域。
[0163]盡管圖19出于方便描述的目的，示例性地公開了視頻快捷方式區(qū)域和導(dǎo)航快捷方式區(qū)域，但是本發(fā)明的范圍和精神不限于此，并且對快捷方式功能的類別和數(shù)目沒有限制。另外，可以根據(jù)用戶的使用歷史適應(yīng)性地建立數(shù)目和類別。例如，存儲設(shè)備160可以存儲指示哪個功能被用戶頻繁選擇的特定信息，或者可以存儲指示哪個功能被頻繁使用的特定信息。另外，可以將用戶頻繁選擇或使用的功能設(shè)置為快捷方式功能?？梢愿鶕?jù)累積的使用歷史信息周期性地更新該快捷方式功能?？梢曰趶妮斎雴卧駿EG分析結(jié)果接收到的輸入控制命令信息來獲得使用歷史信息。
[0164]另外，即使當(dāng)一個畫面如圖16所示被劃分為多個區(qū)域時，也可以根據(jù)用戶的使用歷史信息適應(yīng)性地調(diào)整每個區(qū)域的尺寸。下文中將參考圖20給出其詳細(xì)描述。
[0165]圖20是示出當(dāng)顯示單元的畫面圖像被劃分為多個區(qū)域時，用于調(diào)整多個區(qū)域的尺寸的示例性方法的概念性示圖。
[0166]參考圖20，當(dāng)顯示單元140的一個畫面圖像被劃分為多個區(qū)域并且在各區(qū)域上顯示具有不同頻率的視覺刺激信號時，可以在尺寸上放大與用戶頻繁選擇的功能對應(yīng)的區(qū)域，使得可以顯示放大的區(qū)域。
[0167]例如，如果用戶頻繁地選擇收音功能，則可以放大收音區(qū)域(R1)的尺寸，如圖20中所示。另外，可以根據(jù)用戶選擇的頻率的順序調(diào)整剩余區(qū)域的尺寸。
[0168]另外，可以根據(jù)需要，根據(jù)用戶選擇的頻率的順序調(diào)整各區(qū)域的位置。例如，與頻繁選擇的功能對應(yīng)的區(qū)域可以被布置在畫面上方或者布置在畫面的中心部分處。
[0169]圖21示出用戶的使用歷史信息的各種利用領(lǐng)域。
[0170]參考圖21，以上提到的用戶的使用歷史信息可以以數(shù)據(jù)庫(DB)的形式存儲，并且該DB在下文中將被稱為使用數(shù)據(jù)庫(DB) 162。在使用DB 162中可以僅存儲通過用戶眼睛的識別而決定的使用歷史信息，在使用DB 162中也可以存儲基于輸入單元的操控而決定的使用歷史，并且在使用DB 162中也可以存儲由每個功能的執(zhí)行歷史決定的使用歷史。
[0171]使用歷史信息可以被用于在一個車輛I內(nèi)顯示以上提到的用戶適應(yīng)性畫面圖像。如果使用歷史信息是從由多個用戶使用的多個車輛收集的，則所收集的歷史信息可以被用作用于客戶研究或市場研究的大數(shù)據(jù)。
[0172]通過基于大數(shù)據(jù)的客戶調(diào)查，可以識別車輛的哪個功能是用戶首選的，使得可以基于識別結(jié)果研發(fā)新的車輛。例如，當(dāng)若干用戶執(zhí)行特定功能時，如果確定出控制命令是通過對用戶的眼睛的識別而不是通過操控輸入單元來頻繁輸入的，則在安裝到車輛的用戶界面中反映該優(yōu)選項(xiàng)，并且可以自定義用戶界面。
[0173]另外，還可以基于用戶首選功能執(zhí)行車輛銷售的營銷。
[0174]圖22是示出根據(jù)用戶注視區(qū)域的控制操作的另一個示例的概念性示圖。
[0175]雖然以上提到的示例公開了注視特定區(qū)域的用戶的特定操作指示用戶期望執(zhí)行與用戶注視區(qū)域?qū)?yīng)的特定功能，但是如果作為車輛駕駛者的用戶注視顯示單元140很長一段時間，則以上提到的用戶操作會妨礙安全駕駛。
[0176]參考圖22，如果用戶5注視顯示單元140，則在枕葉中會產(chǎn)生具有在顯示單元140上顯示的視覺刺激信號的頻率的EEG信號。如果EEG檢測器200檢測到用戶5的EEG信號，則EEG分析器120分析檢測到的EEG信號，使得確定檢測到的EEG信號是否具有視覺刺激信號的頻率，并且還確定是否在預(yù)定參考時間或更多時間期間生成具有對應(yīng)頻率的EEG信號。在以上提到的示例中，將預(yù)定參考時間被設(shè)置為2秒。
[0177]如果分析結(jié)果指示，用戶5注視AVN顯示器141持續(xù)2秒或更多秒，則控制器130可以通過顯示器141或揚(yáng)聲器150通知車輛駕駛者警告消息。例如，可以在AVN顯示器141上以文本形式顯示用于命令車輛駕駛者集中精力駕駛的警告消息，或者可以通過揚(yáng)聲器150以聽覺方式輸出警告消息。如果需要，聲音類型警告消息可以被單獨(dú)輸出，或者可以與文本類型警告消息同時輸出。
[0178]雖然圖22示例性地示出用戶注視AVN顯示器141，但是即使當(dāng)用戶注視集群顯示器142或平視顯示區(qū)域30a持續(xù)一預(yù)定參考時間或更多時間時，也可以顯示警告消息。在該情況下，當(dāng)用戶注視集群顯示器142時，也可以在集群顯示器142上顯示警告消息。當(dāng)用戶注視平視顯示器143時，也可以在平視顯示器143上顯示警告消息。
[0179]可以通過試驗(yàn)、統(tǒng)計(jì)分析或模擬來建立參考時間。安裝到車輛I的若干顯示單元(141、142、143)被安裝在不同的位置處。當(dāng)用戶注視各顯示單元(141、142、143)時，根據(jù)用戶注視顯示單元(141、142、143)中的哪個，用戶的駕駛狀態(tài)受到不同的影響，使得可以將不同的參考時間分配到各個顯示單元(141、142、143)。例如，可以將最短參考時間分配到離用戶的視線最遠(yuǎn)的AVN顯示器141，并且可以將最長參考時間分配到在擋風(fēng)玻璃30上顯示的平視顯示器143。
[0180]另一方面，不僅當(dāng)用戶注視位于車輛I內(nèi)部的顯示時，而且當(dāng)用戶注視位于車輛I外部的顯示時，也可以識別用戶的眼睛并且可以執(zhí)行與用戶的眼睛對應(yīng)的關(guān)聯(lián)控制。下文中將參考圖23到圖27給出其詳細(xì)描述。
[0181]圖23是示出在用戶注視紅色交通燈的情況中使用的控制操作的示例的概念性示圖。圖24是示出在用戶沒有注視交通燈的情況中使用的控制操作的示例的概念性示圖。
[0182]參考圖23，當(dāng)位于道路上方的交通燈310顯示紅燈(311R)、黃燈(3110)和綠燈(311G)時，可以以與用于允許顯示單元140在視覺信息段之間插入視覺刺激信號的本方法相同的方式，插入具有特定頻率的視覺刺激信號。例如，可以將15Hz的視覺刺激信號插入紅燈(311R)中，可以將27Hz的視覺刺激信號插入黃燈(3110)中，以及可以將32Hz的視覺刺激信號插入綠燈(311G)中。該頻率信息可以被存儲在存儲設(shè)備160中。位于道路上方的所有交通燈可以具有相同頻率，或者根據(jù)安裝位置，可以具有不同頻率。如果交通燈根據(jù)安裝位置具有不同頻率，則可以使用地圖數(shù)據(jù)和車輛位置信息來獲取與安裝在當(dāng)前位置的交通燈對應(yīng)的頻率信息。
[0183]參考圖23，如果用戶注視紅燈(311R)，則在枕葉中會產(chǎn)生具有在紅燈(311R)上顯示的視覺刺激信號的頻率的EEG信號。如果EEG檢測器檢測到用戶5的EEG信號，則EEG分析器120可以通過分析檢測到的EEG信號來確定頻率，并且還可以基于所確定的頻率來確定用戶5注視紅燈。
[0184]控制器130可以確定車輛I是否停止行駛。如果確定結(jié)果指示，雖然用戶5注視紅燈(31 IR)，但是車輛I未停止行駛，則控制器130可以通過顯示單元140和揚(yáng)聲器150中的至少一個向用戶5提供警告消息。例如，可以在顯示單元140上以文本形式顯示警告消息，其用于由于紅燈而指示車輛駕駛者停止行駛，或者可以通過揚(yáng)聲器150以聽覺方式輸出警告消息。如果需要，聲音類型警告消息可以被單獨(dú)輸出，或者可以與文本類型警告消息同時輸出。
[0185]另外，如果自動制動系統(tǒng)(ABS)被安裝到車輛1，則還可以自動地停止車輛I。
[0186]另一方面，雖然存在交通燈310，但是如果用戶5沒有注視交通燈310，則存在發(fā)生意外交通事故的可能性。如圖24中所示，如果用戶5在交通燈310的安裝位置處沒有注視交通燈310，則在枕葉中不會產(chǎn)生具有在紅燈(311R)、黃燈(3110)和綠燈(311G)上顯示的視覺刺激信號的頻率的EEG信號。
[0187]如果EEG檢測器200檢測到用戶5的EEG信號，則EEG分析器120可以通過分析檢測到的EEG信號來確定頻率，并且可以基于所確定的頻率來確定出用戶沒有注視交通燈。在該情況下，可以不僅使用從全球定位系統(tǒng)(GPS)接收到的車輛位置信號，還使用存儲在存儲設(shè)備160中的地圖數(shù)據(jù)來確定交通燈是否位于當(dāng)前位置處的信息。交通燈的位置信息可以被包含在地圖數(shù)據(jù)中。
[0188]如果用戶5在交通燈的位置處沒有注視交通燈，則控制器130可以通過顯示單元140和揚(yáng)聲器150中的至少一個顯示警告消息。例如，可以在顯示單元140上以文本形式顯示警告消息，要求車輛駕駛者觀看交通燈，或者還可以通過揚(yáng)聲器150以聽覺方式輸出警告消息。如果需要，聲音類型警告消息可以被單獨(dú)輸出，或者可以與文本類型警告消息同時輸出。
[0189]圖25到圖27是示出在用戶注視位于車輛外部的標(biāo)識牌的情況中使用的示例性控制操作的概念性示圖。
[0190]駕駛車輛的用戶可以通過擋風(fēng)玻璃30或安裝到車輛I的其他玻璃觀看周邊環(huán)境。駕駛車輛的用戶可以不僅觀看車輛行駛所需的交通燈，還可以觀看位于車輛附近的廣告顯示設(shè)備320 (例如，各種標(biāo)識牌)。
[0191]可以將具有特定頻率的視覺刺激信號插入在廣告顯示設(shè)備320上顯示的基本視覺信息中。在該情況下，在廣告顯示設(shè)備320上而不是在車輛I上顯示視覺刺激信號，并且廣告顯示設(shè)備320可以是以上提到的顯示裝置100的示例。另外，車輛I的控制器130可以不將視覺刺激信號插入基本刺激信號中。然而，在廣告顯示設(shè)備320上顯示的視覺刺激信號的頻率可以被預(yù)先存儲在存儲設(shè)備160中。
[0192]如果用戶5注視廣告顯示設(shè)備320，則在枕葉中會產(chǎn)生具有在廣告顯示設(shè)備320上顯示的視覺刺激信號的頻率的EEG信號。如果EEG檢測器220檢測到用戶5的EEG信號，則EEG分析器120可以通過分析檢測到的EEG信號來確定頻率，并且可以基于所確定的頻率來確定用戶5注視廣告顯示設(shè)備320。
[0193]與各廣告顯示設(shè)備對應(yīng)的關(guān)聯(lián)信息可以被存儲在存儲設(shè)備160中。可以從對應(yīng)的廣告顯示設(shè)備320的企業(yè)(或公司)接收存儲在存儲設(shè)備160中的關(guān)聯(lián)信息。控制器130可以搜索與用戶注視的廣告顯示設(shè)備320對應(yīng)的關(guān)聯(lián)信息，并且可以通過顯示單元140和揚(yáng)聲器150中的至少一個提供關(guān)聯(lián)信息。
[0194]如從圖25中可以看出，如果用戶5注視特定汽車銷售公司的廣告顯示設(shè)備320，則可以提供與特定汽車銷售公司的促銷關(guān)聯(lián)的信息。例如，如從圖26中可以看出，可以在平視顯示區(qū)域30a上以文本形式顯示與新汽車測試驅(qū)動事件關(guān)聯(lián)的信息。替換地，如從圖27中可以看出，關(guān)聯(lián)信息可以使用增強(qiáng)現(xiàn)實(shí)技術(shù)與廣告顯示設(shè)備320重疊，使得重疊結(jié)果可以顯示在廣告顯示設(shè)備320上。替換地，雖然未在附圖中示出，但是關(guān)聯(lián)信息還可以以全息圖形式顯示。也就是說，不限制用于提供與用戶注視的廣告顯示設(shè)備關(guān)聯(lián)的信息的方案。
[0195]另一方面，可以根據(jù)對用戶眼睛的識別，通過顯示單元140或揚(yáng)聲器150顯示警告消息、信息或內(nèi)容，并且還可以根據(jù)對用戶眼睛的識別來控制車輛的其他功能。下文中將參考圖28和圖29給出其詳細(xì)描述。
[0196]圖28是示出用于通過識別用戶的眼睛來控制空調(diào)設(shè)備或全自動座椅設(shè)備的車輛的方框圖。圖29示例性示出當(dāng)通過識別用戶的眼睛來控制空調(diào)設(shè)備或全自動座椅設(shè)備時，在顯示單元上顯示的畫面圖像。
[0197]參考圖28，車輛I可以進(jìn)一步包括:空調(diào)設(shè)備180，用于調(diào)整車輛I的內(nèi)部空間的溫度；以及全自動座椅設(shè)備190，用于自動調(diào)整車輛座椅的位置?？刂破?30可以根據(jù)對用戶眼睛的識別結(jié)果來控制空調(diào)設(shè)備180和全自動座椅設(shè)備190。
[0198]參考圖29，AVN顯示器141被劃分為四個區(qū)域況、R2、R3、R4)，收音功能可以被分配到第一區(qū)域(R1),空調(diào)功能可以被分配到第二區(qū)域(R2)，導(dǎo)航功能可以被分配到第三區(qū)域(R3),并且座椅控制功能可以被分配到第四區(qū)域(R4)。
[0199]為了區(qū)分用戶5注視四個區(qū)域中的哪個，可以在四個區(qū)域上顯示具有不同頻率的視覺刺激信號。另外，如果用戶注視收音區(qū)域(R1)，則可以在收音區(qū)域(R1)上顯示指示收音功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。如果用戶注視空調(diào)區(qū)域(R2)，則可以在空調(diào)區(qū)域(R2)上顯示指示空調(diào)控制功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。如果用戶注視導(dǎo)航區(qū)域(R3)，則可以在導(dǎo)航區(qū)域(R3)上顯示指示導(dǎo)航功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。如果用戶注視座椅控制區(qū)域(R4),則可以在座椅控制區(qū)域(R4)上顯示指示座椅控制功能的選擇的視覺信息，并且可以在構(gòu)成視覺信息的幀之間插入視覺刺激信號。
[0200]如果用戶5注視座椅控制區(qū)域(R4)，則生成具有在座椅控制區(qū)域(R4)上顯示的視覺刺激信號的頻率的EEG信號。如果EEG檢測器200檢測到用戶5的EEG信號，則EEG分析器分析檢測到的EEG信號，使得可以確定用戶5注視座椅控制區(qū)域(R4)。
[0201]如圖29中所示，座椅控制區(qū)域(R4)可以被繪有陰影或者由粗線表示，使得可以提供用戶注視座椅控制區(qū)域(R4)的用戶操作的反饋。
[0202]座椅位置的設(shè)置值可以被預(yù)先存儲在全自動座椅設(shè)備190中。例如，如果預(yù)先存儲了四個設(shè)置值(即，#1設(shè)置、#2設(shè)置、#3設(shè)置和#4設(shè)置)，則可以在AVN顯示器141上顯示能夠選擇四個設(shè)置值中的一個的畫面圖像?？梢詫⒁粋€畫面圖像劃分為四個區(qū)域(R41、R42、R43, R44)，并且可以將四個區(qū)域(R41、R42、R43、R44)分別分配到#1設(shè)置、#2設(shè)置、#3設(shè)置和#4設(shè)置?？梢栽诟鲄^(qū)域上顯示具有不同頻率的視覺刺激信號。在該情況下，可以使用在構(gòu)成基本視覺信息的幀之間插入視覺刺激信號的方法。
[0203]例如，如果用戶5注視M設(shè)置區(qū)域(R44)，則可以生成具有在M設(shè)置區(qū)域(R44)上顯示的視覺刺激信號的頻率(即，與#4設(shè)置區(qū)域(R44)對應(yīng)的頻率)的EEG信號。如果EEG檢測器200檢測到EEG信號，則EEG分析器分析檢測到的EEG信號，并基于分析結(jié)果來確定頻率。如果用戶5注視基于所確定的頻率的M設(shè)置區(qū)域(R44)，則控制器130將控制信號傳輸?shù)饺詣幼卧O(shè)備190，使得可以根據(jù)#4設(shè)置值調(diào)整用戶5的座椅位置。在該情況下，所調(diào)整的座椅可以是駕駛者座椅(191FL)或乘客座椅(191FR)，并且可以在選擇設(shè)置值之前輸入信息，其與指示將控制哪個座椅的選擇有關(guān)。
[0204]雖然附圖中未示出，但是可以在顯示單元140上顯示能夠選擇溫度控制功能的區(qū)域，并且可以將具有特定頻率的視覺刺激信號插入在對應(yīng)的區(qū)域上顯示的視覺信息中。如果用戶5注視對應(yīng)的區(qū)域并生成了具有特定頻率的EEG信號，則控制器130可以通過控制空調(diào)設(shè)備180來調(diào)整車輛內(nèi)部空間的空氣溫度。在該情況下，如果確定出用戶注視對應(yīng)的區(qū)域，如圖15中所示，則可以根據(jù)用戶對輸入單元的操控來控制空調(diào)設(shè)備180，并且用于選擇對應(yīng)區(qū)域的溫度的按鈕被配置為使得對用戶眼睛的識別能夠被映射到溫度選擇。在后者情況下，可以在不對輸入單元進(jìn)行額外操控的情況下，將這種溫度控制立刻調(diào)整到用戶期望的溫度。
[0205]如上所述，以上提到的顯示裝置100將具有特定頻率的視覺刺激信號插入在顯示器上顯示的基本視覺信息中，測量當(dāng)用戶注視顯示器時生成的具有特定頻率的EEG信號，并確定用戶意圖，并且公開了包括顯示裝置100的車輛I。在以上提到的實(shí)施例中使用的特定功能和顯示畫面圖像僅出于說明目的而公開，并且根據(jù)實(shí)施例的顯示裝置100和車輛I的范圍和精神不限于此。因此，在將具有特定頻率的視覺刺激信號插入在顯示器上顯示的基本視覺信息中并且測量當(dāng)用戶注視顯示器時生成的具有特定頻率的EEG信號的條件下確定用戶意圖之后，不管通過對用戶眼睛的識別而執(zhí)行的功能的類別如何，或者顯示畫面圖像的構(gòu)成如何，根據(jù)實(shí)施例的顯示裝置100或車輛I還可以應(yīng)用于其他示例，而不脫離本發(fā)明的范圍和精神。
[0206]下文中將描述根據(jù)實(shí)施例的顯示方法。根據(jù)實(shí)施例的顯示裝置100或車輛I可以用于執(zhí)行顯示方法。因此，以上提到的顯示裝置100或車輛I的描述還可以應(yīng)用于顯示方法的實(shí)施例，并且為了方便描述，以下實(shí)施例將示例性公開用于使用車輛I執(zhí)行顯示方法的方法。
[0207]圖30是根據(jù)本發(fā)明的實(shí)施例的顯示方法的流程圖。
[0208]參考圖30，在操作510中，將視覺刺激信號插入基本視覺信息中?；疽曈X信息被顯示在顯示單元140上，以便向用戶提供信息或內(nèi)容。生成具有特定頻率的EEG信號，使得結(jié)果EEG信號與用于識別用戶意圖的視覺刺激信號區(qū)分開。另外，基本視覺信息可以在移動圖像或靜止圖像中形成。如果基本視覺信息在移動圖像中形成，則可以將視覺刺激信號插入在構(gòu)成移動圖像的幀之間。如果基本視覺信息在靜止圖像中形成，則可以將視覺刺激信號可以插入用于顯示靜止圖像的過程中。替換地，可以以與移動圖像相同的方式，根據(jù)預(yù)定幀速率顯示靜止圖像，并且也可以將視覺刺激信號插入在靜止圖像幀之間。
[0209]在操作511中，使用EEG檢測器200檢測用戶的EEG信號。如果用戶注視具有特定頻率的視覺刺激信號，則生成具有與特定頻率相同的頻率的EEG信號。因此，在從注視視覺刺激信號的用戶檢測到的EEG信號中包含特定頻率分量。
[0210]在操作512中，EEG分析器120分析檢測到的EEG信號，并且在操作513中，確定用戶注視的區(qū)域。更詳細(xì)地，EEG分析器120可以通過頻率分析來辨別EEG信號的頻率分量，并且可以不僅使用預(yù)先存儲在存儲設(shè)備160中的特定頻率而且還使用與映射到特定頻率的區(qū)域有關(guān)的信息來確定用戶注視的區(qū)域。
[0211]如果確定了用戶注視的區(qū)域，則在操作514中，基于用戶注視的區(qū)域來控制設(shè)備。用戶注視的區(qū)域以及與用戶注視的區(qū)域?qū)?yīng)的設(shè)備的控制操作可以被映射并存儲在存儲設(shè)備160中。例如，如果用戶注視特定區(qū)域，則與要被控制的設(shè)備有關(guān)的信息以及與設(shè)備控制方法有關(guān)的信息可以被存儲在存儲設(shè)備160中。如果用戶注視特定區(qū)域，則根據(jù)存儲在存儲設(shè)備160中的信息生成控制信號，并且可以將控制信號傳輸?shù)綄?yīng)的設(shè)備。
[0212]例如，可以基于用戶注視的區(qū)域來確定要由輸入單元控制的控制目標(biāo)，可以立刻執(zhí)行與用戶注視的區(qū)域?qū)?yīng)的功能，并且可以根據(jù)用戶的使用歷史信息來控制顯示畫面圖像的構(gòu)成。另外，如果用戶5在交通燈的位置處沒有注視交通燈，或者如果確定出雖然紅燈亮，但是車輛沒有停止行駛，則可以通過顯示單元140和揚(yáng)聲器150中的至少一個輸出警告消息。另外，如果用戶注視顯示單元140持續(xù)一預(yù)定參考時間或更長，則該用戶注視行為持續(xù)很長時間可能妨礙安全駕駛，使得可以向用戶提供將用于通知用戶該妨礙的警告消息。
[0213]雖然為了方便描述，在顯示方法中實(shí)施EEG檢測，但是根據(jù)實(shí)施例的顯示方法的范圍或精神不限于EEG檢測。
[0214]下文中將詳細(xì)給出設(shè)備控制方法的詳細(xì)實(shí)施例。
[0215]圖31是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，用于基于用戶注視的區(qū)域，通過輸入單元確定控制對象的方法的流程圖。
[0216]參考圖31，在操作520中，將視覺刺激信號插入基本視覺信息中。例如，可以在AVN顯示器141、集群顯示器142和平視顯示器143中的至少一個上顯示視覺刺激信號，并且在各顯示器上顯示的視覺刺激信號可以具有不同頻率。另外，如圖16中所示，一個顯示畫面圖像被劃分為多個區(qū)域，并且可以分別在各區(qū)域中顯示具有不同頻率的視覺刺激信號。
[0217]在操作521中，使用EEG檢測器200檢測用戶的EEG信號。從注視視覺刺激信號的用戶檢測到的EEG信號可以具有特定頻率分量。與特定頻率分量有關(guān)的信息可以被預(yù)先存儲在存儲設(shè)備160中。
[0218]在操作522中，EEG分析器120分析檢測到的EEG信號，并在操作523中，確定用戶注視區(qū)域。更詳細(xì)地，EEG分析器120可以通過頻率分析來辨別EEG信號的頻率分量，并且可以不僅使用預(yù)先存儲在存儲設(shè)備160中的特定頻率，還使用與映射到特定頻率的區(qū)域有關(guān)的信息來確定用戶注視的區(qū)域。
[0219]在操作524中，基于所確定的用戶注視的區(qū)域，建立將由輸入單元操控的目標(biāo)對象，并且在操作525中，通過操控輸入單元來控制目標(biāo)對象的操作。例如，如果用戶駕駛車輛1，并且如果用戶注視的區(qū)域是AVN顯示器141，則可以通過用戶輸入的或從輸入單元接收的控制命令來控制AVN顯示器141或AVN終端。也就是說，如果用戶操控輸入單元，則可以控制與用戶注視的區(qū)域?qū)?yīng)的功能或設(shè)備。在該情況下，將由用戶操控的輸入單元可以是任意輸入單元。在該情況下，如果用戶注視AVN顯示器141，則雖然用戶操控集群輸入單元172，但是也能夠控制AVN顯示器141或AVN終端。作為結(jié)果，輸入單元可以用于多個目的或用途，使得安裝到車輛I的多個輸入單元并非僅用于控制特定功能，而是所需的輸入單元可以用于根據(jù)環(huán)境控制所需的功能。
[0220]圖32是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，用于立刻執(zhí)行與用戶注視的區(qū)域?qū)?yīng)的功能的方法的流程圖。
[0221]參考圖32，在操作530中，可以將視覺刺激信號插入基本視覺信息中。視覺刺激信號可以被顯示在顯示畫面圖像的一些區(qū)域上，如圖18或圖19中所示，并且可以在一些區(qū)域上顯示具有與不同快捷方式功能對應(yīng)的不同頻率的視覺刺激信號。
[0222]在操作531中，使用EEG檢測器200檢測用戶的EEG信號。從注視視覺刺激信號的用戶檢測到的EEG信號可以包括與用戶注視的區(qū)域的視覺刺激信號的頻率相同的頻率分量。
[0223]在操作532中，EEG分析器120分析檢測到的EEG信號，并在操作533中，確定用戶注視的區(qū)域。更詳細(xì)地，EEG分析器120可以通過頻率分析來辨別EEG信號的頻率分量，并且可以不僅使用預(yù)先存儲在存儲設(shè)備160中的特定頻率，還使用與映射到特定頻率的區(qū)域有關(guān)的信息來確定用戶注視的區(qū)域。
[0224]另外，在操作534中，立刻執(zhí)行與用戶注視的區(qū)域?qū)?yīng)的功能。雖然以上提到的示例公開了，如果用戶注視特定區(qū)域，則可以通過操控輸入單元來控制與對應(yīng)區(qū)域?qū)?yīng)的功能，但是注視特定區(qū)域的用戶的用戶操作也可以被用作控制命令的輸入。如從以上提到的示例中可以看出，如果用戶注視特定區(qū)域，則可以在沒有輸入單元的額外操控的情況下，立刻執(zhí)行響應(yīng)于特定區(qū)域的結(jié)束功能、導(dǎo)航功能、收音功能、藍(lán)牙功能或視頻功能。
[0225]圖33是示出在使用根據(jù)本發(fā)明的實(shí)施例的顯示方法的情況下，用于根據(jù)用戶的使用歷史信息來控制顯示畫面圖像的構(gòu)成要素的方法的流程圖。
[0226]參考圖33，在操作540中，可以將視覺刺激信號插入基本視覺信息中并顯示所述視覺刺激信號。
[0227]在操作541中，使用EEG檢測器200檢測用戶的EEG信號。如果用戶注視具有特定頻率的視覺刺激信號，則生成具有與特定頻率相同的頻率的EEG信號。從注視視覺刺激信號的用戶檢測到的EEG信號可以包括特定頻率分量。
[0228]在操作542中，EEG分析器120分析檢測到的EEG信號，并在操作543中，確定用戶注視的區(qū)域。更詳細(xì)地，EEG分析器120可以通過頻率分析來辨別EEG信號的頻率分量，并且可以不僅使用預(yù)先存儲在存儲設(shè)備160中的特定頻率，還使用與映射到特定頻率的區(qū)域有關(guān)的信息來確定用戶注視的區(qū)域。
[0229]在操作544中，用戶注視的區(qū)域被存儲在存儲設(shè)備160中，使得可以生成與用戶的使用歷史有關(guān)的數(shù)據(jù)庫(DB)。
[0230]可以重復(fù)地執(zhí)行操作540到544。如果累積了用戶注視區(qū)域的存儲行為，則生成使用歷史的數(shù)據(jù)庫(DB)。如從圖16中可以看出，將一個顯示畫面圖像劃分為多個區(qū)域，并且將不同的功能分別映射到各區(qū)域，使得在操作545中，可以根據(jù)用戶注視各區(qū)域次數(shù)來調(diào)整各區(qū)域的尺寸。例如，如圖20中所示，可以放大用戶頻繁注視的區(qū)域的尺寸并顯示所述區(qū)域。例如，如果用戶頻繁地選擇收音功能，則可以放大收音區(qū)域(Rl)的尺寸并顯示該區(qū)±或，并且可以根據(jù)用戶選擇的頻率的順序來調(diào)整剩余區(qū)域的尺寸。
[0231]圖34是示出當(dāng)用戶注視外部視覺刺激信號時使用的顯示方法的流程圖。
[0232]參考圖34，在操作550中，在基本視覺信息之間插入視覺刺激信號并顯示所述視覺刺激信號。在該情況下，顯示基本視覺信息和視覺刺激信號的顯示器與安裝到車輛中的顯示器不相同，并且可以是廣告顯示設(shè)備320，例如位于周邊區(qū)域的各種標(biāo)識牌。在廣告顯示設(shè)備320上顯示的視覺刺激信號的頻率可以被預(yù)先存儲在存儲設(shè)備160中。
[0233]在操作551中，檢測用戶的EEG信號，在操作552中，分析檢測到的EEG信號，并且在操作553中，確定用戶注視的區(qū)域。
[0234]與各廣告顯示設(shè)備對應(yīng)的關(guān)聯(lián)信息可以被存儲在存儲設(shè)備160中?？梢詮膹V告顯示設(shè)備320的企業(yè)或公司接收所存儲的關(guān)聯(lián)信息。在操作554中，控制器130可以搜索與用戶5注視的廣告顯示設(shè)備320對應(yīng)的關(guān)聯(lián)信息，并且可以通過顯示單元140和揚(yáng)聲器150中的至少一個提供關(guān)聯(lián)信息。如果通過顯示單元140提供關(guān)聯(lián)信息，則關(guān)聯(lián)信息可以以文本形式顯示，或者關(guān)聯(lián)信息可以使用增強(qiáng)現(xiàn)實(shí)技術(shù)與廣告顯示設(shè)備320重疊，使得重疊結(jié)果可以在廣告顯示設(shè)備320上顯示。
[0235]圖35是示出基于用戶的使用歷史信息來控制顯示畫面圖像的構(gòu)成要素的另一個方法的流程圖。
[0236]參考圖35，在操作560中，將視覺刺激信號插入基本視覺信息中并顯示所述視覺刺激信號，并且在操作561中，使用EEG檢測器200檢測用戶EEG信號。EEG分析器120在操作562中分析檢測到的EEG信號，并在操作563中確定用戶注視的區(qū)域。在操作564中，用戶注視的區(qū)域被存儲在存儲設(shè)備160中。
[0237]可以重復(fù)地執(zhí)行以上提到的操作560到564。如果累積了用戶注視的區(qū)域的存儲行為，則可以生成與使用歷史有關(guān)的數(shù)據(jù)庫(DB)。
[0238]圖18、圖19和圖32所示的示例公開了，如果用戶注視特定區(qū)域，則可以立刻執(zhí)行與特定區(qū)域?qū)?yīng)的功能?？梢曰谂c使用歷史相關(guān)的DB記錄通過用戶注視行為立刻執(zhí)行的功能。例如，在操作565中，與用戶頻繁注視的區(qū)域?qū)?yīng)的功能可以被記錄為快捷方式功會K。
[0239]另一方面，與使用歷史有關(guān)的DB可以不僅包括基于注視特定區(qū)域的用戶的行為確定的使用歷史，還包括基于從輸入單元接收到的控制命令確定的使用歷史。
[0240]另外，使用歷史信息可以用于在車輛I內(nèi)顯示以上提到的用戶適應(yīng)性畫面圖像。如果從若干用戶使用的若干車輛收集使用歷史信息，則所收集的歷史信息可以被用作客戶研究或市場研究使用的大數(shù)據(jù)。
[0241]根據(jù)本發(fā)明的實(shí)施例的顯示設(shè)備、車輛和顯示方法可以將具有特定頻率的視覺刺激信號插入基本視覺信息中，以便識別用戶的眼睛，并且可以減小用戶的眼睛疲勞且可以實(shí)現(xiàn)顯示器的高效使用。
[0242]另外，通過識別用戶的眼睛來識別用戶意圖，并且使用所識別的用戶意圖來控制設(shè)備，使得可以提高操控輸入單元的用戶的便利性并且可以保證車輛安全性。
[0243]如從以上描述顯而易見的，根據(jù)實(shí)施例的顯示裝置、車輛和顯示方法可以通過識別用戶的眼睛來識別用戶的意圖，并且可以將識別結(jié)果應(yīng)用到設(shè)備控制過程，從而提高操控輸入單元的用戶的便利性。
[0244]雖然已經(jīng)示出并描述了本發(fā)明的幾個實(shí)施例，但是本領(lǐng)域技術(shù)人員將理解，可以在不脫離本發(fā)明的原理和精神的情況下，對這些實(shí)施例作出改變，本發(fā)明的范圍由權(quán)利要求以及它們的等效物限定。
【主權(quán)項(xiàng)】
1.一種顯示裝置，包括: 控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中； 顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的所述視覺刺激信號和所述基本視覺信息；以及 腦電圖(EEG)分析器，其被配置為確定所生成的EEG信號占有的頻率。2.根據(jù)權(quán)利要求1所述的顯示裝置，其中所述視覺刺激信號生成的EEG信號包括穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。3.根據(jù)權(quán)利要求1所述的顯示裝置，其中所述顯示單元以移動圖像或靜止圖像的方式顯示所述基本視覺信息。4.根據(jù)權(quán)利要求3所述的顯示裝置，其中: 如果所述基本視覺信息是以所述移動圖像的形式顯示的，則所述控制器在不顯示構(gòu)成所述移動圖像的幀的特定時間處插入所述視覺刺激信號。5.根據(jù)權(quán)利要求1所述的顯示裝置，還包括: 通信單元，其被配置為從用于檢測用戶的EEG信號的腦電圖檢測器接收所生成的EEG信號。6.根據(jù)權(quán)利要求5所述的顯示裝置，其中所述EEG分析器基于所生成的EEG信號占有的頻率來識別用戶的眼睛。7.根據(jù)權(quán)利要求1所述的顯示裝置，其中所述控制器生成控制信號，以激活與所生成的EEG信號占有的頻率對應(yīng)的功能。8.根據(jù)權(quán)利要求1所述的顯示裝置，其中所述控制器將所述顯示單元的畫面圖像劃分為多個區(qū)域，并將具有不同頻率的視覺刺激信號插入在所劃分的區(qū)域上顯示的基本視覺信息中。9.一種車輛，包括: 控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中； 顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的所述視覺刺激信號和所述基本視覺信息；以及 通信單元，其被配置為從用于檢測用戶的EEG信號的EEG檢測器接收EEG信號；以及 腦電圖(EEG)分析器，其被配置為確定用戶的EEG信號占有的頻率，并基于所確定的頻率來確定用戶注視的區(qū)域。10.根據(jù)權(quán)利要求9所述的車輛，其中所述視覺刺激信號生成的腦電圖(EEG)信號包括穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。11.根據(jù)權(quán)利要求10所述的車輛，其中所述顯示單元包括多個顯示器。12.根據(jù)權(quán)利要求11所述的車輛，其中所述控制器將具有不同頻率的視覺刺激信號插入到在所述多個顯示器上分別顯示的基本視覺信息中。13.根據(jù)權(quán)利要求12所述的車輛，其中所述控制器控制與所述多個顯示器當(dāng)中的、用戶注視的顯示器相關(guān)的功能。14.根據(jù)權(quán)利要求13所述的車輛，還包括: 輸入單元，其被配置為從所述用戶接收控制命令， 其中所述控制器根據(jù)從所述用戶操控的輸入單元接收到的控制命令來控制與用戶注視的顯示器相關(guān)的功能。15.根據(jù)權(quán)利要求9所述的車輛，其中所述控制器將不同的視覺刺激信號插入到在所述顯示單元的不同區(qū)域上顯示的不同視覺信息中。16.根據(jù)權(quán)利要求15所述的車輛，其中如果所述用戶注視所述顯示單元的區(qū)域中的一個，則所述控制器立刻執(zhí)行與所述區(qū)域中的所述一個對應(yīng)的功能，使得立刻執(zhí)行的功能被確定為快捷方式功能。17.根據(jù)權(quán)利要求16所述的車輛，其中所述控制器將所述用戶頻繁使用的功能或者所述用戶頻繁注視的功能確定為所述快捷方式功能。18.根據(jù)權(quán)利要求9所述的車輛，還包括: 揚(yáng)聲器，其被配置為輸出聲學(xué)信號或聲音信號。19.根據(jù)權(quán)利要求18所述的車輛，其中如果所述用戶注視所述顯示單元持續(xù)預(yù)定參考時間或更長，則所述控制器通過所述顯示單元和所述揚(yáng)聲器中的至少一個輸出警告消息。20.根據(jù)權(quán)利要求18所述的車輛，其中如果所述用戶未注視交通燈，則所述控制器通過所述顯示單元和所述揚(yáng)聲器中的至少一個輸出警告消息。21.根據(jù)權(quán)利要求18所述的車輛，其中如果所述用戶注視交通燈當(dāng)中的紅燈并且如果所述車輛未停止行駛，則所述控制器通過所述顯示單元和所述揚(yáng)聲器中的至少一個輸出警告消息。22.根據(jù)權(quán)利要求9所述的車輛，其中所述顯示單元放大與所述用戶頻繁使用的功能對應(yīng)的區(qū)域的顯示尺寸或者所述用戶頻繁注視的區(qū)域的顯示尺寸。23.根據(jù)權(quán)利要求9所述的車輛，其中所述顯示單元包括音頻視頻導(dǎo)航(AVN)顯示器、集群顯示器和平視顯示器。24.一種顯示裝置，包括: 控制器，其被配置為根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中； 顯示單元，其被配置為顯示用于生成腦電圖(EEG)信號的所述視覺刺激信號和所述基本視覺信息。25.—種用于接收注視廣告顯示設(shè)備的用戶的腦電圖(EEG)信號的車輛，所述廣告顯示設(shè)備不僅顯示基本視覺信息，還顯示根據(jù)預(yù)定頻率被插入所述基本視覺信息中的視覺刺激信號，所述車輛包括: EEG分析器，其被配置為確定所述用戶的EEG信號占有的頻率，并基于所確定的頻率來確定用戶注視的區(qū)域；以及 控制器，如果用戶注視的區(qū)域是所述廣告顯示設(shè)備，則所述控制器被配置為通過顯示單元或輸出單元提供與所述廣告顯示設(shè)備關(guān)聯(lián)的信息。26.根據(jù)權(quán)利要求25所述的車輛，其中所述顯示單元包括音頻視頻導(dǎo)航(AVN)顯示器、集群顯示器和平視顯示器。27.根據(jù)權(quán)利要求26所述的車輛，其中所述平視顯示器使用增強(qiáng)現(xiàn)實(shí)技術(shù)顯示與所述廣告顯不設(shè)備關(guān)聯(lián)的?目息。28.一種顯示方法，包括以下步驟: 根據(jù)預(yù)定頻率將視覺刺激信號插入基本視覺信息中； 接收用戶的腦電圖(EEG)信號；通過分析接收到的EEG信號來確定用戶注視的區(qū)域；以及執(zhí)行與用戶注視的區(qū)域?qū)?yīng)的控制功能。29.根據(jù)權(quán)利要求28所述的顯示方法，其中確定用戶注視的區(qū)域的步驟包括:確定接收到的EEG信號占有的頻率；以及確定所確定的頻率是否與所述視覺刺激信號的預(yù)定頻率相同。30.根據(jù)權(quán)利要求28所述的顯示方法，還包括以下步驟:將顯示所述視覺刺激信號的區(qū)域映射到與該區(qū)域?qū)?yīng)的控制功能，并存儲映射結(jié)果。
【文檔編號】G06F3/01GK105988582SQ201510789290
【公開日】2016年10月5日
【申請日】2015年11月17日
【發(fā)明人】洪起范, 閔柾晌
【申請人】現(xiàn)代自動車株式會社