專利名稱：通過眼睛控制和合適的交互方法使用通用軟件應(yīng)用的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過眼睛跟蹤器件，即通過使用眼睛移動，控制通用軟件應(yīng)用的系統(tǒng)及方法的領(lǐng)域。沒有機會使用鼠標訪問軟件應(yīng)用，用戶應(yīng)該利用允許他/她通過眼睛移動執(zhí)行可以使用鼠標執(zhí)行的相同操作的技術(shù)。為此，已開發(fā)了允許用戶顯著減少將要進行的認知努力的技術(shù)和設(shè)計?，F(xiàn)有技術(shù)的狀態(tài)眼睛移動的跟蹤潛在地向用戶提供了通過簡單地看著其顯示器控制個人計算機的軟件的可能性。然而，在使用用于控制個人計算機的軟件的眼睛移動的跟蹤系統(tǒng)-或眼睛跟蹤系統(tǒng)期間存在使用戶感到挫敗的問題。特別地，眼睛應(yīng)該同時表現(xiàn)為輸入和輸出器件，即它們應(yīng)該探索并執(zhí)行正確的動作。而且，眼睛跟蹤器件遭受在測量屏幕上的凝視的位置方面的固有的準確性問題。因此，考慮到許多軟件程序需要幾毫米的準確度，以及其他的軟件程序也需要就像素而言可估計的準確度，傳感器的準確性總是受到誤差(在顯示器上的當前光標位置與由用戶想要的光標位置相比較之間的差異)的影響且這使得不能容易地控制大部分的軟件應(yīng)用。因此眼睛跟蹤系統(tǒng)的使用一般局限于專為殘障用戶制作的需要低指向精度的軟件。事實上，用戶應(yīng)該從一系列相對較大的單元中做出他/她的選擇，在相對較大的單元中準確性的誤差影響較小。相反，在通用軟件應(yīng)用的領(lǐng)域中，用于控制應(yīng)用的眼睛跟蹤系統(tǒng)的使用，例如，通過跟隨凝視的方向每秒被更新許多次的光標的移動，對于需要顯著的專注的努力的用戶來說——他們很快產(chǎn)生疲勞，準確性的誤差使用戶的任務(wù)十分困難。由用戶做出的通過朝向光標應(yīng)該被放置的位置重定向他/她的凝視以糾正誤差的任何嘗試只不過使光標的使用越來越有問題且累人。在現(xiàn)有技術(shù)狀態(tài)中使用的一些解決方案通過放大個人計算機的顯示器的一部分提供了解決上述問題的方法，為的是提高在光標的位置方面的準確性。然而，因為在這些情況下還存在補償誤差，所以這種方法是不充分的，從而繼續(xù)使用戶感到挫敗，而且暗示著增加的界面的復(fù)雜性，這可能造成混亂和分心。當前可用的其他的解決方案暗示“離屏”菜單的出現(xiàn)，其允許用戶通過仿真可以利用鼠標執(zhí)行的不同操作(單擊、雙擊、右擊、拖放)選擇要執(zhí)行哪個動作。而且，在一些情況下，可以通過將凝視指向設(shè)置在薄的涂塑紙板帶上的圖標激活想要的功能，所述涂塑紙板被定位在監(jiān)視器的垂直周邊上因此眼睛應(yīng)該在圖標上或在想要的功能上激活功能之前選擇到其的外部功能，然后將將通過凝視控制的光標移向想要的圖標或應(yīng)用。在另外的其他的情況下，還可能控制與眼睛跟蹤系統(tǒng)連接的第二 PC，第二 PC的監(jiān)視器應(yīng)該被安裝在眼動跟蹤儀的監(jiān)視器的旁邊以給用戶容易地觀察鼠標對應(yīng)用的控制的機會。利用在屏幕視圖上的凝視，鼠標指針的方向被激活在眼睛跟蹤器件的監(jiān)視器上， 并且一旦選擇方向，在另一 PC上可觀察到該效果；只要凝視從想要控制的PC上移開，指針停止以及可以選擇想要的命令。因此，可以利用眼睛跟蹤系統(tǒng)通過鼠標的仿真控制連接的第二 PC。原則上，我們可以斷言，與迄今為止所實現(xiàn)的那些相反，具有在其上所描繪的元素不過多地干預(yù)軟件的正常使用的顯示器是可行的，其原因如下用戶的注意力隨著在屏幕上描繪的元素數(shù)量的逐漸增加指數(shù)下降，用戶通常不大熟悉眼睛跟蹤器件，而且可能受到認知障礙的影響使得對眼睛跟蹤器件的利用望而卻步。由于上述原因，本發(fā)明的目標是提供一種用于通過能夠克服上面列出的缺陷的眼睛跟蹤系統(tǒng)控制個人計算機的方法。一個主要要求仍然是通過確保界面接受“自然的”輸入和“自然地”響應(yīng)并容易理解以最小化操縱軟件所需的認知努力。由于此原因，將有必要開發(fā)一個使用交互技術(shù)的對于用戶沒有壓力的界面?？紤]到許多輸入是無意的，系統(tǒng)應(yīng)該正確地解釋它們而不產(chǎn)生由非自愿的動作所造成的未經(jīng)請求的響應(yīng)。因此，如果不是他/她打算發(fā)出的命令，這種系統(tǒng)應(yīng)該能夠區(qū)分用戶的真正意愿同時讓他/她安然地觀察界面；另一方面，用戶應(yīng)該能夠評估系統(tǒng)的當前狀態(tài)是什么，以意識到他/她的意圖是否被正確地解釋以避免非自愿命令的執(zhí)行。還應(yīng)該強調(diào)的是，雖然現(xiàn)有技術(shù)狀態(tài)的系統(tǒng)通過經(jīng)由眼睛控制的鼠標的仿真(凝視的移動轉(zhuǎn)換成光標的移動)控制操作系統(tǒng)，本發(fā)明的目標是在修改的并使得適于通過眼睛控制選擇模式的新交互器中提供一種個人計算機的操作系統(tǒng)的“原始的”本地交互器的新映射(光標等)。因此，本發(fā)明建立一種“直接通道”，因為光標的仿真通過以下事實克服本地交互器被那些修改過的并適應(yīng)于需要使用凝視作為輸入系統(tǒng)的交互器所取代。而且，虛擬機的使用提供了進一步的優(yōu)勢，其允許管理并建立虛擬環(huán)境以執(zhí)行具有相關(guān)的軟件應(yīng)用的進一步的操作系統(tǒng)以及用戶可以一開始同時使用虛擬機。優(yōu)勢之一是安全性虛擬機是完全孤立且獨立的以及虛擬機的突然崩潰不涉及主機操作系統(tǒng)的崩潰； 因此不需要重啟計算機而只終止虛擬機并再次啟動它同時避免損壞例如文件系統(tǒng)。由于依據(jù)本發(fā)明的方法被集成在一個通信套件中，通過使用虛擬機可能簡單地、 快速地且安全地通過以下描述的控制技術(shù)從使用經(jīng)典的PC應(yīng)用移動(通過暫停虛擬機) 至專門設(shè)計用于通過眼睛控制被使用的通信套件，從而克服現(xiàn)有技術(shù)狀態(tài)中的系統(tǒng)問題， 現(xiàn)有技術(shù)狀態(tài)中的系統(tǒng)提供了從一種模式移動至另一種模式的相當復(fù)雜的程序。同時，用戶可以通過合適的快捷方式直接選擇執(zhí)行在通信套件內(nèi)部的一些預(yù)定義的應(yīng)用，從而克服直接從操作系統(tǒng)執(zhí)行的可能的問題。附圖簡述

圖1示出了依據(jù)本發(fā)明的方法的結(jié)構(gòu)框圖。圖2示出了依據(jù)本發(fā)明的方法的流程圖。圖3示出了關(guān)于過濾來自眼睛跟蹤器件的粗糙數(shù)據(jù)的模塊的流程圖。
圖4示出了關(guān)于應(yīng)用控制模塊的流程圖。圖5示出了關(guān)于坐標映射模塊的流程圖。圖6示出了關(guān)于與在屏幕視圖中的交互器相關(guān)的數(shù)據(jù)恢復(fù)策略的流程圖。圖7-10通過非限制性實施例的方式示出了本發(fā)明的應(yīng)用目標的圖形界面的可能的實施方式。發(fā)明_既述本發(fā)明的目標由通過眼睛控制使用通用操作系統(tǒng)和與其連接的通用軟件應(yīng)用的方法和裝置組成。本發(fā)明的其他目標由通過交互技術(shù)開發(fā)的合適的交互方法和如在權(quán)利要求中描述的直觀且易于使用的用戶界面組成，權(quán)利要求構(gòu)成本說明書的不可分割的一部分。因此本發(fā)明的方法目標描繪了一種基于選擇性的且自然的輸入，例如凝視，的輔助技術(shù)的可能的實施方式，在通用操作系統(tǒng)和與其連接的應(yīng)用的控制方面極具創(chuàng)新性。本發(fā)明的詳細描述在本發(fā)明的優(yōu)選實施方式中，本發(fā)明的裝置目標包括數(shù)據(jù)及信息處理的電子設(shè)備、存儲所述數(shù)據(jù)及信息的設(shè)備和用戶界面設(shè)備。所述電子數(shù)據(jù)及信息處理設(shè)備包括合適的控制部分，優(yōu)選地基于至少一個微處理器，以及例如可以由個人計算機提供。所述存儲設(shè)備優(yōu)選地包括硬盤和閃存類型的存儲器件。所述用戶界面設(shè)備優(yōu)選地包括數(shù)據(jù)可視化設(shè)備，例如顯示器、監(jiān)視器或模擬外部輸出單元和適應(yīng)于解釋用戶的凝視方向的眼睛跟蹤器件。所述微處理器優(yōu)選地配備有操作系統(tǒng)、通過虛擬機的使用和通過實現(xiàn)圖1中描述的方法結(jié)構(gòu)的合適的軟件程序建立的合適的虛擬環(huán)境，包括以下模塊，依次包括適應(yīng)于執(zhí)行具體任務(wù)的一系列指令過濾模塊10，在過濾模塊10中處理用戶的凝視的坐標以使來自所使用的眼睛跟蹤器件的粗糙數(shù)據(jù)更加穩(wěn)定；一種模塊，即操作系統(tǒng)/應(yīng)用控制模塊11，負責(zé)控制操作系統(tǒng)及與此相關(guān)聯(lián)的應(yīng)用并負責(zé)運行開發(fā)應(yīng)用圖形界面，所述界面包含關(guān)于在屏幕視圖中的交互器的信息并執(zhí)行與由用戶在那一刻注視的交互器相關(guān)聯(lián)的本地動作，所述交互器是在界面中的可激活的元素圖標、彈出下拉式菜單、復(fù)選框等，適應(yīng)于使用戶對要控制的應(yīng)用程序執(zhí)行動作。所述操作系統(tǒng)/應(yīng)用控制模塊11由兩個組件子模塊構(gòu)成控制器模塊12和客戶端模塊13。所述控制器模塊12負責(zé)管理交互器的表現(xiàn)和定義與每一交互器相關(guān)聯(lián)的本地動作以及依次包括三個其他的彼此相互作用的模塊坐標映射模塊12A，其負責(zé)執(zhí)行關(guān)于屏幕視圖及其中的交互器的坐標的新映射 (在客戶端與控制器之間不同)；交互器管理模塊12B，其負責(zé)執(zhí)行與輸入凝視相比較以限定哪些交互器由用戶注視并適當?shù)厍铱赡苄薷牡貙⒔换テ黠@示在界面上，例如顯示在側(cè)部面板上；本地動作定義模塊12C，其負責(zé)定義與操作系統(tǒng)的每一交互器相關(guān)聯(lián)的本地動作并負責(zé)將動作發(fā)送至客戶端模塊13，從而使其可用于連續(xù)處理。所述坐標映射模塊12A依次由兩個彼此相互作用的子模塊組成坐標變換子模塊14，其執(zhí)行關(guān)于屏幕視圖和交互器的坐標的變換，以及自適應(yīng)校準子模塊15，其通過比較在用戶可以選擇的交互器上的信息和來自眼動跟蹤儀的凝視的坐標獲得的平面的幾何變形執(zhí)行坐標的進一步的重新調(diào)整，這兩個模塊的結(jié)合動作的結(jié)果是以上關(guān)于坐標映射模塊 12A描述的一個。所述客戶端模塊13適用于定義在屏幕視圖中的交互器的位置和功能，其依次包括兩個彼此相互作用的其他模塊界面管理模塊13A，其負責(zé)分析屏幕視圖并將關(guān)于屏幕視圖和通過不同的搜索方法檢測到的目前的交互器的信息發(fā)送至控制器模塊12 ；本地動作管理模塊13B，其負責(zé)接收關(guān)于與本地動作相關(guān)的信息并作為對所述操作系統(tǒng)的動作執(zhí)行它。參照圖2，示出了通過說明依據(jù)本發(fā)明的方法的步驟描述以上提及的模塊的操作及彼此的相互連接的框圖a)在與所述數(shù)據(jù)處理設(shè)備相關(guān)聯(lián)的所述數(shù)據(jù)可視化設(shè)備上，可視化20控制用戶界面，其適應(yīng)于允許用戶控制操作系統(tǒng)以及所述電子處理設(shè)備的與其相關(guān)聯(lián)的應(yīng)用程序。b)用戶的凝視的坐標是以粗糙數(shù)據(jù)的形式，即以關(guān)于兩只不同的眼睛的凝視的坐標的采樣形式，采樣受到強烈震蕩，通過包括在所述用戶界面設(shè)備中的眼睛跟蹤器件進行檢測21。這些震蕩一般在某一位置附近發(fā)生，但是也有一些凝視是完全錯誤的并應(yīng)該通過過濾操作將其剔除。c)對所述粗糙數(shù)據(jù)進行過濾22以使其穩(wěn)定且適用于對用戶的凝視位置提供指示，即對某些周圍內(nèi)的用戶的凝視的數(shù)量提供指示。d)將經(jīng)過過濾的表示成注視點的x，y坐標的數(shù)據(jù)發(fā)送23至操作系統(tǒng)/應(yīng)用控制模塊11，操作系統(tǒng)/應(yīng)用控制模塊通過定義要執(zhí)行的動作和要在所述用戶界面上進行的修改處理所述數(shù)據(jù)。e)執(zhí)行23由前述步驟確定的要執(zhí)行的動作以及，可能地，在動作本身之后，適當?shù)匦薷乃隹刂朴脩艚缑?。f)重復(fù)從步驟b)開始的順序直到用戶決定退出他/她正在使用的應(yīng)用程序。依據(jù)以下指示的且在圖3中圖示的順序執(zhí)行依據(jù)步驟C)的粗糙數(shù)據(jù)的過濾程序g)使用例如統(tǒng)計標準執(zhí)行粗糙數(shù)據(jù)的預(yù)過濾30并檢測和剔除非有效采樣。h)在一個被視為可能由用戶注視的點處結(jié)合31右眼和左眼的凝視的坐標。i)相對于期望的采樣數(shù)量(基于預(yù)先考慮的采樣數(shù)量定義)計算32平均值和標準偏差。j)為估算值定義33公差。k)基于在前述步驟i)和步驟j)中所建立的相對于那些將被丟棄的數(shù)據(jù)區(qū)分34 可接受的數(shù)據(jù)。依據(jù)以下指示的且在圖4中圖示的順序處理被發(fā)送至操作系統(tǒng)/應(yīng)用控制模塊11 的經(jīng)過過濾的數(shù)據(jù)1)界面管理模塊13A分析屏幕視圖并將關(guān)于屏幕視圖和在當前用戶界面中的交互器的信息發(fā)送40至坐標映射模塊12A。m)坐標映射模塊12A執(zhí)行關(guān)于屏幕視圖及交互器的坐標的新映射并執(zhí)行與關(guān)于來自眼動跟蹤儀的凝視的數(shù)據(jù)的比較。所述新映射允許相對于與基于來自眼睛跟蹤器件的凝視的坐標定義的系統(tǒng)具有不同原點的軸的另一系統(tǒng)定義來自客戶端模塊13的關(guān)于在屏幕視圖中的交互器的位置的坐標。一旦執(zhí)行該操作，所述比較允許理解哪個交互器由用戶注視。η)交互器管理模塊12Β通過使用啟發(fā)式技術(shù)以通過確定哪個交互器將最可能被選擇確定出現(xiàn)的順序適當?shù)仫@示它們(例如，顯示在程序的具體用戶界面的側(cè)部面板上) 再次取出42檢測到的凝視的周圍中出現(xiàn)的交互器。這允許以“加權(quán)”方式從最可能的到最不可能的顯示每一交互器。然后交互器管理模塊12Β等待關(guān)于來自眼動跟蹤儀的凝視的數(shù)據(jù)和等待選擇在側(cè)部面板中的交互器中的一個。ο)本地動作定義模塊12C定義43與每一交互器相關(guān)聯(lián)的操作系統(tǒng)的本地動作 (即通過客戶端模塊13模擬的以及對應(yīng)來自鍵盤的控制鍵的插入、單擊、拖放等事件)并將其發(fā)送至本地動作管理模塊13Β。ρ)本地動作管理模塊1 接收關(guān)于與所選擇的交互器相關(guān)聯(lián)的本地動作的信息并將其作為在操作系統(tǒng)上的動作來執(zhí)行它44(例如，發(fā)送字符、在具體位置中的鼠標移動
寸J ο依據(jù)以下指示的且在圖5中圖示的順序進行依據(jù)在圖4中圖示的順序的步驟m) 的再次映射坐標的過程q)坐標變換模塊14執(zhí)行50關(guān)于屏幕視圖和輸入交互器的坐標的變換并將這些數(shù)據(jù)發(fā)送至自適應(yīng)校準模塊15。r)自適應(yīng)校準模塊15通過比較在用戶可以選擇的交互器上的信息和來自眼動跟蹤儀的凝視的坐標獲得的平面的幾何變形執(zhí)行51坐標的進一步的重新調(diào)整，并將用于更新映射的信息發(fā)送至坐標變換模塊14。通過使用以下描述的并在圖6中圖示的步驟，界面管理模塊在以上描述的全部過程期間連續(xù)地執(zhí)行在屏幕視圖中的交互器的搜索s)界面管理模塊13A詢問60API (應(yīng)用程序接口)的可訪問功能以跟蹤在頁面中的不同的交互器的位置和功能。t)界面管理模塊13A實現(xiàn)61在頁面中的窗口的圖表的遞歸交叉算法同時試圖提取其他信息(以克服由通過可訪問API獲得的不充分的信息所表現(xiàn)的障礙)。U)界面管理模塊13A查閱62預(yù)先形成的所支持的應(yīng)用的數(shù)據(jù)庫，從該數(shù)據(jù)庫中獲得使用各種應(yīng)用的策略。數(shù)據(jù)庫包含關(guān)于各種應(yīng)用和各種應(yīng)用程序是如何進行的一般信息以及啟發(fā)式地從其獲得所不知道的其他應(yīng)用和應(yīng)用程序如何進行的指示。所描述的方法允許例如殘障用戶使用配備有例如操作系統(tǒng)和應(yīng)用程序(諸如 Windows⑧和Microsoft Office⑧包)的個人計算機。以下詳細地描述由用戶執(zhí)行的動作用戶被布置在與監(jiān)視器連接的眼動跟蹤儀的前面，在監(jiān)視器中可視化想要通過眼睛移動控制的操作系統(tǒng)/應(yīng)用的屏幕視圖。用戶注視例如在Windows 應(yīng)用欄上的開始圖標，靠近開始圖標的是Word . 應(yīng)用和Windows 的圖標凝視在眼動跟蹤儀的固有特征的具體周圍中移動。由于這樣和由于眼睛跟蹤器件的可能的和固有的準確性誤差，可能不能確定地說出用戶在注視什么和他/她的意圖是什么。為了避免這個問題，在凝視的周圍中的所有交互器(例如，開始按鈕、 Word 程序圖標、Windows )欄)均被顯示在側(cè)部面板上，適用于通過眼睛控制進行選擇 (良好間隔且具有合適的尺寸)。通過關(guān)于在屏幕視圖(可訪問API查詢、窗口圖表的遞歸交叉、預(yù)定義應(yīng)用的數(shù)據(jù)庫)中的交互器的合適的數(shù)據(jù)恢復(fù)策略(類型、位置等)檢測這些交互器以及依據(jù)通過啟發(fā)式技術(shù)獲得的順序以“加權(quán)”方式顯示這些交互器(從最可能的到最不可能的)。用戶注視側(cè)部面板上的感興趣的交互器并且當按鈕被良好間隔且具有合適的尺寸時，關(guān)于用戶的選擇沒有歧義。因此選擇所述按鈕并執(zhí)行隨之發(fā)生的動作。更加詳細地并且參照附圖7-10，用戶首先將他/她自己布置在與監(jiān)視器連接的眼動跟蹤儀的前面，在監(jiān)視器中可視化想要通過眼睛移動控制的操作系統(tǒng)/應(yīng)用的屏幕視圖 70(圖 7)。用戶注視例如在Windows⑧應(yīng)用欄上的開始圖標，靠近開始圖標的是Word 應(yīng)用和Windows 欄的圖標凝視71在眼動跟蹤儀的固有特征的具體的周圍中移動。由于這樣和由于眼睛跟蹤器件的可能的和固有的準確性誤差，可能不能確定地說出用戶在注視什么和他/她的意圖是什么(圖7)。在凝視71的周圍中的所有交互器(例如，開始按鈕、Word 圖標、Windows )欄) 均被顯示在側(cè)部面板72上，適用于通過眼睛控制進行選擇(良好間隔且具有合適的尺寸)。 通過關(guān)于在屏幕視圖(可訪問API查詢、窗口圖表的遞歸交叉、預(yù)定義應(yīng)用的數(shù)據(jù)庫)中的交互器的合適的數(shù)據(jù)恢復(fù)策略(類型、位置等)檢測這些交互器以及依據(jù)通過啟發(fā)式技術(shù)獲得的順序以“加權(quán)”方式顯示這些交互器(從最可能的到最不可能的)(圖8)。用戶注視在側(cè)部面板72上的感興趣的交互器73 當按鈕被良好間隔且具有合適的尺寸時，關(guān)于用戶的選擇沒有歧義(圖9)。選擇所述按鈕并執(zhí)行隨之發(fā)生的動作。在從交互器面板選擇開始按鈕之后，隨之執(zhí)行動作(圖10)，或關(guān)于請求的窗口被打開74。交互器面板72是空的時跟隨用戶的連續(xù)凝視等待再次被裝滿新的交互器。
權(quán)利要求
1.一種通過眼睛控制來使用通用軟件應(yīng)用的方法，包括以下步驟a)在與合適的數(shù)據(jù)處理設(shè)備相關(guān)聯(lián)的合適的給定的可視化設(shè)備上可視化00)控制用戶界面以允許用戶控制操作系統(tǒng)以及所述數(shù)據(jù)處理設(shè)備的相關(guān)聯(lián)的應(yīng)用程序；b)通過包括在與所述數(shù)據(jù)處理設(shè)備相關(guān)聯(lián)的合適的用戶界面設(shè)備中的眼睛跟蹤器件 21 (眼動跟蹤儀)檢測以粗糙數(shù)據(jù)形式的用戶的凝視的坐標，即關(guān)于每一用戶的眼睛的凝視的坐標的采樣；c)對所述粗糙數(shù)據(jù)進行過濾0 以使其穩(wěn)定且適于提供關(guān)于用戶的注視的指示，即在某些周圍內(nèi)的用戶的凝視的數(shù)量；d)將經(jīng)過過濾的表示成注視點的x，y坐標的數(shù)據(jù)發(fā)送至操作系統(tǒng)/應(yīng)用控制模塊(11)，所述操作系統(tǒng)/應(yīng)用控制模塊(11)通過定義要執(zhí)行的動作和要在所述控制用戶界面上要引入的改變來處理所述數(shù)據(jù)；所述操作系統(tǒng)/應(yīng)用控制模塊(11)包括一套指令以控制操作系統(tǒng)和相關(guān)的應(yīng)用以及運行開發(fā)應(yīng)用圖形界面，所述開發(fā)應(yīng)用圖形界面包含關(guān)于在屏幕視圖中出現(xiàn)的交互器的信息并執(zhí)行與由用戶在那一刻注視的所述交互器相關(guān)聯(lián)的本地動作；e)執(zhí)行由前述步驟03)確定的動作以及，在必要的情況下，依據(jù)所發(fā)生的動作適當?shù)匦薷乃隹刂朴脩艚缑?；f)重復(fù)從步驟b)開始的序列直到用戶決定退出他正在使用的應(yīng)用程序。
2.如權(quán)利要求1所述的方法，其中依據(jù)前述步驟c)的粗糙數(shù)據(jù)的過濾程序通過以下步驟執(zhí)行g(shù))通過使用統(tǒng)計標準檢測和剔除非有效的采樣來預(yù)過濾(30)所述粗糙數(shù)據(jù)；h)在可能是由用戶注視的一個點處將右眼的凝視的坐標和左眼的凝視的坐標結(jié)合 (31)；i)計算(3 與期望的采樣數(shù)量(依據(jù)預(yù)先考慮的采樣數(shù)量定義)比較時的平均值和標準偏差；j)為估算值定義(33)公差；k)選擇(34)可接受的數(shù)據(jù)，依據(jù)在前述步驟i)和步驟j)中所闡述的，在與那些將被丟棄的數(shù)據(jù)比較的情況下，區(qū)分出所述可接受的數(shù)據(jù)。
3.如權(quán)利要求1-2所述的方法，其中依據(jù)步驟d)的從所述操作系統(tǒng)/應(yīng)用控制模塊 (11)接收的數(shù)據(jù)的處理依據(jù)以下的步驟序列執(zhí)行1)通過界面管理模塊(13A)分析用戶想通過眼睛控制來控制的應(yīng)用程序或操作系統(tǒng)的屏幕視圖以及將關(guān)于所述屏幕視圖和在實際用戶界面中出現(xiàn)的所述交互器的信息發(fā)送 (40)至坐標映射模塊(12A)；所述界面管理模塊(13A)包括一套能夠分析所述屏幕視圖并能夠檢測關(guān)于所述屏幕視圖及相關(guān)的所述交互器的信息的指令；所述坐標映射模塊(12A) 包括一套能夠執(zhí)行關(guān)于所述屏幕視圖及相關(guān)的所述交互器的坐標的新映射的指令；m)通過與關(guān)于來自所述眼動跟蹤儀的用戶的凝視的數(shù)據(jù)的比較通過所述坐標映射模塊(12A)執(zhí)行關(guān)于所述屏幕視圖及相關(guān)的所述交互器的坐標的新映射(41)，如果與具有與定義來自所述眼動跟蹤儀的凝視的坐標的系統(tǒng)不同的原點的軸的另一系統(tǒng)比較，所述新映射允許定義來自客戶端模塊(1 的關(guān)于在所述屏幕視圖中的所述交互器的位置的坐標； 所述客戶端模塊(1 包括一套能夠定義在實際屏幕視圖中出現(xiàn)的所述交互器的位置和功能的指令；η)交互器管理模塊(12Β)再次取出0 在所檢測的凝視的周圍中出現(xiàn)的所述交互器， 在所述界面上適當?shù)仫@示它們并可能地修改它們，所述交互器管理模塊(12B)包括一套能夠執(zhí)行輸入的“凝視”的控制的指令以限定哪些交互器由用戶限定并能夠適當?shù)貙⑺鼋换テ黠@示在所述界面上，通過使用啟發(fā)式技術(shù)決定通過確定哪個交互器將最可能被選擇的出現(xiàn)順序；然后所述交互器管理模塊(12B)等待關(guān)于來自所述眼動跟蹤儀的凝視的數(shù)據(jù)和等待對在側(cè)部面板中出現(xiàn)的所述交互器中的一個的選擇；ο)本地動作定義模塊(12C)定義03)與每一交互器相關(guān)的操作系統(tǒng)的本地動作(即與來自鍵盤的控制的插入、單擊、拖放等對應(yīng)的事件)以及將其發(fā)送至本地動作管理模塊 (1 )，所述本地動作定義模塊(12C)包括一套能夠定義與所述操作系統(tǒng)的每一交互器相關(guān)的本地動作并使其能夠用于連續(xù)處理的指令，所述本地動作管理模塊(13B)包括一套能夠接收關(guān)于與所選擇的交互器相關(guān)的本地動作的信息并且將其作為在所述操作系統(tǒng)上的動作執(zhí)行的指令；P)所述本地動作管理模塊(13B)接收04)關(guān)于與所選擇的交互器相關(guān)的本地動作的信息作為所述操作系統(tǒng)上的動作。
4.如權(quán)利要求3所述的方法，其中依據(jù)步驟m)的坐標重新映射的過程依據(jù)以下的步驟序列執(zhí)行q)坐標變換模塊(14)執(zhí)行(50)與關(guān)于所述屏幕視圖和輸入的交互器的信息相關(guān)的坐標的變換并將這些數(shù)據(jù)發(fā)送至自適應(yīng)校準模塊(15)，所述坐標變換模塊(14)包括一套能夠執(zhí)行與所述屏幕視圖和所述交互器相關(guān)的坐標的變換的指令；r)所述自適應(yīng)校準模塊(1 重新調(diào)整(51)坐標并將用于更新映射的信息發(fā)送至所述坐標變換模塊(14)，所述自適應(yīng)校準模塊(1 包括一套能夠通過平面的幾何變形執(zhí)行坐標的進一步的重新調(diào)整的指令，平面的幾何變形通過比較在用戶能夠選擇的所述交互器上的信息以及來自所述眼動跟蹤儀的凝視的坐標獲得。
5.如權(quán)利要求1-4所述的方法，其中所述界面管理模塊(13A)以連續(xù)方式、通過以下的步驟序列執(zhí)行對在所述屏幕視圖中出現(xiàn)的所述交互器的搜索s)所述界面管理模塊(13A)詢問(60)API (應(yīng)用程序接口)的可訪問功能以跟蹤在頁面中出現(xiàn)的不同的交互器的位置和功能；t)所述界面管理模塊(13A)實現(xiàn)(61)在頁面中出現(xiàn)的窗口的圖表的遞歸交叉算法，試圖提取進一步的信息以克服由通過可訪問的API獲得的可能不充分的信息所表現(xiàn)的障礙； u)所述界面管理模塊(13A)查閱(6 預(yù)先形成的所支持的應(yīng)用的數(shù)據(jù)庫，從該數(shù)據(jù)庫中獲得使用各種應(yīng)用的策略，所述數(shù)據(jù)庫包含關(guān)于所述應(yīng)用和所述應(yīng)用程序如何進行的一般信息。
6.一種用于通過眼睛控制來使用通用軟件應(yīng)用的裝置，所述裝置包括數(shù)據(jù)及信息的電子處理設(shè)備、存儲所述數(shù)據(jù)及信息的設(shè)備和用戶界面設(shè)備，其中所述數(shù)據(jù)及信息的電子處理設(shè)備包括基于至少一個微處理器的合適的控制選擇，以及所述用戶界面設(shè)備包括顯示器、監(jiān)視器或模擬輸出單元和能夠解釋用戶的凝視的方向的眼睛跟蹤器件。
7.如權(quán)利要求1所述的裝置，其中所述數(shù)據(jù)及信息的電子處理設(shè)備包括個人計算機。
8.如權(quán)利要求1-2所述的裝置，其中所述微處理器包括操作系統(tǒng)、通過使用虛擬機和合適的軟件程序產(chǎn)生的合適的虛擬環(huán)境。
9.如權(quán)利要求3所述的裝置，其中所述合適的軟件程序?qū)崿F(xiàn)如權(quán)利要求1-5所述的方法。
10.一種計算機程序，包括用于編程能夠執(zhí)行如權(quán)利要求1-5所述的方法的步驟的代碼的設(shè)備，其中所述程序通過計算機執(zhí)行。
11.一種計算機可讀記錄支持器，具有記錄在其上的程序，所述可讀記錄支持器包括適應(yīng)于實現(xiàn)權(quán)利要求1-5的所有步驟的計算機程序的編碼設(shè)備，其中所述計算機程序在計算機上運行。
全文摘要
本發(fā)明的方法及裝置目標涉及一種通過以簡單的交互技術(shù)為特征的眼睛控制使用通用軟件應(yīng)用的系統(tǒng)，所述交互技術(shù)最小化操縱軟件所需的用戶的認知努力并允許克服由眼睛跟蹤系統(tǒng)的固有的準確性問題產(chǎn)生的問題。事實上，這種技術(shù)不提供使用通過凝視移動的鼠標的指針控制各種軟件應(yīng)用而是使用通過合適的交互技術(shù)的使用是舒適的并且不涉及通過用戶更加努力的專注的不同的應(yīng)用。事實上已經(jīng)做出還通過使用視覺反饋簡化在用戶和機器之間的交互過程的嘗試，所述視覺反饋允許由用戶執(zhí)行鼠標的相同操作而沒有由于眼睛跟蹤器件的準確性問題產(chǎn)生典型的用戶挫敗。
文檔編號G06F3/048GK102483650SQ201080039407
公開日2012年5月30日 申請日期2010年9月13日 優(yōu)先權(quán)日2009年9月11日
發(fā)明者保羅·因韋爾尼齊 申請人:Sr蘭博斯有限責(zé)任公司