本公開總體上涉及輸入框架，包括但不限于用于提供不同保真度水平的輸入功能的硬件無關的輸入框架。

背景技術：

1、人工現(xiàn)實設備例如通過使用由鍵盤和鼠標、攝像頭、控制器、運動追蹤器和語音輸入識別器提供的硬件和傳感器功能來提供各種輸入模態(tài)。人工現(xiàn)實應用允許用戶使用該各種輸入模態(tài)中的一種或多種輸入模態(tài)進行交互。然而，常規(guī)的輸入框架具有局限性，例如輸入模態(tài)被綁定到特定硬件。因此，人工現(xiàn)實應用必須明確選擇支持哪些模態(tài)。因此，許多常規(guī)的人工現(xiàn)實應用保守地選擇僅支持最小的輸入模態(tài)集。例如，如果關閉攝像頭，則人工現(xiàn)實應用可能會簡單地禁用手部追蹤，即使腕部設備可以提供中等水平的保真度手部追蹤。

技術實現(xiàn)思路

1、本公開描述了一種人工現(xiàn)實系統(tǒng)的硬件無關的輸入框架，該硬件無關的輸入框架被配置為解決以上所確定問題中的一個或多個問題，包括通過基于可用的硬件資源提供多種保真度水平(不僅是最高保真度水平，而且還有許多當前系統(tǒng)不考慮提供給應用的較低保真度水平)的選項，來減輕硬件碎片化和增加可用的輸入功能，以確?？梢韵蛉斯がF(xiàn)實應用提供更多的輸入功能。例如，一經(jīng)系統(tǒng)初始化，輸入框架(其可以是暴露給各個應用的操作系統(tǒng)級框架)就檢查硬件平臺，并列舉該硬件平臺可以支持的輸入功能和保真度水平。該硬件平臺包括可用于向人工現(xiàn)實系統(tǒng)提供某些輸入功能的硬件。在這個示例中，在平臺上運行的應用向輸入框架通知該應用所需的輸入功能，以及應用需要的這些輸入功能將被提供的最低保真度水平。示例輸入功能包括手部取向、手部位置、手部動作、控制器取向、控制器位置和控制器動作。在這個示例中，輸入框架嘗試使用當前可用的硬件來支持所需的功能和保真度水平。作為進一步示例，當輸入框架確定當前可用的硬件不能支持所需的功能和相關聯(lián)的保真度水平時，輸入框架向應用(或用戶)通知該缺陷，并可選地提供建議的解決方案。

2、作為另一示例，受重量和外觀的限制，人工現(xiàn)實眼鏡本身可以實現(xiàn)核心用戶體驗，當附件設備可用時，可以通過附件設備來增強核心用戶體驗，以實現(xiàn)更高質(zhì)量的設備交互。例如，人工現(xiàn)實眼鏡可以僅設置一個顯示器和(例如，用于位置追蹤的)兩個前置攝像頭。該眼鏡可能能夠提供手部交互，但需要用戶將其手舉到攝像頭前，這可能在社交上尷尬，并很快引發(fā)疲勞，并導致用戶對這些新范例的不滿。在這個示例中，用戶可以選擇在背包中放置控制器，或者佩戴連接的智能手表，以獲得更準確和可靠的輸入。這樣，人工現(xiàn)實系統(tǒng)的硬件資源可能并不總是可用的，因此利用框架(其可以是暴露于具有應用編程接口(application?programming?interfaces，api)的各個應用的操作系統(tǒng)級框架)來使用不同的可用硬件或傳感器資源自適應地提供輸入功能的能力是有利的，并且有助于確?？梢允褂每捎糜布Y源的不同組合來支持不同應用所需的輸入功能。

3、示例系統(tǒng)包括人工現(xiàn)實眼鏡和智能手表(它們分別可以更普遍地稱為頭佩戴式可穿戴設備和腕部可穿戴設備)。在多種情境中，系統(tǒng)可能無法使用某些硬件功能。作為第一種情境，這個示例中的用戶有時可能會選擇讓智能手表繼續(xù)充電，而使用控制器。作為第二種情境，可以(例如，因為智能手表太熱)暫時禁用智能手表上的gps。作為第三種情境，眼鏡上的攝像頭可能被用戶關閉，例如，因為用戶在公共空間并且需要尊重他人的隱私。在常規(guī)的人工現(xiàn)實系統(tǒng)中，應用需要支持多得多的輸入模態(tài)，并且需要在硬件可用性改變時單獨地管理這些模態(tài)之間的轉換(例如，操作系統(tǒng)級框架根本不可用，并且各個應用必須知道并單獨管理每個單獨應用內(nèi)的硬件資源可用性)。相反，在本公開的系統(tǒng)中，輸入框架(例如，其可以在操作系統(tǒng)級運行)檢查硬件平臺(例如，在系統(tǒng)啟動時，該系統(tǒng)啟動可以對應于操作系統(tǒng)的通電事件)，以基于可用的硬件資源列舉平臺上可以支持的輸入功能和保真度水平。在這樣的系統(tǒng)中，應用(例如，在輸入框架啟動時)通知輸入框架它們需要哪些輸入功能以及每個輸入功能的最低保真度水平。輸入框架將所需的功能和保真度水平與當前可用的任何硬件進行映射，例如，從而選擇具有最高保真度的硬件選項。

4、根據(jù)一些實施例，一種方法在包括一個或多個人機接口(human-machine-interface，hmi)設備(該一個或多個hmi設備可以是以上所論述的硬件資源，這些硬件資源可以各自與人工現(xiàn)實系統(tǒng)相關聯(lián))的人工現(xiàn)實系統(tǒng)上執(zhí)行。該方法包括：(i)接收來自在與人工現(xiàn)實系統(tǒng)相關聯(lián)的操作系統(tǒng)上執(zhí)行的應用的請求，該請求標識了用于使輸入操作在該應用內(nèi)可用的所請求的輸入功能；以及(ii)響應于接收到該請求：(a)通過操作系統(tǒng)使用來自一個或多個hmi設備的數(shù)據(jù)識別兩種或更多種技術，人工現(xiàn)實系統(tǒng)可以使用該兩種或更多種技術使所請求的輸入功能對該應用可用，該兩種或更多種技術中的每種技術與相應的保真度水平相關聯(lián)；(b)選擇該兩種或更多種技術中的用于使所請求的輸入功能對該應用可用的第一技術；以及(c)使用第一技術向該應用提供允許執(zhí)行所請求的輸入功能的數(shù)據(jù)。該方法可以在被配置為控制上述hmi設備并且與所述hmi設備通信地耦合的腕部可穿戴設備、頭佩戴式可穿戴設備或人工現(xiàn)實控制臺上執(zhí)行。在另一個示例中，可以說人工現(xiàn)實系統(tǒng)通過以下來執(zhí)行該方法：使用該人工現(xiàn)實系統(tǒng)的各部件設備中的任何一個部件設備來單獨執(zhí)行該方法的各操作。

5、在一些實施例中，計算設備(其可以是被配置為控制上述hmi設備并與所述hmi設備通信地耦合的腕部可穿戴設備、頭佩戴式可穿戴設備，或人工現(xiàn)實控制臺)包括一個或多個處理器、存儲器、顯示器以及存儲在該存儲器中的一個或多個程序。這些程序被配置為由該一個或多個處理器執(zhí)行。該一個或多個程序包括用于執(zhí)行本文所描述的各方法中的任何方法的指令。

6、在一些實施例中，非暫態(tài)計算機可讀存儲介質(zhì)(其可以是存儲在服務器上以用于經(jīng)由應用存儲庫分發(fā)的可執(zhí)行文件)存儲一個或多個程序，該一個或多個程序被配置為由計算設備執(zhí)行，該計算設備具有一個或多個處理器、存儲器和顯示器。該一個或多個程序包括用于執(zhí)行本文所描述的各方法中的任何方法的指令。

7、因此，公開了用于以自適應和動態(tài)方式提供輸入功能的方法和系統(tǒng)，這些方法和系統(tǒng)可以通過允許所有應用訪問操作系統(tǒng)級框架，來減輕各個應用必須自行管理硬件資源的要求，該操作系統(tǒng)級框架識別可以以特定保真度水平向每個應用提供的輸入功能。這些方法可以補充或取代用于提供輸入功能的常規(guī)方法。

8、注意，上述各種實施例可以與本文中所描述的任何其它實施例組合。說明書中所描述的特征和優(yōu)點不一定是全部包含的，特別地，鑒于本公開中所提供的附圖、說明書和權利要求書，一些附加特征和優(yōu)點對于本領域普通技術人員而言將是顯而易見的。此外，應當注意，本說明書中使用的語言主要是出于可讀性和指導性目的而選擇的，并可能不是被選擇來界定或限定本文中所描述的主題。

技術特征：

1.一種使用硬件無關的輸入框架來確定如何向應用提供輸入功能的方法，所述方法包括：

2.根據(jù)權利要求1所述的方法，其中，所述操作系統(tǒng)選擇所述第一技術是因為所述第一技術允許以比與所述兩種或更多種技術中的所有其它技術相關聯(lián)的保真度水平更高的相應保真度水平執(zhí)行所述所請求的輸入功能。

3.根據(jù)權利要求1所述的方法，其中，通過所述操作系統(tǒng)向所述應用提供關于所述兩種或更多種技術的信息，并且所述應用執(zhí)行所述選擇。

4.根據(jù)權利要求1所述的方法，還包括：

5.根據(jù)權利要求1所述的方法，其中，在所述操作系統(tǒng)上執(zhí)行的所述應用是第一應用，所述所請求的輸入功能是所請求的第一輸入功能，并且所述方法還包括：

6.根據(jù)權利要求1所述的方法，其中，來自第一hmi設備的數(shù)據(jù)與所述第一技術結合使用，并且所述方法還包括：

7.根據(jù)權利要求6所述的方法，還包括：

8.根據(jù)權利要求6所述的方法，還包括：

9.根據(jù)權利要求8所述的方法，其中，通知所述用戶包括：提供指定一個或多個附加hmi設備的指令，所述一個或多個附加hmi設備能夠以所述至少兩個不同的保真度水平中的保真度水平提供所述所請求的輸入功能。

10.根據(jù)權利要求8所述的方法，其中，通知所述用戶包括：指示用戶停止使用所述應用，直到能夠提供所述所請求的輸入功能。

11.根據(jù)權利要求8所述的方法，其中，通知所述用戶包括：提供關于性能下降的信息。

12.根據(jù)權利要求8所述的方法，其中，通知所述用戶包括：提供在所述所請求的輸入功能不可用時所述應用是可用的信息。

13.根據(jù)權利要求1所述的方法，其中，所述所請求的輸入功能使用以下中的一者或多者以使所述輸入操作在所述應用內(nèi)可用：手部取向；手部位置；手部動作；手部手勢；手腕手勢；手腕位置；軀干姿勢；和頭部姿勢。

14.根據(jù)權利要求1所述的方法，其中，所述一個或多個hmi設備包括腕部可穿戴設備，所述腕部可穿戴設備包括以下中的一者或多者：imu傳感器；gps；wifi天線；ble天線；emg傳感器；接近傳感器；和攝像頭；并且

15.根據(jù)權利要求1所述的方法，其中，所述一個或多個hmi設備包括：

16.根據(jù)權利要求1所述的方法，其中，所述一個或多個hmi設備包括：

17.根據(jù)權利要求1所述的方法，其中，所述接收在所述人工現(xiàn)實系統(tǒng)的初始化時執(zhí)行，檢測與所述人工現(xiàn)實系統(tǒng)一起使用的所述一個或多個hmi設備的可用性。

18.一種系統(tǒng)，包括：

19.根據(jù)權利要求18所述的系統(tǒng)，其中，所述操作系統(tǒng)選擇所述第一技術是因為所述第一技術允許以比與所述兩種或更多種技術中的所有其它技術相關聯(lián)的相應保真度水平更高的相應保真度水平執(zhí)行所述所請求的輸入功能。

20.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)包括指令，所述指令在被與一個或多個人機接口(hmi)設備通信的系統(tǒng)執(zhí)行時，使得所述系統(tǒng)：

技術總結
本文所描述的各種實施方式包括用于提供多種保真度水平的輸入功能的方法和系統(tǒng)。在一個方面，一種方法包括接收來自應用的請求，該請求標識了用于使輸入操作在應用內(nèi)可用的輸入功能。該方法還包括：響應于接收到該請求：使用來自一個或多個設備的數(shù)據(jù)識別人工現(xiàn)實系統(tǒng)可使用以使所請求的輸入功能對應用可用的技術；選擇用于使所請求的輸入功能對應用可用的第一技術；以及使用第一技術向應用提供允許執(zhí)行所請求的輸入功能的數(shù)據(jù)。

技術研發(fā)人員：約瑟夫·戴維斯·格里爾,沈升,阿努拉格·夏爾馬,閆程遠
受保護的技術使用者：元平臺技術有限公司
技術研發(fā)日：
技術公布日：2024/10/21