本公開整體涉及與顯示生成部件并且任選地與和第一用戶相關(guān)聯(lián)的提供計(jì)算機(jī)生成的體驗(yàn)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)，包括但不限于經(jīng)由顯示器提供虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)體驗(yàn)的電子設(shè)備。

背景技術(shù)：

1、近年來，用于增強(qiáng)現(xiàn)實(shí)的計(jì)算機(jī)系統(tǒng)的發(fā)展顯著增加。示例增強(qiáng)現(xiàn)實(shí)環(huán)境包括至少一些替換或增強(qiáng)物理世界的虛擬元素。用于計(jì)算機(jī)系統(tǒng)和其他電子計(jì)算設(shè)備的輸入設(shè)備(諸如相機(jī)、控制器、操縱桿、觸敏表面和觸摸屏顯示器)用于與虛擬/增強(qiáng)現(xiàn)實(shí)環(huán)境進(jìn)行交互。示例性虛擬元素包括諸如數(shù)字圖像、視頻、文本、圖標(biāo)和控制元素(諸如按鈕和其他圖形)的虛擬對象。

技術(shù)實(shí)現(xiàn)思路

1、用于在包括至少一些虛擬元素的環(huán)境中(例如，應(yīng)用程序、增強(qiáng)現(xiàn)實(shí)環(huán)境、混合現(xiàn)實(shí)環(huán)境和虛擬現(xiàn)實(shí)環(huán)境)顯示用戶的表示的一些方法和界面是麻煩、低效且受限的。例如，為在物理環(huán)境中跟蹤用戶的各部分并基于不充分的反饋顯示表示提供不充分反饋的系統(tǒng)是復(fù)雜、乏味且容易出錯(cuò)的，給用戶造成了顯著的認(rèn)知負(fù)擔(dān)，并有損于虛擬/增強(qiáng)現(xiàn)實(shí)環(huán)境的體驗(yàn)。此外，這些方法花費(fèi)的時(shí)間比必要的要長，從而浪費(fèi)了計(jì)算機(jī)系統(tǒng)的能量。這后一考慮在電池驅(qū)動(dòng)的設(shè)備中是特別重要的。

2、因此，需要具有改進(jìn)的方法和界面的計(jì)算機(jī)系統(tǒng)來向用戶提供計(jì)算機(jī)生成的體驗(yàn)，當(dāng)接收到的反饋不足時(shí)，其顯示用戶的連續(xù)且可理解的表示，使得與計(jì)算機(jī)系統(tǒng)的交互對于用戶來說更有效且更直觀。此類方法和界面任選地補(bǔ)充或替換用于向用戶提供擴(kuò)展現(xiàn)實(shí)體驗(yàn)的常規(guī)方法。此類方法和界面通過幫助用戶理解所提供的輸入與設(shè)備對這些輸入的響應(yīng)之間的聯(lián)系，減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，從而形成了更有效的人機(jī)界面。

3、通過所公開的系統(tǒng)減少或消除了與計(jì)算機(jī)系統(tǒng)的用戶界面相關(guān)聯(lián)的上述缺陷和其他問題。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)是具有相關(guān)聯(lián)顯示器的臺式計(jì)算機(jī)。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)是便攜式設(shè)備(例如，筆記本電腦、平板電腦或手持式設(shè)備)。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)是個(gè)人電子設(shè)備(例如，可穿戴電子設(shè)備，諸如手表或頭戴式設(shè)備)。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有觸摸板。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有一個(gè)或多個(gè)相機(jī)。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有觸敏顯示器(也稱為“觸摸屏”或“觸摸屏顯示器”)。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有一個(gè)或多個(gè)眼睛跟蹤部件。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有一個(gè)或多個(gè)手部跟蹤部件。在一些實(shí)施方案中，除顯示生成部件之外，計(jì)算機(jī)系統(tǒng)還具有一個(gè)或多個(gè)輸出設(shè)備，這些輸出設(shè)備包括一個(gè)或多個(gè)觸覺輸出發(fā)生器和/或一個(gè)或多個(gè)音頻輸出設(shè)備。在一些實(shí)施方案中，計(jì)算機(jī)系統(tǒng)具有圖形用戶界面(gui)、一個(gè)或多個(gè)處理器、存儲器和一個(gè)或多個(gè)模塊、存儲在存儲器中用于執(zhí)行多個(gè)功能的程序或指令集。在一些實(shí)施方案中，用戶通過觸控筆和/或手指在觸敏表面上的接觸和手勢、用戶的眼睛和手部在相對于gui(和/或計(jì)算機(jī)系統(tǒng))或用戶身體的空間中的移動(dòng)(如由相機(jī)和其他移動(dòng)傳感器捕獲的)和/或語音輸入(如由一個(gè)或多個(gè)音頻輸入設(shè)備捕獲的)與gui進(jìn)行交互。在一些實(shí)施方案中，通過交互執(zhí)行的功能任選地包括圖像編輯、繪圖、演示、文字處理、電子表格制作、玩游戲、接打電話、視頻會(huì)議、收發(fā)電子郵件、即時(shí)通訊、測試支持、數(shù)字?jǐn)z影、數(shù)字視頻錄制、網(wǎng)頁瀏覽、數(shù)字音樂播放、記筆記和/或數(shù)字視頻播放。用于執(zhí)行這些功能的可執(zhí)行指令任選地被包括在被配置用于由一個(gè)或多個(gè)處理器執(zhí)行的暫態(tài)和/或非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)或其他計(jì)算機(jī)程序產(chǎn)品中。

4、需要具有改進(jìn)的方法和界面的電子設(shè)備來在接收到與用戶的狀態(tài)相關(guān)的不充分反饋時(shí)顯示用戶的表示。此類方法和界面可補(bǔ)充或替換用于與三維環(huán)境中的其他用戶通信的常規(guī)方法。此類方法和界面減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，并且產(chǎn)生更高效的人機(jī)界面。對于電池驅(qū)動(dòng)的計(jì)算設(shè)備，此類方法和界面節(jié)省功率，并且增大電池充電之間的時(shí)間間隔。

5、根據(jù)一些實(shí)施方案，描述了一種方法。該方法在與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)處執(zhí)行。該方法包括：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴(kuò)展現(xiàn)實(shí)環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴(kuò)展現(xiàn)實(shí)環(huán)境中的一個(gè)或多個(gè)對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計(jì)算機(jī)系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時(shí)，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計(jì)的該身體的該部分的估計(jì)狀態(tài)。

6、根據(jù)一些實(shí)施方案，描述了一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴(kuò)展現(xiàn)實(shí)環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴(kuò)展現(xiàn)實(shí)環(huán)境中的一個(gè)或多個(gè)對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計(jì)算機(jī)系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時(shí)，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計(jì)的該身體的該部分的估計(jì)狀態(tài)。

7、根據(jù)一些實(shí)施方案，描述了一種暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。該暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴(kuò)展現(xiàn)實(shí)環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴(kuò)展現(xiàn)實(shí)環(huán)境中的一個(gè)或多個(gè)對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計(jì)算機(jī)系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時(shí)，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計(jì)的該身體的該部分的估計(jì)狀態(tài)。

8、根據(jù)一些實(shí)施方案，描述了一種計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信。該計(jì)算機(jī)系統(tǒng)包括：一個(gè)或多個(gè)處理器；和存儲器，該存儲器存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由該一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴(kuò)展現(xiàn)實(shí)環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴(kuò)展現(xiàn)實(shí)環(huán)境中的一個(gè)或多個(gè)對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計(jì)算機(jī)系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時(shí)，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計(jì)的該身體的該部分的估計(jì)狀態(tài)。

9、根據(jù)一些實(shí)施方案，描述了一種計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信。該計(jì)算機(jī)系統(tǒng)包括：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：用于經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示的構(gòu)件，其中該第一用戶的該表示包括：該第一用戶的該身體的一部分在該擴(kuò)展現(xiàn)實(shí)環(huán)境中的視覺指示，其中：該第一用戶的該身體的該部分的該視覺指示具有至少部分地基于該擴(kuò)展現(xiàn)實(shí)環(huán)境中的一個(gè)或多個(gè)對象而確定的外觀；并且該第一用戶的該身體的該部分的該視覺指示表示當(dāng)該計(jì)算機(jī)系統(tǒng)不能獲得關(guān)于該身體的該部分的狀態(tài)的直接信息時(shí)，基于關(guān)于該身體的該部分的狀態(tài)的間接信息而估計(jì)的該身體的該部分的估計(jì)狀態(tài)。

10、根據(jù)一些實(shí)施方案，描述了一種方法。該方法在與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)處執(zhí)行。該方法包括：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

11、根據(jù)一些實(shí)施方案，描述了一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

12、根據(jù)一些實(shí)施方案，描述了一種暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。該暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信的計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

13、根據(jù)一些實(shí)施方案，描述了一種計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信。該計(jì)算機(jī)系統(tǒng)包括：一個(gè)或多個(gè)處理器；和存儲器，該存儲器存儲一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程序被配置為由該一個(gè)或多個(gè)處理器執(zhí)行，該一個(gè)或多個(gè)程序包括用于以下操作的指令：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

14、根據(jù)一些實(shí)施方案，描述了一種計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)與顯示生成部件通信并且與和第一用戶相關(guān)聯(lián)的外部計(jì)算機(jī)系統(tǒng)通信。該計(jì)算機(jī)系統(tǒng)包括：響應(yīng)于接收到在擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的表示的請求：用于經(jīng)由該顯示生成部件在該擴(kuò)展現(xiàn)實(shí)環(huán)境中顯示該第一用戶的該表示的構(gòu)件，其中顯示該第一用戶的該表示包括：根據(jù)確定該第一用戶的身體的第一部分在該第一用戶所位于的物理環(huán)境的第一區(qū)中，其中該第一區(qū)相對于該第一用戶的該身體來定義，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第一視覺指示，其中該第一用戶的該身體的該第一部分的該第一視覺指示包括第一視覺保真度量；以及根據(jù)確定該第一用戶的該身體的該第一部分在該物理環(huán)境的第二區(qū)中，其中該第二區(qū)與該第一區(qū)分開，經(jīng)由該顯示生成部件顯示該第一用戶的該身體的該第一部分的第二視覺指示，其中該第一用戶的該身體的該第一部分的該第二視覺指示包括不同于該第一視覺保真度量的第二視覺保真度量。

15、需注意，上述各種實(shí)施方案可與本文所述任何其他實(shí)施方案相結(jié)合。本說明書中描述的特征和優(yōu)點(diǎn)并不全面，具體來說，根據(jù)附圖、說明書和權(quán)利要求書，許多另外的特征和優(yōu)點(diǎn)對本領(lǐng)域的普通技術(shù)人員將是顯而易見的。此外，應(yīng)當(dāng)指出，出于可讀性和指導(dǎo)性目的，在原則上選擇了本說明書中使用的語言，并且可以不這樣選擇以描繪或界定本發(fā)明的主題。