本公開總體上涉及人工現(xiàn)實系統(tǒng)，并且更具體地，涉及將所生成的化身的視頻與從本地區(qū)域內(nèi)對應(yīng)于該化身的用戶的采集的音頻進行同步。

背景技術(shù)：

1、用戶越來越多地使用虛擬現(xiàn)實(virtual?reality，vr)設(shè)備和增強現(xiàn)實(augmented?reality，ar)設(shè)備來彼此通信。vr設(shè)備或ar設(shè)備允許用戶之間的新的通信模式，該新的通信模式簡化了處于不同位置的用戶之間的交互。此外，vr設(shè)備或ar設(shè)備允許對用戶之間的要改進的傳統(tǒng)通信模式進行改進。例如，處于不同位置的用戶之間的電話會議可以使用這樣的vr設(shè)備或ar設(shè)備：這些vr設(shè)備或ar設(shè)備允許處于一位置的用戶通過虛擬環(huán)境來觀看處于遠程位置的用戶的化身并與該化身進行交互，而不是在傳統(tǒng)的視頻會議中觀看處于遠程位置的用戶的視頻。使用化身來表示處于不同位置的用戶允許處于不同位置的用戶之間進行更廣泛范圍的交互，從而增加了用戶之間的交互。

2、在某些電話會議場景中，處于一位置的多個用戶與處于不同位置的另一組用戶進行通信。例如，一用戶群組在房間中，并經(jīng)由電話會議與處于不同物理位置的房間中的附加用戶群組進行通信。每個位置的各用戶佩戴著vr設(shè)備或ar設(shè)備，用戶的vr設(shè)備或ar設(shè)備顯示參與該電話會議的其他用戶的化身。用戶的化身被更新以反映用戶的運動(例如，面部表情、唇部運動)，并通過其vr設(shè)備或ar設(shè)備而被顯示給其他用戶，從而允許該化身模擬用戶說話。

3、傳統(tǒng)上，正在說話的用戶的ar設(shè)備或vr設(shè)備采集來自該用戶的音頻，并向服務(wù)器或者其它vr設(shè)備或ar設(shè)備傳輸該音頻，以向其他用戶呈現(xiàn)。然而，在這樣的實施方式中，處于一位置的用戶可能會在基于來自處于同一位置的附加用戶的音頻對表示該附加用戶的化身進行更新之前，聽到該音頻。ar設(shè)備或vr設(shè)備傳輸來自處于正在說話位置的用戶的所采集的音頻、以及處于該位置的其他用戶的vr設(shè)備或ar設(shè)備接收該音頻以更新正在說話的用戶的化身的時延導(dǎo)致，該化身在與正在說話的用戶處于同一位置的各用戶聽到來自該位置內(nèi)的該用戶的音頻之后才被更新。在處于一位置的用戶的化身的運動與由處于同一位置的其他用戶進行的對來自該用戶的音頻的檢測之間的這種同步的缺乏可能會，分散其他用戶的注意力，并降低其他用戶經(jīng)由ar設(shè)備或vr設(shè)備而與用戶群組進行通信的頻率。

技術(shù)實現(xiàn)思路

1、本地區(qū)域中的用戶具有這樣的頭戴式設(shè)備(headset)：該頭戴式設(shè)備用于與該本地區(qū)域中的其他用戶、以及遠程區(qū)域中的一個或多個用戶交換音頻或其它數(shù)據(jù)，該遠程區(qū)域是與本地區(qū)域不同的物理位置。用戶的頭戴式設(shè)備向該用戶顯示其他用戶的化身，并基于由其他用戶生成的音頻來修改這些化身。為了減少用戶的頭戴式設(shè)備對本地區(qū)域中的附加用戶的化身進行更新與頭戴式設(shè)備的用戶聽到本地區(qū)域內(nèi)的音頻之間的時延，用戶的頭戴式設(shè)備采集來自本地區(qū)域的音頻或描述本地區(qū)域的其它信息，并從所采集的音頻或其它信息中提取特征。根據(jù)所提取的特征，用戶的頭戴式設(shè)備識別本地區(qū)域中生成音頻的附加用戶，并基于所采集的來自本地區(qū)域的音頻來更新向用戶顯示的所識別的附加用戶的化身。這允許頭戴式設(shè)備基于本地區(qū)域內(nèi)的音頻來修改附加用戶的化身，以使用來自本地區(qū)域的信息而不是從生成音頻的附加用戶的頭戴式設(shè)備獲取的信息來更新附加用戶的化身。

2、為了修改附加用戶的化身，用戶的頭戴式設(shè)備識別包括該頭戴式設(shè)備的本地區(qū)域內(nèi)的附加用戶的附加頭戴式設(shè)備。例如，頭戴式設(shè)備接收來自附加頭戴式設(shè)備的、標識附加頭戴式設(shè)備和附加用戶的元數(shù)據(jù)。替代地，頭戴式設(shè)備從本地區(qū)域的一個或多個圖像中提取附加頭戴式設(shè)備的標識符。頭戴式設(shè)備的一個或多個聲學(xué)傳感器采集來自本地區(qū)域的音頻，并且頭戴式設(shè)備確定所采集的音頻的一個或多個特征?；谒杉囊纛l的特征，頭戴式設(shè)備確定所采集的音頻與附加用戶相關(guān)聯(lián)。例如，頭戴式設(shè)備確定所采集的音頻源自處于附加頭戴式設(shè)備的位置的閾值距離內(nèi)的位置，或者確定音頻的特征與附加用戶的用戶標識符相關(guān)聯(lián)。響應(yīng)于確定所采集的音頻與附加用戶相關(guān)聯(lián)，頭戴式設(shè)備在由頭戴式設(shè)備顯示的虛擬環(huán)境中識別與附加用戶相對應(yīng)的化身。頭戴式設(shè)備基于所采集的音頻來修改與附加用戶相對應(yīng)的化身，從而更新虛擬環(huán)境以反映所采集的音頻。

3、在其它實施例中，用戶的頭戴式設(shè)備識別包括該頭戴式設(shè)備的本地區(qū)域內(nèi)的附加用戶的附加頭戴式設(shè)備。頭戴式設(shè)備的一個或多個聲學(xué)傳感器通過頭戴式設(shè)備的音頻系統(tǒng)采集來自本地區(qū)域的音頻。另外，一個或多個外部采集傳感器采集描述本地區(qū)域的信息。在一些實施例中，外部采集傳感器可以與頭戴式設(shè)備分開，而在其它實施例中，外部采集傳感器被包括在頭戴式設(shè)備中。頭戴式設(shè)備從描述本地區(qū)域的信息中提取附加用戶的特征?；谒崛〉奶卣?，頭戴式設(shè)備確定所采集的音頻與附加用戶相關(guān)聯(lián)。響應(yīng)于確定所采集的音頻與附加用戶相關(guān)聯(lián)，頭戴式設(shè)備在由頭戴式設(shè)備向用戶顯示的虛擬環(huán)境中識別與附加用戶相對應(yīng)的化身。頭戴式設(shè)備基于所提取的附加用戶的特征和所采集的音頻來修改與附加用戶相對應(yīng)的化身。

4、在各種實施例中，頭戴式設(shè)備包括框架和一個或多個顯示元件，該一個或多個顯示元件耦接到框架，每個顯示元件被配置為生成向頭戴式設(shè)備的用戶顯示其他用戶的一個或多個化身的圖像光。頭戴式設(shè)備還包括一個或多個聲學(xué)傳感器，該一個或多個聲學(xué)傳感器被配置為采集來自頭戴式設(shè)備周圍的本地區(qū)域的音頻。包括在頭戴式設(shè)備中的音頻控制器包括處理器和非暫態(tài)計算機可讀存儲介質(zhì)，該非暫態(tài)計算機可讀存儲介質(zhì)具有編碼在其上的指令，所述指令在被處理器執(zhí)行時使該處理器：識別包括該頭戴式設(shè)備的本地區(qū)域內(nèi)的附加用戶的附加頭戴式設(shè)備。所述指令還使處理器：確定所采集的音頻的一個或多個特征，并基于所采集的音頻的這些特征來確定所采集的音頻與附加用戶相關(guān)聯(lián)。響應(yīng)于確定所采集的音頻與附加用戶相關(guān)聯(lián)，音頻控制器在由頭戴式設(shè)備顯示的虛擬環(huán)境中識別與附加用戶相對應(yīng)的化身，并基于所采集的音頻來修改與附加用戶相對應(yīng)的化身，從而更新虛擬環(huán)境以反映所采集的音頻。

技術(shù)特征：

1.一種方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，由所述頭戴式設(shè)備確定所采集的所述音頻的一個或多個特征包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，基于所采集的所述音頻的所述一個或多個特征來確定所采集的所述音頻與所述附加用戶相關(guān)聯(lián)包括：

4.根據(jù)權(quán)利要求3所述的方法，其中，所述本地區(qū)域中的所述附加頭戴式設(shè)備的所述位置是根據(jù)所述頭戴式設(shè)備接收自所述附加頭戴式設(shè)備的元數(shù)據(jù)來確定的。

5.根據(jù)權(quán)利要求1所述的方法，其中，由所述頭戴式設(shè)備確定所采集的所述音頻的一個或多個特征包括：

6.根據(jù)權(quán)利要求5所述的方法，其中，基于所采集的所述音頻的所述一個或多個特征來確定所采集的所述音頻與所述附加用戶相關(guān)聯(lián)包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，所述附加用戶的用戶標識符被包括在所述頭戴式設(shè)備接收自所述附加頭戴式設(shè)備的元數(shù)據(jù)中。

8.一種方法，包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，由包括在所述本地區(qū)域中的一個或多個外部采集傳感器采集描述所述本地區(qū)域的信息包括：

10.根據(jù)權(quán)利要求9所述的方法，其中，從描述所述本地區(qū)域的所述信息中提取所述附加用戶的特征包括：

11.根據(jù)權(quán)利要求10所述的方法，其中，基于所提取的所述附加用戶的所述特征和所采集的所述音頻來修改與所述附加用戶相對應(yīng)的所述化身包括：

12.根據(jù)權(quán)利要求8所述的方法，其中，由包括在所述本地區(qū)域中的一個或多個外部采集傳感器采集描述所述本地區(qū)域的信息包括：

13.根據(jù)權(quán)利要求12所述的方法，其中，從描述所述本地區(qū)域的所述信息中提取所述附加用戶的特征包括：

14.根據(jù)權(quán)利要求9所述的方法，其中，所述一個或多個外部采集傳感器選自由以下項組成的組：包括在所述頭戴式設(shè)備上的攝像頭；包括在所述頭戴式設(shè)備上的深度攝像頭組件；包括在所述頭戴式設(shè)備上的超聲波傳感器；包括在所述頭戴式設(shè)備上的紅外傳感器；以及以上中的任意組合。

15.根據(jù)權(quán)利要求9所述的方法，其中，所述一個或多個外部采集傳感器選自由以下項組成的組：所述頭戴式設(shè)備外部的攝像頭；所述頭戴式設(shè)備外部的深度攝像頭組件；所述頭戴式設(shè)備外部的超聲波傳感器；所述頭戴式設(shè)備外部的紅外傳感器；所述頭戴式設(shè)備外部的一個或多個聲學(xué)傳感器；以及以上中的任意組合。

16.一種頭戴式設(shè)備，包括：

17.根據(jù)權(quán)利要求16所述的頭戴式設(shè)備，其中，確定由所述一個或多個聲學(xué)傳感器采集的所述音頻的一個或多個特征包括：

18.根據(jù)權(quán)利要求17所述的頭戴式設(shè)備，其中，基于由所述一個或多個聲學(xué)傳感器采集的所述音頻的所述一個或多個特征來確定所采集的所述音頻與所述附加用戶相關(guān)聯(lián)包括：

19.根據(jù)權(quán)利要求16所述的頭戴式設(shè)備，其中，確定由所述一個或多個聲學(xué)傳感器采集的所述音頻的一個或多個特征包括：

20.根據(jù)權(quán)利要求19所述的頭戴式設(shè)備，其中，基于由所述一個或多個聲學(xué)傳感器采集的所述音頻的所述一個或多個特征來確定所采集的所述音頻與所述附加用戶相關(guān)聯(lián)包括：

21.根據(jù)權(quán)利要求19所述的頭戴式設(shè)備，其中，所述頭戴式設(shè)備通過本地通信信道而與所述附加頭戴式設(shè)備通信，并且通過不同的通信信道而與一個或多個遠程設(shè)備通信，所述本地通信信道具有比所述不同的通信信道更低的時延。

技術(shù)總結(jié)
提供了將化身的視頻與來自對應(yīng)于該化身的用戶的本地采集的音頻進行同步。本地區(qū)域包括多個用戶，每個用戶使用頭戴式設(shè)備與該本地區(qū)域中的其他用戶以及遠程區(qū)域中的附加用戶進行通信。頭戴式設(shè)備包括一個或多個聲學(xué)傳感器、換能器陣列、采集描述本地區(qū)域的信息的一個或多個外部采集傳感器(例如，攝像頭)。本地區(qū)域中的用戶的頭戴式設(shè)備檢測來自本地區(qū)域中的附加用戶的音頻。響應(yīng)于檢測到音頻，由用戶的頭戴式設(shè)備顯示的表示附加用戶的化身被修改為像是與用戶聽到的來自附加用戶的音頻同步。另外，每個頭戴式設(shè)備通過所配備的一個或多個內(nèi)部成像設(shè)備來向提供遠程區(qū)域中的用戶的信息的服務(wù)器提供各自的面部追蹤，并向該服務(wù)器提供所采集的音頻。

技術(shù)研發(fā)人員：安蒂·科羅涅米,普萊曼·亞歷山德羅夫·伊萬諾夫
受保護的技術(shù)使用者：元平臺技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21