本發(fā)明涉及圖像編碼和顯示。

背景技術(shù)：

本文中提供的“背景”描述是為了一般地呈現(xiàn)本發(fā)明的上下文的目的。在該背景部分中描述的程度上的當前所指的發(fā)明人的工作，以及在提交時否則可能不作為現(xiàn)有技術(shù)的描述的方面，都不明確地或隱含地被承認為針對本發(fā)明的現(xiàn)有技術(shù)。

作為背景，將討論示例性頭戴式顯示器(HMD)，但是(如下面進一步所述)本發(fā)明可應用于其他類型的顯示器。

HMD是可以佩戴在頭上或作為頭盔的一部分的圖像或視頻顯示設備。一只眼睛或兩只眼睛都設有小型電子顯示裝置。

一些HMD允許將顯示圖像疊加在真實世界視圖上。該類型的HMD可以被稱為光學透視HMD，并且通常需要將顯示設備定位在除了直接在用戶眼睛的前面的某處。于是需要偏轉(zhuǎn)顯示圖像使得用戶可以看到它的某種方式。這可以通過使用放置在用戶眼睛的前面的部分反射鏡，從而允許用戶透過反射鏡看到，但是也看到顯示設備的輸出的反射。在EP-A-1 731 943和US-A-2010/0157433中公開的另一布置中，使用全內(nèi)反射的波導布置用于從布置到用戶頭部的側(cè)面的顯示設備傳送顯示圖像，使得用戶可以看到顯示圖像，但是仍然通過波導看到真實世界的視圖。再次，在這些類型的布置的任意一個中，創(chuàng)建顯示器的虛擬圖像(使用已知技術(shù))，使得用戶以合適的尺寸和距離看到虛擬圖像以允許放松觀看。例如，即使物理顯示設備可能很小(例如，10mm×10mm)，并且可能離用戶的眼睛僅幾毫米，虛擬圖像可以被布置成在離用戶(例如)20m的距離處由用戶感知(具有5m×5m的感知尺寸)。

然而，其他HMD允許用戶僅看到顯示圖像，這就是說它們掩蓋了用戶周圍的真實世界環(huán)境。該類型的HMD可以與適當?shù)耐哥R關(guān)聯(lián)將實際顯示設備定位在用戶眼睛的前面，所述透鏡將虛擬顯示圖像置于適當距離處以便用戶以放松的方式聚焦，例如以與上述的光學透視HMD類似的虛擬距離和感知尺寸。該類型的設備可以用于觀看電影或類似的記錄內(nèi)容，或用于觀看表示用戶周圍的虛擬空間的所謂的虛擬現(xiàn)實內(nèi)容。然而，當然可以在該類型的HMD上顯示真實世界視圖，例如通過使用前向照相機來生成圖像以便在顯示設備上顯示。

盡管HMD的最初開發(fā)可能由這些設備的軍事和專業(yè)應用驅(qū)動，但是HMD正變得越來越流行以供例如計算機游戲或家用計算應用中的臨時用戶使用。

技術(shù)實現(xiàn)要素：

本發(fā)明由權(quán)利要求1限定。

在附帶的權(quán)利要求中限定本發(fā)明的另外各個方面和特征。

附圖說明

現(xiàn)在將參考附圖描述本發(fā)明的實施例，其中：

圖1示意性地示出由用戶佩戴的HMD；

圖2是HMD的示意性平面圖；

圖3示意性地示出通過HMD形成虛擬圖像；

圖4示意性地示出在HMD中使用的另一類型的顯示器；

圖5示意性地示出一對立體圖像；

圖6示意性地示出HMD的用戶的視圖的變化；

圖7a和7b示意性地示出具有運動感測的HMD；

圖8示意性地示出基于光流檢測的位置傳感器；

圖9示意性地示出響應于HMD位置或運動檢測的圖像的生成；

圖10示意性地示出通過照相機捕獲圖像；

圖11示意性地示出捕獲圖像的重投影；

圖12示意性地示出圖像旋轉(zhuǎn)；

圖13示意性地示出圖像旋轉(zhuǎn)和平移；

圖14示意性地示出HMD圖像顯示的延遲問題；

圖15是示出圖像處理技術(shù)的示意流程圖；

圖16示意性地示出HMD的旋轉(zhuǎn)；

圖17示意性地示出圖像位置減法；

圖18示意性地示出深度圖；

圖19和圖20示意性地示出根據(jù)不同的相應視點的圖像；

圖21示意性地示出用于圖像繪制和重投影以補償HMD運動的技術(shù)；

圖22是與圖21中所示的技術(shù)相關(guān)的示意性流程圖。

圖23示意性地示出用于圖像捕獲和重投影以補償不同的照相機和HMD位置的技術(shù)；

圖24是與圖23中所示的技術(shù)相關(guān)的示意性流程圖。

圖25示意性地示出全景圖像的觀看；

圖26示意性地示出顯示圖像中的照相機視點調(diào)節(jié)；

圖27示意性地示出照相機裝置；

圖28示意性地示出觀察顯示屏的觀看者；

圖29示意性地示出佩戴頭部取向檢測器的用戶；

圖30示意性地示出被動頭部取向檢測技術(shù)；

圖31示意性地示出使用多個屏幕的顯示布置；

圖32示意性地示出顯示圖像的例子；

圖33和34示意性地示出圖像的相應的不同視野(FOV)型式；

圖35示意性地示出高FOV圖像和低FOV圖像的組合；

圖36示意性地示出作為連續(xù)合成圖像的多個FOV圖像的編碼；

圖37示意性地示出將多個FOV圖像編碼為虛擬3D圖像；

圖38是示出生成、編碼、解碼和使用多個FOV圖像所涉及的操作的示意性流程圖；

圖39示意性地示出所謂的幀破裂；

圖40示意性地示出元數(shù)據(jù)編碼技術(shù)；

圖41示意性地表示編碼元數(shù)據(jù)；

圖42和43是示出組合幀破裂周圍的圖像的兩種不同方式的示意性流程圖；

圖44示意性地示出幀破裂處的重投影過程；

圖45示意性地示出圖像生成器的一部分；以及

圖46示意性地示出HMD的一部分。

具體實施方式

本發(fā)明的實施例可以使用可操作以向觀看者顯示圖像的顯示器提供顯示方法和裝置。在一些實施例中，顯示器是頭戴式顯示器，并且通過檢測頭戴式顯示器的位置和/或取向來檢測觀看者頭部的位置和/或取向。頭戴式顯示器可以具有待安裝到觀看者頭部上的框架，框架限定一個或兩個眼睛顯示位置，在使用中所述眼睛顯示位置位于觀看者的相應眼睛的前面，并且相應的顯示元件相對于每個眼睛顯示位置安裝，顯示元件將來自視頻信號源的視頻信號的視頻顯示的虛擬圖像提供給觀看者的那只眼睛。在其他例子中，顯示器不是頭戴式顯示器。在一些實施例中，顯示器(不管是否是頭戴式)可以被稱為沉浸式顯示器，原因是在正常使用中，其至少填充用戶的視野的閾值角范圍(例如，至少40°)。例子包括多個投影儀顯示器、環(huán)繞(彎曲)顯示器等。

現(xiàn)在參考圖1，用戶10正在用戶頭部30上佩戴HMD 20。HMD包括在該例子中由后綁帶和頂綁帶形成的框架40，和顯示部分50。

圖1的HMD完全遮蔽用戶對周圍環(huán)境的觀看。用戶可以看到的全部是在HMD內(nèi)顯示的一對圖像。

HMD具有配合到用戶的左耳和右耳70中的相關(guān)頭戴式耳機60。耳機60重放從外部源提供的音頻信號，所述外部源可以與提供視頻信號以便向用戶的眼睛顯示的視頻信號源相同。

在操作中，提供視頻信號以供HMD顯示。這可以由諸如視頻游戲機或數(shù)據(jù)處理裝置(例如個人計算機)的外部視頻信號源80提供，在該情況下可以通過有線或無線連接將信號傳輸?shù)紿MD。合適的無線連接的例子包括藍牙(R)連接。耳機60的音頻信號可以由相同的連接承載。類似地，從HMD傳遞到視頻(音頻)信號源的任何控制信號可以由相同的連接承載。

因此，圖1的布置提供頭戴式顯示系統(tǒng)的例子，所述系統(tǒng)包括待安裝到觀看者頭部上的框架，框架限定一個或兩個眼睛顯示位置，在使用中，所述眼睛顯示位置位于相應眼睛的前面，以及相對于每個眼睛顯示位置安裝的顯示元件，所述顯示元件將來自視頻信號源的視頻信號的視頻顯示的虛擬圖像提供給觀看者的那只眼睛。

圖1僅示出HMD的一個例子。其他形式是可能的：例如HMD可以使用更類似于與傳統(tǒng)眼鏡相關(guān)聯(lián)的框架，即從顯示部分向后延伸到用戶耳朵的后上部的基本上水平的腿部，其可能在耳朵后面向下卷曲。在其他例子中，用戶對外部環(huán)境的觀看事實上可能不完全被遮蔽；顯示圖像可以被布置成(從用戶的視點)疊加在外部環(huán)境上。下面將參考圖4描述這樣的布置的例子。

在圖1的例子中，為每個用戶的眼睛提供單獨的相應顯示器。如圖2提供如何實現(xiàn)這一點的示意性平面圖，其示出用戶的眼睛的位置100和用戶的鼻子的相對位置110。顯示部分50以示意形式包括用于遮掩用戶眼睛免于環(huán)境光的外部護罩120和防止一只眼睛看到用于另一只眼睛的顯示的內(nèi)部護罩130。用戶面部、外部護罩120和內(nèi)部護罩130的組合形成兩個隔室140，每只眼睛一個。在每個隔室中設有顯示元件150和一個或多個光學元件160。將參考圖3描述顯示元件和光學元件協(xié)作以向用戶提供顯示的方式。

參考圖3，顯示元件150生成顯示圖像，所述顯示圖像(在該例子中)由光學元件160(示意性地顯示為凸透鏡，但是其可以包括復合透鏡或其他元件)折射從而生成虛擬圖像170，對于用戶來說所述虛擬圖像看起來比由顯示元件150生成的真實圖像大并且明顯更遠。作為例子，虛擬圖像可以具有大于1m的表觀圖像尺寸(圖像對角線)，并且可以是布置在離用戶的眼睛(或離HMD的框架)大于1m的距離處。一般來說，取決于HMD的目的，期望將虛擬圖像布置在離用戶相當遠的距離處。例如，如果HMD用于觀看電影等，則期望在這樣的觀看期間用戶的眼睛放松，這需要至少幾米的距離(到虛擬圖像)。在圖3中，實線(例如線180)用于表示真實光線，而虛線(例如線190)用于表示虛擬光線。

在圖4中顯示一種替代布置。在期望用戶對外部環(huán)境的觀看不完全被遮蔽的情況下可以使用該布置。然而，它也可應用于其中用戶對外部的觀看完全被遮蔽的HMD。在圖4的布置中，顯示元件150和光學元件200協(xié)作以提供投影到反射鏡210上的圖像，所述反射鏡將圖像朝著用戶的眼睛位置220偏轉(zhuǎn)。用戶感知到虛擬圖像位于位置230，所述位置位于用戶的前面并且在離用戶合適的距離處。

在HMD的情況下，其中用戶對外部環(huán)境的觀看完全被遮蔽，反射鏡210可以是基本上100％的反射鏡。圖4的布置于是具有的優(yōu)點是，顯示元件和光學元件可以更靠近用戶頭部的重心和用戶眼睛的側(cè)面定位，這可以產(chǎn)生用于用戶佩戴的不太龐大的HMD。替代地，如果HMD設計成不完全遮蔽用戶對外部環(huán)境的觀看，則反射鏡210可以制造成部分反射，使得用戶通過反射鏡210看到外部環(huán)境，虛擬圖像疊加在真實外部環(huán)境上。

在為每只用戶的眼睛提供單獨的相應顯示器的情況下，能夠顯示立體圖像。在圖5中顯示用于向左眼和右眼顯示的一對立體圖像的例子。圖像表現(xiàn)出相對于彼此的橫向位移，圖像特征的位移取決于捕獲圖像所借助的照相機的(真實或模擬)橫向分離，照相機的角會聚以及每個圖像特征離照相機位置的(真實或模擬)距離。

應當注意，圖5中的橫向位移(以及下面將要描述的圖15中的位移)實際上可以相反，也就是說，如圖所示的左眼圖像實際上可以是右眼圖像，并且如圖所示的右眼圖像實際上可以是左眼圖像。這是由于一些立體顯示器傾向于在右眼圖像中將對象向右移動并且在左眼圖像中向左移動，從而模擬用戶通過立體窗口觀看到超出場景的想法。然而，一些HMD使用圖5中所示的布置，原因是這給用戶提供了用戶正在通過一副雙筒望遠鏡觀看場景的印象。這兩種布置之間的選擇由系統(tǒng)設計者決定。

在一些情況下，HMD可以簡單地用于觀看電影等。在該情況下，當用戶例如從一側(cè)到另一側(cè)轉(zhuǎn)動用戶的頭部時，不需要對顯示圖像的表觀視點進行改變。然而，在其他使用中，例如與虛擬現(xiàn)實(VR)或增強現(xiàn)實(AR)系統(tǒng)相關(guān)聯(lián)的那些，用戶的視點需要跟蹤相對于用戶所處的真實或虛擬空間的移動。

通過檢測HMD的運動并改變顯示圖像的表觀視點使得表觀視點跟蹤運動來執(zhí)行該跟蹤。

圖6示意性地示出VR或AR系統(tǒng)中的用戶頭部運動的效果。

參考圖6，虛擬環(huán)境由圍繞用戶的(虛擬)球形殼體250表示。由于需要在二維紙圖上表示該布置，因此殼體由圓的一部分表示，距離用戶相當于顯示虛擬圖像與用戶的分離。用戶初始處于第一位置260并且朝著虛擬環(huán)境的部分270定向。正是該部分270在用戶的HMD的顯示元件150上顯示的圖像中被表示。

考慮用戶然后將他的頭部移動到新的位置和/或取向280的情況。為了保持虛擬現(xiàn)實或增強現(xiàn)實顯示的正確感覺，虛擬環(huán)境的顯示部分也移動，使得在移動的結(jié)束時，由HMD顯示新部分290。

因此，在該布置中，虛擬環(huán)境內(nèi)的視點隨著頭部運動而移動。如果頭部向右側(cè)旋轉(zhuǎn)，例如，如圖6所示，表觀視點也從用戶的視點向右移動。如果從顯示對象(例如顯示對象300)的方面考慮該情況，則這將有效地在與頭部運動相反的方向上移動。因此，如果頭部運動向右，表觀視點向右移動，但是諸如在虛擬環(huán)境中靜止的顯示對象300的對象將朝著顯示圖像的左側(cè)移動，并且最終將從顯示圖像的左手側(cè)消失，原因僅僅是虛擬環(huán)境的顯示部分已向右移動，而顯示對象300在虛擬環(huán)境中未移動。

圖7a和7b示意性地示出具有運動感測的HMD。兩個附圖具有與圖2所示的類似的形式。也就是說，附圖是HMD的示意性平面圖，其中顯示元件150和光學元件160由簡單的框形表示。為了圖的清楚起見，沒有顯示圖2的許多特征。兩個附圖都顯示具有用于檢測觀看者的頭部的運動的運動檢測器的HMD的例子。

在圖7a中，前向照相機320設在HMD的前部。這不一定提供用于向用戶顯示的圖像(盡管它可以在增強現(xiàn)實布置中這樣做)。相反，其在本實施例中的主要目的是允許運動感測。下面將結(jié)合圖8描述使用由照相機320捕獲的圖像進行運動感測的技術(shù)。在這些布置中，運動檢測器包括安裝成與框架一起移動的照相機；以及圖像比較器，可操作以比較由照相機捕獲的連續(xù)圖像從而檢測圖像間運動。

圖7b使用硬件運動檢測器330。這可以安裝在HMD內(nèi)或HMD上的任何地方。合適的硬件運動檢測器的例子是壓電加速度計或光纖陀螺儀。當然應當理解，硬件運動檢測和基于照相機的運動檢測可以用在相同設備中，在該情況下一個感測布置可以在另一個不可用時用作備份，或者一個感測布置(例如，作為照相機)可以提供用于改變顯示圖像的表觀視點的數(shù)據(jù)，而另一個(例如加速度計)可以提供用于圖像穩(wěn)定的數(shù)據(jù)。

圖8示意性地示出使用圖7a的照相機320的運動檢測的一個例子。

照相機320是視頻照相機，以例如每秒25幅圖像的圖像捕獲速率捕獲圖像。當每個圖像被捕獲時，它被傳遞到圖像存儲器400用于存儲，并且也通過圖像比較器410與從圖像存儲器檢索的在前圖像進行比較。該比較使用已知的塊匹配技術(shù)(所謂的“光流”檢測)來確定從前一圖像被捕獲的時間起是否基本上整個圖像已移動。局部運動可以指示照相機320的視野內(nèi)的移動對象，但是基本上整個圖像的全局運動將傾向于指示照相機而不是所捕獲的場景中的單獨的特征的運動，并且在當前情況下，由于照相機安裝在HMD上，因此照相機的運動對應于HMD的運動并且繼而對應于用戶頭部的運動。

由圖像比較器410檢測到的一個圖像與下一個圖像之間的位移由運動檢測器420轉(zhuǎn)換為指示運動的信號。如果需要，運動信號由積分器430轉(zhuǎn)換為位置信號。

如上所述，作為通過檢測由與HMD相關(guān)聯(lián)的攝像機捕獲的圖像之間的圖像間運動來檢測運動的替代或補充，HMD可以使用機械或固態(tài)檢測器330(例如加速度計)檢測頭部運動?？紤]到基于視頻的系統(tǒng)的響應時間最多是圖像捕獲速率的倒數(shù)，這實際上可以給出關(guān)于運動指示的更快的響應。因此，在一些情況下，檢測器330可以更好地可應用于更高頻率的運動檢測。然而，在其他情況下，例如如果使用高圖像速率照相機(例如200Hz捕獲速率照相機)，則基于照相機的系統(tǒng)可能更合適。根據(jù)圖8，檢測器330可以代替照相機320、圖像存儲器400和比較器410，從而直接向運動檢測器420提供輸入?；蛘邫z測器330也可以代替運動檢測器420，直接提供指示物理運動的輸出信號。

其他位置或運動檢測技術(shù)當然是可能的。例如，可以使用機械布置，通過所述機械布置，HMD通過可移動縮放臂連接到固定點(例如，在數(shù)據(jù)處理設備上或在一件家具上)，位置和取向傳感器檢測縮放臂的偏轉(zhuǎn)。在其他實施例中，安裝在HMD上和固定點上的一個或多個發(fā)射器和接收器的系統(tǒng)可以用于允許通過三角測量技術(shù)檢測HMD的位置和取向。例如，HMD可以攜帶一個或多個定向發(fā)射器，并且與已知或固定點相關(guān)聯(lián)的接收器的陣列可以檢測來自一個或多個發(fā)射器的相對信號?；蛘甙l(fā)射器可以是固定的，并且接收器可以在HMD上。發(fā)射器和接收器的例子包括紅外換能器、超聲換能器和射頻換能器。射頻換能器可以具有雙重目的，原因是它們也可以形成去往和/或來自HMD的射頻數(shù)據(jù)鏈路(例如鏈路)的一部分。

圖9示意性地示出響應于檢測到的HMD的位置或位置變化而執(zhí)行的圖像處理。

如上面結(jié)合圖6所提到的，在諸如虛擬現(xiàn)實和增強現(xiàn)實布置的一些應用中，顯示給HMD的用戶的視頻的表觀視點響應于用戶頭部的實際位置或取向的變化而變化。

參考圖9，這通過向所需圖像位置檢測器460提供指示運動和/或當前位置的數(shù)據(jù)的運動傳感器450(例如圖8的布置和/或圖7b的運動檢測器330)來實現(xiàn)，其將HMD的實際位置轉(zhuǎn)換成限定用于顯示的所需圖像的數(shù)據(jù)。如果需要，圖像生成器480訪問存儲在圖像存儲器470中的圖像數(shù)據(jù)，并且從適當?shù)囊朁c生成所需的圖像以供HMD顯示。外部視頻信號源可以提供圖像生成器480的功能并且用作控制器，以便通過改變所顯示圖像的視點來補償觀看者頭部的運動的較低頻率分量，從而在與檢測運動的方向相反的方向上移動顯示圖像，以便在檢測運動的方向上改變觀看者的表觀視點。

圖像生成器480可以在元數(shù)據(jù)的基礎上作用從而以下面將描述的方式執(zhí)行包括重投影的各種功能。

為了示意性地示出與本技術(shù)相關(guān)聯(lián)的一些一般概念，圖10示意性地示出通過照相機捕獲圖像，并且圖11示意性地示出捕獲圖像的重投影。

參考圖10，照相機500捕獲真實世界場景的一部分510的圖像。照相機500的視野示意性地顯示為大致三角形形狀520，使得照相機處于大致三角形形狀的一個頂點，與照相機相鄰的側(cè)示意性地指示視野的左極限和右極限并且與照相機相對的側(cè)示意性地示出被捕獲的場景的部分。該示意性標記將用于以下幾個附圖中。

為了討論圖像重投影的一般概念，假設在圖10的布置中，不僅捕獲圖像，而且捕獲限定照相機的“視圖矩陣”的信息。這里，視圖矩陣可以指相對于假想的固定點和取向的照相機在空間中的位置和/或取向，或者表示為相對于在先前時間(例如，其可以是與先前捕獲的圖像相關(guān)聯(lián)的時間)可應用的位置和/或取向的變化。因此，在一個表達式中，視圖矩陣可以視為照相機的x、y和z空間位置及其表示為偏航、俯仰和側(cè)滾(指示三個正交旋轉(zhuǎn)自由度的一般術(shù)語)的旋轉(zhuǎn)取向及其觀看平截頭體(指示照相機的視野的一般術(shù)語，其在廣角視野和窄角或遠攝視野之間變化，并且可以表示為對應于例如圖10中所示的角530的角范圍)。視圖矩陣數(shù)據(jù)不需要包括所有這些數(shù)據(jù)貢獻。例如，在一些布置中，僅橫向旋轉(zhuǎn)定向(偏航)可能是相關(guān)的。因此，考慮到捕獲圖像和視圖矩陣數(shù)據(jù)的預期使用，選擇哪些數(shù)據(jù)項包括在視圖矩陣數(shù)據(jù)內(nèi)是系統(tǒng)設計者的問題。

在本發(fā)明的實施例中，視圖矩陣數(shù)據(jù)與捕獲圖像相關(guān)聯(lián)地存儲，例如作為所謂的元數(shù)據(jù)，其通過例如在下文中參考圖27描述的照相機裝置存儲和/或作為整體圖像數(shù)據(jù)包的一部分被傳輸，所述照相機裝置包括用于捕獲圖像的圖像捕獲裝置；用于在捕獲圖像時檢測照相機裝置的位置和/或取向的位置和/或取向檢測器；以及用于將元數(shù)據(jù)與圖像相關(guān)聯(lián)的元數(shù)據(jù)生成器，所述元數(shù)據(jù)指示在捕獲圖像時檢測到的照相機裝置的位置和/或取向。

應當注意，照相機500可以是捕獲通過時間間隔分離的連續(xù)圖像的靜止照相機或攝像機。

圖11示意性地示出根據(jù)觀看者的視點由圖10的照相機捕獲的圖像的重投影。視點540由眼睛符號和類似于上述三角形形狀520的大致三角形形狀550示意性地示出。為了顯示由照相機500捕獲的圖像使得其適于根據(jù)圖11中所示的視點觀看，執(zhí)行將視點的視圖矩陣(如上所述)與照相機500的視圖矩陣相關(guān)聯(lián)的處理。將參考圖12和圖13描述這樣的技術(shù)的例子。

圖12示意性地示出從第一視圖矩陣560到第二視圖矩陣570的圖像旋轉(zhuǎn)。該類型的重投影涉及簡單地旋轉(zhuǎn)和縮放圖像，從而校正照相機的視圖矩陣和用戶視點的視圖矩陣之間的視野和取向的任何差異。下面將參考圖16和17討論該類型的重投影的例子。

圖13示意性地示出從第一視圖矩陣580到第二視圖矩陣590的圖像旋轉(zhuǎn)和平移。這里，稍微更多地涉及處理，并且也可以使用指示捕獲圖像中的不同圖像特征的圖像深度的深度圖，從而允許相對于照相機的視點來平移用戶視點。下面將參考圖18-20討論深度圖的使用的例子。

應當注意，圖像不必是照相機捕獲的圖像。這些技術(shù)全部等同地可應用于機器生成的圖像，例如由計算機游戲機生成以便作為玩電腦游戲的過程的一部分顯示給用戶的圖像。

圖14示意性地示出具有HMD圖像顯示的延遲問題。如上所述，可以使用HMD的位置和/或取向，例如如參考圖9所討論的，使得根據(jù)檢測到的HMD的位置和/或取向來繪制用于顯示的圖像。在觀看較寬的捕獲圖像的一部分或者生成作為玩計算機游戲的一部分的所需圖像的情況下，參考圖9討論的布置包括檢測HMD的當前位置和/或取向，并且繪制適當?shù)膱D像以便顯示。

然而，該過程中涉及的延遲可能導致生成不正確的圖像。

參考圖14，考慮在約為在HMD中使用的圖像顯示的圖像重復時段(例如，1/25秒)的時間間隔的過程中用戶的視點正從第一視點600旋轉(zhuǎn)到第二視點610(在如圖14示意性示出的順時針方向上)的情況。應當注意，圖14中的兩個表示并排顯示，但是這是為了附圖的目的，而不是必然指示用戶視點的平移(盡管在兩個視點之間可能涉及一些平移)。

為了允許繪制下一輸出圖像的時間，當HMD在視點600處時檢測HMD的位置和/或取向。然后繪制用于顯示的下一圖像，但是到實際顯示圖像時，視點已旋轉(zhuǎn)到視點610。結(jié)果是在顯示圖像時，對于用戶的視點610顯示的圖像不正確。這可以為用戶提供主觀上較差的體驗，并且可能導致用戶的迷向或甚至惡心。

現(xiàn)在將討論解決該問題的技術(shù)。

圖15是示出圖像處理技術(shù)的示意性流程圖。首先將在高級別討論該技術(shù)，然后將在下面給出更多細節(jié)。

圖15中所示的技術(shù)的特征涉及根據(jù)照相機的視圖矩陣(在捕獲圖像的情況下)或HMD的視圖矩陣(在由例如計算機游戲繪制的圖像的情況下)來捕獲或繪制圖像(在步驟620)。

在后一例子中，將根據(jù)對應于圖14中的視點600的視圖矩陣來繪制圖像。換句話說，該技術(shù)涉及檢測觀看者頭部的初始位置和/或取向，并且根據(jù)檢測到的位置和/或取向生成用于顯示的圖像。然后將圖像與限定該視圖矩陣(也就是說，根據(jù)其捕獲或首先繪制圖像的視圖矩陣)的元數(shù)據(jù)一起傳輸或傳遞到HMD。在顯示時，再次檢測HMD視圖矩陣(換句話說，在將顯示圖像時檢測觀看者頭部的當前位置和/或取向)，并且在步驟630，基于指示原始視圖矩陣和在顯示時從HMD檢測到的視圖矩陣(在圖14的術(shù)語中，這將是對應于視點610的視圖矩陣，使得技術(shù)涉及將元數(shù)據(jù)與生成的圖像相關(guān)聯(lián)，元數(shù)據(jù)指示觀看者頭部的初始位置和/或取向)的元數(shù)據(jù)重投影圖像。因此，該技術(shù)涉及根據(jù)觀看者頭部的初始位置和/或取向與當前位置和/或取向之間的任何差異來重投影生成的圖像，并使用顯示器顯示重投影圖像。

在捕獲圖像的情況下，照相機的視圖矩陣通常不在顯示布置的控制之內(nèi)，并且因此該技術(shù)提供補償兩個視圖矩陣之間的差異的方式。然而，在圖像繪制的情況下，問題略有不同。然而，顯著特征是處理重投影操作所花費的時間可以遠小于完全繪制操作生成輸出圖像所花費的時間。這又意味著，如參考圖14所討論的，繪制操作必須相對于顯示時間更早地開始，這可以導致關(guān)于用于繪制操作的合適視點的檢測的延遲問題。相比之下，使用參考圖15描述的技術(shù)，相對于在開始繪制操作時正確的視點(例如視點600)進行繪制操作，但是然后在顯示時調(diào)節(jié)視點(到視點610)。這避免了需要預先嘗試預測視點610，這也可能導致視點的誤差，但是提供用于在對應于顯示時間的合適視點處向用戶顯示的圖像。因此，該技術(shù)可以涉及接收圖像和關(guān)聯(lián)的元數(shù)據(jù)，在將顯示圖像時檢測觀看者的頭部的當前位置和/或取向，根據(jù)由元數(shù)據(jù)指示的位置和/或取向和觀看者頭部的當前位置和/或取向之間的任何差異重新投射接收的圖像，并且顯示重投影圖像。

該技術(shù)的工作例子將在下面進行討論。

圖16示意性地示出HMD視點650在順時針方向上的旋轉(zhuǎn)。

圖16類似于上面討論的圖6，原因是用于顯示的圖像被認為位于半徑r的球體的表面上，其中r基本上等于從用戶的眼睛到由HMD顯示系統(tǒng)生成的虛擬圖像的距離。在該布置下，視點650旋轉(zhuǎn)角度θ可以被認為是在半徑r的球體的表面上橫向移動橫向距離d。在圖17中示意性地示出這樣的位移d。如果假設在步驟620生成的圖像由圖16中的圖像660表示，并且在該步驟630生成的圖像由圖16中的圖像670表示，從用戶的視點可以看出兩個圖像可以并排地表示。(應當注意在圖17中，顯示小豎直位移以允許在附圖中將不同的圖像彼此區(qū)分開)。

在簡單的例子中，為了生成(在步驟630)用于向用戶顯示的適當圖像670，執(zhí)行“減法”操作，其是示意性術(shù)語以示出檢測圖像670的所需顯示位置和圖像660的實際位置之間的重疊的操作，從而在圖像670內(nèi)顯示圖像660的重疊部分680(圖17中的陰影部分)。換句話說，重投影包括檢測生成圖像和所需的重投影圖像之間的重疊部分生成重疊部分，并且將重疊部分再現(xiàn)為重投影圖像的一部分。

在本發(fā)明的實施例中，可以使用來自例如為了該目的捕獲或準備并由顯示布置存儲的全景圖像的圖像數(shù)據(jù)來掩蔽或填充圖像670中的丟失區(qū)域(未示出為陰影的那些部分)。因此，該技術(shù)的實施例因此可以包括用來自另一圖像源的圖像材料填充重投影圖像的除了重疊部分之外的部分。

為了通過考慮視點的平移重投影圖像，本發(fā)明的實施例可以使用與圖像相關(guān)聯(lián)的深度信息。圖18示意性地示出深度圖，所述深度圖可以例如從由3-D(雙目)照相機或所謂的Z照相機捕獲的圖像數(shù)據(jù)導出，或者可以作為計算機游戲機的繪制引擎的操作的一部分生成。

在圖18的示意性例子中，在從任意深度位置700測量的相應圖像深度z_A、z_B和z_C處顯示標記為對象A、B和C的三個圖像對象。顯示兩個潛在視點，分別標記為視點v₁和視點v₂。

圖19和圖20分別示意性地示出根據(jù)視點v₁和視點v₂的圖像的部分。在繪制階段，在生成圖像時考慮每個圖像對象的深度。然而，該技術(shù)也可以在諸如由上述步驟630限定的重投影階段使用，使得圖像對象可以根據(jù)它們相應的圖像深度在重投影圖像中相對于彼此移動。因此，該技術(shù)可以涉及提供指示一個或多個圖像特征的圖像深度的深度數(shù)據(jù)，并且重投影可以包括根據(jù)深度數(shù)據(jù)重定位重投影圖像內(nèi)的一個或多個圖像特征。

圖21示意性地示出用于圖像繪制和重投影以補償HMD運動的技術(shù)。以與圖14類似的方式，用戶視點從作為圖15的步驟620的一部分檢測的視點710移動或旋轉(zhuǎn)到作為圖15的步驟630的一部分檢測到的視點720，并且據(jù)此重投影用于顯示的圖像。以該方式，將根據(jù)正確視點720的圖像顯示給用戶。

更詳細地，圖22是與圖21中所示的技術(shù)相關(guān)的示意性流程圖。在圖22中，顯示處理步驟800、810、820、830、840和850。在這些中，步驟800、810和820大體上對應于圖15的步驟620。其余步驟830、840和850大體上對應于圖15的步驟630。

在步驟800，檢測HMD的當前位置(對應于圖21的位置710)，并且在步驟810存儲(例如在形成HMD或計算機游戲機的一部分的臨時工作存儲器中)。在步驟820，根據(jù)視點710繪制用于顯示的圖像。

在將要顯示繪制圖像時，或者在將要顯示圖像的時刻之前的時間間隔t，其中t是重投影操作所需的時間長度，在步驟830再次檢測HMD位置，在該例子中，其將檢測位置720。如上所述在步驟840重投影用于顯示的圖像，并且在步驟850顯示給用戶。

現(xiàn)在將討論與捕獲圖像相關(guān)的類似例子。圖23示意性地示出用于圖像捕獲和重投影以補償不同的照相機和HMD位置的技術(shù)。在圖23中照相機視點730不同于HMD視點740。

圖24是與圖23中所示的技術(shù)相關(guān)的示意流程圖。

在圖24中，示出處理步驟900、910、920、930、940和950。在這些中，步驟900和910大體上對應于圖15的步驟620。其余步驟920、930、940和950大體上對應于圖15的步驟630。

在步驟900，檢測照相機的當前位置(對應于圖23的位置730)，并且在步驟910，作為元數(shù)據(jù)與捕獲圖像一起傳輸。

在將要顯示圖像時，或者在將要顯示圖像的時刻之前的時間間隔t，其中t是重投影操作所需的時間長度，在步驟920檢測HMD位置，在該例子中，其將檢測位置740。如上所述在步驟930重投影用于顯示的圖像，并且繪制(在步驟940)以在步驟950顯示給用戶。

圖25示意性地示出通過組合或拼接由相應照相機或照相機位置1000、1010、1020捕獲的圖像形成的全景圖像1030的觀看。應當注意，不必涉及真實照相機；可以通過將具有不同的相應視點的多個計算機生成的圖像拼接在一起來形成全景圖像。以與上述步驟910類似的方式，用于捕獲全景圖像的照相機、照相機位置或虛擬照相機的每一個的視點與全景圖像或?qū)谠撘朁c作為圖像元數(shù)據(jù)的相應圖像部分相關(guān)聯(lián)。在顯示時，根據(jù)用戶視點1040，通過根據(jù)上述的技術(shù)重投影相應圖像部分或整個全景圖像來生成用于顯示的圖像1050。

圖26示意性地示出顯示圖像中的照相機視點調(diào)節(jié)，其可以允許圖像以它們相對于觀看者的原始大小和位置被再現(xiàn)。圖26的左側(cè)示意性地示出用戶使用手持式照相機捕獲(在該例子中)高層建筑物的圖像。如上所述，照相機視點被記錄并且與作為元數(shù)據(jù)的捕獲圖像相關(guān)聯(lián)。在圖26的右側(cè)，用戶正在通過HMD觀看捕獲圖像。使用上述技術(shù)根據(jù)用戶的視點重投影捕獲圖像。

上述的數(shù)據(jù)處理操作可以在視頻信號源80(例如，計算機游戲機)和/或HMD處執(zhí)行(根據(jù)圖22的所有步驟和圖24的步驟920..950)。在HMD處的處理和在源80處的處理之間的劃分是系統(tǒng)設計者的問題；可能期望減小HMD的尺寸、重量和功率消耗以便用戶舒適，這將使得將盡可能多的處理移動到源80是合適的。替代地，為了減少需要在HMD和源80之間傳輸?shù)臄?shù)據(jù)量，一些處理可以完全在HMD處發(fā)生。在任一情況下，例如，可以通過在軟件控制下操作的適當?shù)目删幊逃布韴?zhí)行處理。圖24的步驟900、910可以由照相機或(以與上面的討論類似的方式)由與照相機關(guān)聯(lián)的裝置執(zhí)行。為了舉例目的，圖27示意性地示出具有該功能的照相機1100。在圖27中，照相機1100包括透鏡布置1110，布置成通過透鏡布置1110接收光并將光轉(zhuǎn)換成圖像信號的圖像傳感器1120，位置、取向和/或運動檢測器1130，其可以是上面結(jié)合檢測HMD的位置、取向和/或運動討論的類型，以及處理器1140，其可操作以使用來自檢測器1130的數(shù)據(jù)執(zhí)行至少步驟900、910并且輸出具有關(guān)聯(lián)視點元數(shù)據(jù)的圖像信號1150，如上所述。應當注意，如果如先前所述使用光流運動檢測，則可以簡單地從傳感器1120導出用于該處理的圖像數(shù)據(jù)，因此避免需要獨立的檢測器1130。

根據(jù)本發(fā)明的至少一些實施例，通過在視頻信號中加入額外數(shù)據(jù)，諸如頭戴式顯示器(HMD)或多屏幕投影儀的沉浸式視頻顯示器能夠以真實大小和它們的正確取向向觀看者再現(xiàn)圖像。對于交互式應用，可以快速地并且在顯示之前的最晚時間執(zhí)行圖像重投影。這可以減少由繪制延遲導致的不希望的圖像移動。對于任何應用程序，該技術(shù)可以穩(wěn)定照相機運動，減少觀看者嘔吐，并且保持對象的真實世界取向，改善沉浸和真實性。

在本發(fā)明的至少一些實施例中，單個HMD可以用于使用相同的技術(shù)重投影交互式內(nèi)容和廣播TV信號。如果觀看者正在與照相機不同的方向上觀看，則可以看到一些框架邊界，但是可以使用補充的全景靜止圖像來填充間隙而減輕這種情況。

本發(fā)明的實施例也可以解決與由抖動照相機(例如由手持照相機或受到對其運動的外部影響的照相機，例如安裝在機械裝置上或在風流的路徑中的照相機)捕獲的視頻相關(guān)的問題。通過將元數(shù)據(jù)與指示圖像捕獲期間的照相機的運動的圖像(如上所述)相關(guān)聯(lián)，在使用上述技術(shù)的顯示時執(zhí)行重投影。以該方式，圖像的中心區(qū)域可以補償照相機運動，并且對于觀看者來說是穩(wěn)定的，盡管由于補償，圖像的外邊界可能移動。

到此為止描述的實施例主要涉及頭戴式顯示器?，F(xiàn)在將描述另外的布置，其中一個顯示器或多個顯示器不是頭戴式的。

圖28示意性地示出觀察顯示屏1210的觀看者1200。顯示屏1210可以是向前投影屏幕(在該情況下未顯示的一個或多個投影儀可以與用戶位于屏幕1210的同一側(cè))或后投影屏幕(在該情況下未顯示的一個或多個投影儀可以位于屏幕的與用戶相反的另一側(cè))，或形成為一個或多個顯示面板，例如液晶顯示器LCD)面板。技術(shù)人員將理解，用于實現(xiàn)圖像在顯示屏1210上的顯示的特定技術(shù)對于本實施例不是重要的。

上面結(jié)合HMD裝置所討論的許多技術(shù)也可以等效地用于圖28的布置。在HMD系統(tǒng)的在先討論中，通過各種技術(shù)檢測HMD的取向。在圖28的布置中的類似考慮涉及檢測用戶的頭部取向。將領會頭部取向不一定指示用戶正在看的方向，但是通常認為指示觀察方向1220的良好近似。

因此，在一些實施例中，可以關(guān)于較大的顯示器1210和用戶頭部取向的檢測使用如上所述的(結(jié)合HMD系統(tǒng))相同技術(shù)。下面將討論可以檢測頭部取向的各種方式。

圖29示意性地示出佩戴頭部取向檢測器1310的用戶1300。頭部取向檢測器1310示意性地示出為頭帶1320和安裝在頭帶上的取向檢測器1330。實際上，可以使該布置更分立，例如組合成可附連到常規(guī)眼鏡1340或形成帽子或耳機對的一部分的配件。

在功能上，取向檢測器1330根據(jù)圖8中所示的技術(shù)操作，如果先前結(jié)合圖8的描述討論的所有各種替代方案。在這方面，取向檢測器1330包含HMD的大部分功能，但是沒有圖像顯示功能。

取向檢測器1330可以包括處理器以從其正在使用的任何數(shù)據(jù)源(例如，環(huán)境場景的圖像或加速度計數(shù)據(jù))導出取向，使得取向檢測器1330例如通過諸如藍牙鏈路的無線鏈路將指示取向的數(shù)據(jù)傳輸?shù)浇邮掌?350。當然，可以使用有線鏈路。替代地，取向檢測器1330可將諸如環(huán)境的捕獲圖像或來自加速度計的原始數(shù)據(jù)的“原始”采集數(shù)據(jù)傳輸?shù)浇邮掌?350，使得接收器1350(或另一下游處理設備，未顯示)從由取向檢測器1330接收的原始數(shù)據(jù)導出取向信息。

圖30示意性地示出被動頭部取向檢測技術(shù)。該布置不一定要求用戶1400佩戴或攜帶任何特定的設備或物品。攝像機1410捕獲用戶1400的圖像并且將圖像傳遞到處理器1420。處理器1420可以以各種方式操作。在一個例子中，處理器1420可以應用已知的面部檢測技術(shù)來檢測新面部相對于照相機1410的取向。例如，這樣的技術(shù)可以包括將包含用戶面部(標準化為標準尺度)的圖像部分與各種特征圖像比較，每個特征圖像指示相對于照相機在不同取向的面部的特征。特征圖像中的最接近匹配可以被獲取以指示用戶的面部的當前取向。處理器1420可以用限定照相機1410和使用中的顯示屏的相對取向的信息來校準，從而能夠提供指示用戶的面部相對于顯示屏的當前取向的輸出。

在另一例子中，用戶可以佩戴一個或多個無源標記，例如反射或反光標記(在圖30中未顯示)，以幫助處理器1420檢測用戶的面部相對于照相機的取向。例如，如果用戶眼鏡的側(cè)臂1430帶有不同的(也就是說，可由照相機1410區(qū)分)反射標記，則可以處理相應標記的捕獲圖像中的相對尺寸以提供用戶面部的取向的指示?？蛇x地，照相機1410可以包括布置成消除標記的照明源?？蛇x地，照明對于用戶可以是不可見的或基本上不可見的，例如紅外照明。

圖31示意性地示出使用多個投影儀的顯示布置。

在圖31中，作為例子提供了四個投影儀，即投影儀1500A、1500B、1500C和1500D。投影儀具有相應的視野，所述視野一起包含整個顯示屏1510。相應的視野由相應的虛線1520A-D示意性地表示，為了圖示的目的，所述虛線在投影儀屏幕后面顯示。事實上，當然，要考慮的重要區(qū)域是在投影儀屏幕1510的平面處的投影的范圍。

四個投影儀由顯示控制器1530驅(qū)動，所述顯示控制器向每個投影儀1500A-D提供相應的顯示信號?，F(xiàn)在將討論信號的形成。

參考觀察顯示屏1510的觀看者(未在圖31中顯示)，頭部取向檢測器1540布置成參考顯示屏1510來檢測觀看者的頭部的取向。上面討論的各種技術(shù)適合于該檢測。同樣如上所述，這提供觀看者正在看的方向的指示。圖31中所示的系統(tǒng)的目的是在整個顯示屏1510上顯示由圖像信號1550提供的較低分辨率的背景場景，但是由圖像信號1560提供的較高分辨率的插入圖像被疊加從而替換較低分辨率背景場景的一部分。(如果未檢測到觀看者的頭部取向，則可以假定固定的頭部位置-在模擬器環(huán)境中并不罕見)

在圖32中示意性地示出例子，其可以形成與沿著由樹(在圖32中非常示意性地顯示)包圍的道路行駛相關(guān)的視頻或視頻游戲的一部分。這里，以比以較高分辨率生成和顯示的插入圖像1600低的分辨率生成和顯示背景場景。插入圖像1600涉及用戶將專注的整個場景的部分，即(在該例子中)道路正前方和任何迎面駛來的車輛。剩余的背景圖像(在插入圖像的插入之后)與對于用戶的注意力不太重要的整個場景的其他部分相關(guān)。為什么使用圖像分辨率的該差異的一個原因是由于在以高分辨率生成覆蓋整個顯示器的整個場景中的高處理開銷。相反，背景可以以較低的分辨率生成(并且可以布置成比插入圖像更不頻繁地改變)，從而節(jié)省處理開銷。

應當注意，指示插入圖像1600的范圍的虛線僅僅是為了附圖的清楚，并且不會出現(xiàn)在實際顯示的圖像中。

返回到圖31，由信號1560表示的插入圖像由重投影邏輯1570在適當?shù)膱D像顯示位置處根據(jù)檢測到的觀看者的頭部取向重投影。重投影插入信號被提供給顯示控制器，所述顯示控制器將其在適當?shù)娘@示位置處與由信號1550表示的較低分辨率背景場景組合。

與圖31的布置類似的布置可以涉及體育賽事等的電視覆蓋。背景顯示可以是例如整個體育場的圖像(盡管不一定所有的運動場都可以一次顯示給用戶)。將要重投影到主顯示器中的插入圖像是來自跟隨體育動作(例如，隊員的運動)的照相機的鏡頭。使用上述元數(shù)據(jù)和技術(shù)將插入圖像重投影到背景圖像中的適當位置。這向觀看者提供在整個體育場的背景中在何處發(fā)生動作的指示。

當重投影圖像作為以上過程的一部分移動時本發(fā)明的實施例可以使用重投影圖像的未變化部分(或某種顏色或紋理的部分，可能表示草的視圖)填充背景圖像。在一些例子中，可以通過在重投影圖像移動時從重投影圖像復制用表示體育場的較高分辨率的圖像材料填充低分辨率背景圖像。如果多個照相機視圖可用(一些廣播公司對體育賽事等的覆蓋就是這種情況)，則(a)用戶可以選擇重投影一個或多個這樣的視圖，以及(b)這將允許通過從一個以上這樣的視圖獲取材料更快地填充背景圖像。

在其他例子中，如果深度圖或其他深度數(shù)據(jù)帶有背景和插入圖像，則用戶可以在三維中在整個場景到處移動，其中響應于用戶的虛擬位置來調(diào)節(jié)重投影。

另一例子涉及視頻游戲，使得整個背景圖像可以表示虛擬世界的一些或全部。與玩家的特定游戲動作相關(guān)的場景作為插入圖像被重投影到虛擬世界內(nèi)的正確位置。

圖33和34示意性地示出圖像的各個不同的視野(FOV)型式。

現(xiàn)在將要描述的涉及圖像的多個FOV型式的系統(tǒng)背后的基本原理是許多圖像(特別是在視頻游戲的背景中)具有主要感興趣的點或區(qū)域。為了獲得對用戶主觀上有吸引力的圖像，但是沒有以非常高的分辨率傳輸整個圖像的過高帶寬要求，下面將描述的技術(shù)涉及提供圖像的兩種型式。

諸如圖33中所示的第一型式提供整個圖像的特定分辨率(例如，可能720或更多視頻行的高分辨率)表示。該表示被稱為大或高FOV圖像，原因是圖像的FOV包含(例如)整個原始繪制的圖像。

諸如圖34中所示的另一型式具有較低或較小的FOV，因此不包括所有原始繪制的圖像。相反，表示感興趣的區(qū)域。在圖34的例子中，感興趣區(qū)域涉及直升機的機艙和機身，但是一般來說，在視頻游戲情況下，感興趣區(qū)域通常與在視頻游戲中的玩家角色周圍的區(qū)域相關(guān)，或者在“第一人稱視點”視頻游戲的情況下，與在最重要或當前最危險的敵人周圍(例如)預定邊緣距離的區(qū)域相關(guān)。其他系統(tǒng)(除了視頻游戲之外)也可以具有以自動化方式可識別的感興趣區(qū)域。例如，視頻廣告可以具有限定感興趣產(chǎn)品的圖像位置的關(guān)聯(lián)元數(shù)據(jù)?；蛘?，在HMD的情況下，眼睛跟蹤可以用于檢測用戶當前正在觀看圖像的哪個部分，使得圖像的識別部分(無論其包含什么圖像材料或內(nèi)容)被視為感興趣區(qū)域。默認可以是感興趣區(qū)域是較高FOV圖像的居中定位的區(qū)域。應當注意在至少一些實施例中，已經(jīng)將HMD位置和/或取向(作為參考圖22和24討論的兩階段重投影過程的一部分)用作影響每個圖像的生成的元數(shù)據(jù)，因此傳輸和使用眼睛位置元數(shù)據(jù)來影響將繪制圖像編碼為高和低FOV部分不是過度的處理負擔。

可以以與圖33的圖像相同的基本分辨率提供圖34的圖像，例如720或更多視頻行的高分辨率。但是由于圖34的圖像的FOV小于圖33的圖像的FOV，因此在圖34的圖像中表示的每個特定圖像特征有效地以比圖33的圖像中的該特征的相應表示更高的分辨率被表示。

兩個圖像(圖33和圖34)提供表示相同底層場景或繪制圖像的圖像對，但是以兩種不同的方式。這是兩個或更多個這樣的圖像的例子。

圖35示意性地示出高FOV圖像和低FOV圖像的組合。這里，縮放圖34的圖像或圖33的圖像(或兩者)從而均衡圖33和圖34的圖像的比例。例如，如果低FOV圖像(圖34)在高FOV圖像(圖33)的范圍的每個線性方向上包括50％，則示例性縮放操作應用于圖34的圖像，在每個線性方向上的因數(shù)為50％。在所示的特定例子中，目的是縮放圖像之一或兩者，使得直升機在兩個圖像中具有相同尺寸。這然后允許來自低FOV圖像的圖像內(nèi)容插入高FOV圖像的較寬FOV、但是較低分辨率視圖中。

在圖35中示意性地示出圖像內(nèi)容的該插入，其中虛線1700指示圖34的低FOV圖像的原始邊界。在基本水平，可以從低FOV圖像提供邊界1700內(nèi)部的圖像內(nèi)容并且可以從高FOV圖像提供邊界1700外部的圖像內(nèi)容。

但是在更復雜的布置中，為了避免邊界1700處的圖像質(zhì)量的突然轉(zhuǎn)變，在邊界1700和位于邊界1700內(nèi)部的邊界輪廓1710之間限定邊界區(qū)域。在邊界區(qū)域中，兩個圖像以在輪廓1710和邊界1700之間變化的比例混合，使得在輪廓1710處，完全從圖34的低FOV圖像導出圖35的合成圖像，在邊界1700處，合成圖像完全從圖33的高FOV圖像導出，并且在輪廓1710和邊界1700之間，兩個圖像的比例隨著輪廓1710和邊界1700之間的距離而變化，例如作為線性變化。這提供從兩個貢獻圖像導出的合成圖像35的部分之間的更平滑過渡。

在另一可能的操作模式中，邊界1700和/或輪廓1710的尖角可以為圓形，其可能通過應用延伸90°并且具有圖34的(縮放)圖像的橫向?qū)挾鹊?％的半徑(例如)的圓角半徑外部形狀實現(xiàn)。在圖35中關(guān)于一個拐角示出這樣的圓角輪廓的例子1720，但是將領會相同的輪廓可以應用于下列之一或兩者：(a)邊界1700的所有四個拐角，以及(b)輪廓1710的所有四個拐角(如果使用的話)。使用圓角或以另外方式平滑的輪廓或邊界可以避免與在銳角處出現(xiàn)的圖像的混合相關(guān)的可見偽影。

將領會可以使用具有不同的相應FOV的兩個以上的圖像，使得然后以與參考圖35描述的類似的方式組合圖像以形成合成圖像。如果使用兩個以上的不同F(xiàn)OV，圖像的集合可以(例如)包括：

(a)以相同位置為中心的一系列不同F(xiàn)OV圖像，也就是說，感興趣的相同點或區(qū)域；和/或

(b)覆蓋(例如)整個原始繪制圖像的高FOV圖像，加上與相應的不同感興趣區(qū)域相關(guān)的兩個或更多個較低FOV圖像。

現(xiàn)在將描述用于以這樣的方式對多個FOV圖像進行編碼的技術(shù)，使得它們可以使用諸如HDMI接口和電纜的常規(guī)格式傳輸介質(zhì)從例如游戲控制臺傳遞到用于顯示的HMD。

一個示例性技術(shù)包括將圖像對(高FOV和低FOV)格式化或偽裝為例如用于在諸如HDMI 1.4視頻鏈路的鏈路上傳輸?shù)摹皞巍?-D高清晰度圖像。另一例子技術(shù)包括以比生成圖像的速率更高的幀速率對圖像對進行編碼。

因此，參考圖35描述的技術(shù)提供以下一個或多個例子：關(guān)于由低FOV表示表示的圖像區(qū)域主要使用來自低FOV表示的圖像內(nèi)容，并且對于其他圖像區(qū)域使用來自相應的高FOV表示的圖像內(nèi)容；對于低FOV表示的至少一個中心區(qū)域，用所述低FOV表示的對應圖像內(nèi)容替換高FOV表示的圖像內(nèi)容；以及對于低FOV表示的至少周邊區(qū)域，混合高和低FOV表示的圖像內(nèi)容。也可以使用上面討論的重投影技術(shù)，使得根據(jù)期望的顯示視點，圖像的組合包括重投影以形成相應的顯示圖像。

圖36示意性地示出將多個FOV圖像編碼為連續(xù)合成圖像。

在下面將要描述的圖36和圖37兩者中，假定顯示器(在該例子中，HMD)是立體顯示器，并且因此生成左和右圖像。在例如視頻游戲控制臺的繪制緩沖器中以(例如)30Hz的幀速率和(例如)1440×1620×2的分辨率生成的左圖像和右圖像標記為圖像1800、1810。從這些，編碼器(下面參考圖45描述)生成相應的高FOV和低FOV圖像。

用于左和右分量的每一個的高和低FOV圖像的每一個具有與這四個圖像中的其他圖像的每一個相同的分辨率。它們也具有與原始1440×1620圖像相同的縱橫比(在該例子中)。由編碼器成對組合，使得從原始圖像對1800、1810生成的四個圖像中的兩個編碼為第一高清晰度60Hz幀1820，并且剩余的兩個編碼為下一高清晰度60Hz幀1830。以該方式，可以在根據(jù)其生成原始圖像1800、1810的原始30Hz幀時段中傳輸所有四個生成的圖像(左、右、高FOV、低FOV)。然后可以由HMD以30Hz或其他幀速率處理和顯示圖像。

圖36顯示一個示例性排列，其中四個圖像被分成兩個高清晰度60Hz幀1820、1830。當然將領會可以替代地使用其他可用排列。

在HMD處，左和右圖像的每一個的高FOV和低FOV部分重新組合，并且在本發(fā)明的實施例中重投影以便顯示給用戶的左眼和右眼。在本發(fā)明的實施例中，使用參考上面圖22和圖24討論的技術(shù)進行重投影，也就是說獲取最新的HMD位置，并且基于最新的HMD位置和在圖像初始生成時可應用的位置重投影圖像以便顯示給每只眼睛。由HMD顯示的輸出圖像指示為1840、1850。

圖37示意性地示出將多個FOV圖像編碼為虛擬3D圖像。這里，術(shù)語“虛擬”意指使用可應用于3D圖像的傳輸格式，但是實際上由該傳輸格式編碼的圖像可以或不可以作為立體圖像對可觀看(例如，在3D電視顯示器上)。然而，應當注意，在諸如圖37所示的一些布置中，“虛擬”圖像確實可以在3D顯示器上立體地觀看，但是圖像內(nèi)容對于觀看者可能看起來有點奇怪，原因是顯示器將在低FOV圖像旁邊顯示高FOV圖像。

再次，該過程從左和右生成的圖像1800、1810開始，每一個(在本例子中)大小為1440×1620像素并且以830Hz幀速率生成。從左和右圖像1800、1810的每一個形成低和高FOV圖像。然而，與圖36相比，左圖像對被格式化為單個幀1860，并且右圖像對被格式化為單個幀1870，使得兩個幀1860、1870以例如720p(720行，逐行掃描)的分辨率形成3-D視頻信號的左和右圖像。3-D視頻信號的幀速率可以為例如60Hz。再次，這允許使用諸如HDMI電纜的標準視頻連接將每個圖像對的低和高FOV部分傳輸?shù)紿MD，但是這次使用3-D視頻傳輸標準。

與前面一樣，將低和高FOV部分組合并且在HMD處重投影以形成左和右圖像1840、1850以供HMD顯示。

圖38是示出在豎直虛線1900的左側(cè)(在本實施例中)由游戲控制臺或其他數(shù)據(jù)處理系統(tǒng)執(zhí)行的生成、編碼、解碼和使用多個FOV圖像步驟和在線1900右側(cè)由HMD執(zhí)行的步驟中涉及的操作的示意性流程圖。下面將參考圖45和46討論用于執(zhí)行這些步驟的合適的裝置。

在步驟1910，游戲控制臺生成左圖像和右圖像，例如將它們存儲在如上所述的繪制緩沖器中。

在步驟1920，游戲控制臺關(guān)于生成的左和右圖像的每一個生成高FOV圖像和低FOV圖像。

在步驟1930，四個結(jié)果圖像被編碼，例如作為“虛擬”3-D視頻或作為具有比在步驟1910生成原始左和右圖像的速率更高的幀速率的視頻流中的替代圖像。在任一情況下，例如使用諸如HDMI接口和電纜的標準連接將編碼圖像傳遞到HMD。

在步驟1940，HMD接收并且解碼四個圖像，將它們適當?shù)卮鎯υ诰彌_器中。

最后，在步驟1950，HMD根據(jù)最新的HMD位置(使用圖22和圖24的技術(shù))組合并且重投影左和右圖像。

因此，圖36-38及其附帶的描述提供圖像編碼方法的例子，其包括：對于立體圖像對的左和右圖像的每一個，在輸入圖像中識別感興趣區(qū)域；生成該輸入圖像的至少兩個生成表示，使得表示中的一個是包括基本上所有輸入圖像的高視野(FOV)表示，并且另一個表示是具有比高FOV表示低的FOV并且至少包括感興趣區(qū)域的低FOV表示；其中用于高FOV表示和低FOV表示的像素分辨率和圖像尺寸之間的關(guān)系使得關(guān)于感興趣區(qū)域，低FOV表示提供比高FOV表示更高量的圖像細節(jié)；通過并置左和右、高FOV和低FOV表示的至少部分來生成一個或多個復用圖像，從而在少于四個復用圖像中包括左和右、高FOV和低FOV表示的所有圖像內(nèi)容圖片；以及傳輸和/或存儲(或簡單地“輸出”)復用圖像。

在顯示側(cè)，這些技術(shù)提供圖像顯示方法的例子，其包括：接收通過上面限定的方法傳輸和/或存儲的復用圖像；對復用圖像解復用以生成左和右、高FOV和低FOV表示的集合；以及組合左和右圖像的每一個的低FOV表示和高FOV表示以提供相應的左和右顯示圖像。

下面參考圖44-45描述用于執(zhí)行這些方法(其可以或可以不至少部分地在軟件控制下操作)的合適裝置。編碼方法可以由視頻游戲機執(zhí)行。顯示方法可以由頭戴式顯示器執(zhí)行。

本發(fā)明的實施例也包括圖像信號，所述圖像信號包括連續(xù)復用圖像使得復用圖像包括輸入立體圖像對的左和右、高視野(FOV)和低FOV表示的并置部分，從而在少于四個復用圖像中包括左和右、高FOV和低FOV表示的所有圖像內(nèi)容，其中用于高FOV表示和低FOV表示的像素分辨率和圖像尺寸之間的關(guān)系使得關(guān)于感興趣區(qū)域，低FOV表示提供比高FOV表示更高量的圖像細節(jié)，以及存儲這樣的圖像信號的存儲介質(zhì)。

如上所述，在復用圖像中不同圖像的各種排列是可能的，使得本發(fā)明的實施例包括生成一個或多個復用圖像，包括通過將左和右、高FOV和低FOV表示中的第一個的整體緊挨著左和右、高FOV和低FOV表示中的第二個的整體并置而生成第一復用圖像，以及通過將左和右、高FOV和低FOV表示中的第三個的整體緊挨著左和右、高FOV和低FOV表示中的第四個的整體并置而生成第二復用圖像。

在本發(fā)明的實施例中，復用圖像可以以比輸入圖像的圖像重復率更高的圖像重復率輸出(傳輸、存儲等)，或者可以作為相應的左和右虛擬3D圖像輸出。

圖39示意性地示出所謂的幀破裂。

幀破裂是可以在視頻游戲系統(tǒng)中發(fā)生的現(xiàn)象，其中導致生成和繪制用于顯示的圖像的處理不與圖像顯示時段時間同步。

考慮假設的例子，如果正以例如30Hz的幀速率生成圖像以便顯示，則每1/30秒或33.3(復現(xiàn))毫秒需要一個新圖像。如果生成圖像所需的處理稍微小于該時間，則可以在必須開始下一圖像的處理之前剛好及時完成圖像生成。在這樣的系統(tǒng)中，實際上可以能夠使圖像生成和圖像輸出同步。

然而，考慮如果圖像生成耗時(例如)37ms的情況。如果該過程在生成圖像之后暫停并且在下一圖像時段等待同步，則它們將浪費大量的處理時間，并且將獲得僅15Hz的圖像輸出速率。特別地，系統(tǒng)將在生成每個圖像之后花費近30ms等待。實際上，生成每個圖像所花費的時間可能是可變的，使得等待時間將必須基于最壞情況的可能性，導致潛在地浪費更加多的處理時間。因此，為了避免處理時間的該浪費，在許多系統(tǒng)中，一旦系統(tǒng)已生成一個圖像，其被布置為開始生成下一圖像，在該例子中再次耗時37ms。

該布置將避免浪費處理能力，但是必須記住，圖像需要以每1/30秒的規(guī)則和固定的速率輸出。所以在圖像生成和圖像輸出之間缺乏同步的結(jié)果是，當從繪制緩沖器輸出每個圖像時，在許多情況下它將部分地由一個圖像(部分完成的新生成的圖像)形成，并且部分地由在前圖像(關(guān)于尚未被新生成的圖像重寫的那些部分)形成。該情況在圖39中示意性地示出，其中關(guān)于任意一個生成的圖像1960，部分1970是新生成的圖像(圖像n)，而另一部分1980是先前生成的圖像(圖像n-1)的一部分。

這種類型的布置在視頻游戲系統(tǒng)中相對常見，并且在許多情況下不會造成困難。然而，在使用重投影的系統(tǒng)中，它可能導致問題。

這是由于每個圖像初始生成以對應于在圖像的生成開始時采樣的HMD的視點。(將回想起在顯示圖像時使用重投影來將視點改變?yōu)楫斍癏MD視點)。但是如果圖像由如圖39所示的不同部分形成，則可應用于每個構(gòu)成圖像(圖像n和圖像n-1)的相應視點很可能是不同的。這會導致上述重投影技術(shù)的大問題。

為了解決該問題，在本發(fā)明的實施例中使用特定類型的圖像元數(shù)據(jù)編碼。將參考圖40和41描述該編碼。這與這樣的布置特別相關(guān)，其中與預定的圖像輸出時段同步地周期性地生成連續(xù)輸出圖像，但是相對于生成連續(xù)輸出圖像的步驟異步地執(zhí)行生成圖像內(nèi)容。

圖40示意性地示出元數(shù)據(jù)編碼技術(shù)，其對于會受到所謂的幀破裂的系統(tǒng)是特別有用的。圖41示意性地表示根據(jù)該技術(shù)的編碼的元數(shù)據(jù)。

參考圖40，在步驟2000，對應于待編碼的圖像的上部分的視圖矩陣的視圖矩陣數(shù)據(jù)(限定關(guān)于其生成圖像的視圖矩陣的元數(shù)據(jù))在編碼圖像的頂部被編碼。在圖41的例子中，編碼借助于編碼圖像中的像素的虛線2010，使得代替這些數(shù)據(jù)位置由像素數(shù)據(jù)占據(jù)，它們相反由編碼視圖矩陣元數(shù)據(jù)占據(jù)。在圖39-41的例子中，線2010將攜帶用于圖像n的視圖矩陣元數(shù)據(jù)。

作為步驟2020，并且圖像標識符在圖像側(cè)，例如在虛擬像素列2030中向下編碼。例如，圖像標識符可以形成為滾動七位或八位值(因此在一些編碼技術(shù)這將占據(jù)一個像素列)，其在滾動基礎上表示連續(xù)幀。在一些實施例中，至少對于每行像素存在幀標識符值，使得在圖像破裂情況下，每行像素源自哪個圖像的逐行定義。在本例子中，像素列2030的上部分編碼圖像編號n(或至少在這些例子中是該編號的模2⁷或2⁸計數(shù))，并且像素列2030的下部分編碼圖像編號n-1。

當然，不是每一行都必須在列2030中具有虛擬像素；編碼可以應用于行組(例如，在八位虛擬像素值中，八位值的四個兩位部分的每一個可以指示四個相應行的每一個的圖像編號(模4)?；蛘邔嶋H上由列2030提供的數(shù)據(jù)可以被提供一次，例如作為在圖像的頂部或底部或其他地方的行中的虛擬像素數(shù)據(jù)。

元數(shù)據(jù)編碼處理的最后階段是在圖40中的步驟2040，其中用于圖像的下部分的視圖矩陣數(shù)據(jù)在圖像的底部被編碼。在該例子中，編碼借助于一個或多個虛擬像素行2050并且攜帶用于圖像n-1的視圖矩陣數(shù)據(jù)。

因此，假設在幀破裂情況將導致不超過兩個圖像對特定輸出圖像有貢獻(換句話說，圖39的例子)，本布置提供視圖矩陣數(shù)據(jù)的兩個集合，一個在對應于上部分的視圖矩陣(或者特別地，可應用于真實像素的頂行的視圖矩陣數(shù)據(jù))的圖像的頂部并且一個在對應于下部分的視圖矩陣的圖像的底部(或者特別地，可應用于真實像素的底行的視圖矩陣數(shù)據(jù))。虛擬像素列2030中的圖像標識符用于識別這些視圖矩陣數(shù)據(jù)集中的哪一個可應用于每個像素行。如果涉及三個或更多個圖像，則對于與第三或后續(xù)圖像相關(guān)聯(lián)的視點數(shù)據(jù)可以使用各種位置(例如在圖像底部的另一像素行)。

將領會不必使用虛擬像素編碼這些項?？梢韵喾吹厥褂锚毩⒌年P(guān)聯(lián)數(shù)據(jù)。然而，使用所描述的虛擬像素的優(yōu)點是它們將總是隨圖像攜帶，而關(guān)聯(lián)但獨立的元數(shù)據(jù)可以或可以不由一些傳輸路由從圖像剝離或分離。然而，如果使用虛擬像素數(shù)據(jù)，則認為有利的是將其定位在圖像的極端邊緣(頂部，底部，左邊，右邊)以減少其對圖像的視覺部分的影響并且允許其在顯示之前被去除。

本發(fā)明的實施例可以提供將元數(shù)據(jù)的至少一部分編碼為相應輸出圖像內(nèi)的像素數(shù)據(jù)。例如，指示根據(jù)每個視點生成輸出圖像的哪些部分的元數(shù)據(jù)可以被編碼為該輸出圖像中的像素行的至少一個子集的每一個的一個邊緣處的像素數(shù)據(jù)。例如，指示根據(jù)每個視點生成輸出圖像的哪些部分的元數(shù)據(jù)可以被提供作為該輸出圖像中的每個像素行的一個邊緣處的像素數(shù)據(jù)，從而指示與該像素行相關(guān)的視點。例如，指示與包含在該輸出圖像中的圖像內(nèi)容相關(guān)的每個視點的元數(shù)據(jù)可以被編碼為相應輸出圖像內(nèi)的像素數(shù)據(jù)。例如，指示與該輸出圖像中包含的圖像內(nèi)容相關(guān)的每個視點的元數(shù)據(jù)可以在輸出圖像的頂部和/或底部邊緣處被編碼為相應輸出圖像內(nèi)的像素數(shù)據(jù)的一個或多個行中的像素數(shù)據(jù)。

因此，結(jié)合前面討論的圖像傳輸技術(shù)，圖39-41提供一種用于通過以下方式處理幀破裂的技術(shù)：(a)能夠使用圖像固有的數(shù)據(jù)并且在逐行的基礎上限定哪個原始圖像由每個像素行表示；和(b)能夠限定可應用于圖像的不同部分的視圖矩陣數(shù)據(jù)的多個集合。這些特征然后有利地允許使用重投影，即使已發(fā)生幀破裂。下面將描述用于實現(xiàn)這一點的技術(shù)。

因此，圖39-41(和下面討論的圖42-43)及其伴隨的描述提供圖像編碼方法的例子，其包括：根據(jù)由圖像視點數(shù)據(jù)限定的視點生成圖像內(nèi)容；生成連續(xù)輸出圖像使得每個輸出圖像包括根據(jù)一個或多個視點生成的圖像內(nèi)容；以及編碼與每個輸出圖像相關(guān)聯(lián)的元數(shù)據(jù)，其指示與包含在該輸出圖像中的圖像內(nèi)容相關(guān)的每個視點，并且限定該輸出圖像的哪些部分根據(jù)那些視點的每一個生成；以及提供用于從連續(xù)輸入圖像生成連續(xù)顯示圖像的圖像顯示方法的例子，每個連續(xù)輸入圖像包括根據(jù)一個或多個視點生成的圖像內(nèi)容，每個輸入圖像具有指示與包含在該輸入圖像中的圖像內(nèi)容相關(guān)的每個視點的關(guān)聯(lián)元數(shù)據(jù)，所述方法包括：根據(jù)期望的顯示視點和由與輸入圖像相關(guān)聯(lián)的元數(shù)據(jù)針對該部分限定的視點之間的任何差異，重投影每個輸入圖像的部分以形成相應的顯示圖像。圖44-45提供可能(但不一定)至少部分地在合適的計算機軟件的控制下執(zhí)行這樣的方法的裝置的例子。編碼方法可以由視頻游戲機執(zhí)行。顯示方法可以由頭戴式顯示系統(tǒng)執(zhí)行。

本發(fā)明的實施例也包括使用這些技術(shù)生成的圖像信號，例如包括連續(xù)輸出圖像的圖像信號，使得每個輸出圖像包括根據(jù)一個或多個視點生成的圖像內(nèi)容和與每個輸出圖像相關(guān)聯(lián)的元數(shù)據(jù)，其指示與包含在該輸出圖像中的圖像內(nèi)容相關(guān)的每個視點，并且限定該輸出圖像的哪些部分根據(jù)那些視點的每一個生成，以及存儲介質(zhì)(例如磁盤或存儲器介質(zhì))，通過所述存儲介質(zhì)存儲這樣的信號。

當然，在關(guān)于特定圖像不發(fā)生幀破裂的情況下，行2010、2050中的視圖矩陣數(shù)據(jù)的兩個集合將是相同的。

圖42和43是示出組合幀破裂周圍的圖像的兩種不同方式的示意性流程圖。討論將提到幀破裂圖像的“第一”和“第二”部分。對于哪個部分對應于圖39中所示的部分是任意選擇。為了討論起見，第一部分將被認為表示圖39中的部分1970并且第二部分將被認為表示圖39中的部分1980，但是如果部分是相反的，討論同樣有效。

參考圖42，基于行2010和2050中的視圖矩陣數(shù)據(jù)的兩個集合，在步驟2100將幀破裂圖像的第二部分重投影到第一部分的視點。在步驟2110將重投影的第二部分與第一部分組合。然后，在步驟2120將從步驟2110得到的組合圖像在顯示時重投影到HMD的視點。

在圖43中示意性地示出不同的布置，其中在步驟2130使用其相應的視圖矩陣數(shù)據(jù)將第一部分重投影到當前HMD視點。在步驟2140將第二部分重投影到相同的當前HMD視點。在步驟2150組合兩個重投射部分以便顯示。

作為圖42的步驟2120 110的示例，圖44示意性地示出在幀破裂處的重投影過程。這里，圖像2160在其生成期間經(jīng)歷幀破裂，導致部分A和B。盡管這是關(guān)于哪個部分被重投影到另一部分的任意選擇，但是在該例子中，較舊的幀部分(B)被重投影到較新的幀部分(A)的視點，部分是由于最近獲取的部分A的視點更接近HMD的當前視點的可能性更大。與該示例性圖像結(jié)合，根據(jù)不同的相應視點生成的圖像的部分是上部和下部圖像部分；并且指示可應用于上部圖像部分的視點的元數(shù)據(jù)可以被編碼為輸出圖像的像素的一個或多個最頂行中的像素數(shù)據(jù)，并且指示可應用于下部圖像部分的視點的元數(shù)據(jù)作為像素數(shù)據(jù)可以在輸出圖像的像素的一個或多個最底行中被編碼。

應當注意，作為重投影和/或顯示過程的一部分，任何虛設像素元數(shù)據(jù)被去除或掩蔽(或在處理中的任何階段以另外方式被省略)從而不被顯示。

通過檢測觀看者頭部的當前位置和/或取向；以及根據(jù)檢測到的用戶頭部的當前位置和/或取向?qū)С鲲@示視點，可以獲得用于重投影的視點。

(類似地，如先前所述，通過檢測觀看者頭部的初始位置和/或取向；以及將檢測到的初始位置和/或取向提供給圖像生成器以根據(jù)作為視點的該初始位置和/或取向生成圖像內(nèi)容，可以導出用于圖像生成的視點)。

這些技術(shù)當然對單個圖像或上述類型的低和高FOV圖像等同地操作。

作為執(zhí)行上述各種操作的實現(xiàn)方式的例子，圖45示意性地示出圖像生成器的一部分；并且圖46示意性地示出HMD的一部分。

在圖45中，繪制引擎2200響應游戲參數(shù)2210以生成存儲在繪制緩沖器2220中的合適輸出圖像。輸出編碼器2230生成上述類型的輸出圖像。

在圖46中，解碼器和緩沖器2240接收由輸出編碼器2230提供的編碼圖像，對它們進行解碼并對它們進行緩沖。如果適當，解碼器和緩沖器2240也組合如上所述的低和高FOV圖像。重投影單元2250響應當前HMD視點2260以生成在顯示器(例如，用于每只眼睛的一個顯示器)2270上顯示的輸出圖像。

上述技術(shù)可以以硬件、軟件或兩者的組合實現(xiàn)。在使用軟件控制的數(shù)據(jù)處理裝置來實現(xiàn)實施例的一個或多個特征的情況下，將領會這樣的軟件和存儲或傳輸介質(zhì)(例如提供這樣的軟件所借助的非暫時性機器可讀存儲介質(zhì))也被視為本發(fā)明的實施例。

數(shù)據(jù)信號

將領會由上述裝置的變型生成的數(shù)據(jù)信號以及承載這樣的信號的存儲或傳輸介質(zhì)被認為表示本發(fā)明的實施例。

在上面討論處理、編碼或解碼的方法的情況下，將領會配置成執(zhí)行這樣的方法的裝置也被認為表示本發(fā)明的實施例。也將領會包含這樣的技術(shù)的視頻存儲、傳輸、捕獲和/或顯示裝置被認為表示本發(fā)明的實施例。

在本發(fā)明的實施例被描述為至少部分地由軟件控制的數(shù)據(jù)處理裝置實現(xiàn)的情況下，將領會攜帶這樣的軟件的非暫時性機器可讀介質(zhì)(例如光盤、磁盤、半導體存儲器等)也被認為表示本發(fā)明的實施例。

顯然本發(fā)明的許多修改和變化根據(jù)以上教導是可能的。所以應當理解在附帶的權(quán)利要求的范圍內(nèi)，可以以與本文中具體描述不同的方式來實施本技術(shù)。