雙目注視成像方法和設(shè)備的制造方法
【專利說明】雙目注視成像方法和設(shè)備
[0001]相關(guān)專利申請的交叉引用:本專利申請要求提交于2013年2月19日的名稱為“Binocular fixat1n imaging method and apparatus”(雙目注視成像方法和設(shè)備)的美國臨時專利申請序列號61/766，599 (代理人參考號95194936.358000)的優(yōu)先權(quán)，該專利申請全文以引用方式并入本文。
技術(shù)領(lǐng)域
[0002]本發(fā)明整體涉及圖像處理，并且更具體地講，涉及景深測算和圖像處理方法及技術(shù)。
【背景技術(shù)】
[0003]景深測算已成為雙目圖像創(chuàng)建中的重要概念。其可對三維圖像中的總雙目效應(yīng)創(chuàng)建限制。實施過程中的該限制通過考慮包括如下的多種因素來確定:人類視覺系統(tǒng)的限制以及用來向觀察者呈現(xiàn)圖像的圖像顯示裝置的參數(shù)。對于圖像平面中呈現(xiàn)的立體圖像，通常在圖像平面后面和前面的深度方面討論景深測算。
[0004]用于通過控制圖像的捕獲或合成來控制立體圖像中的感知深度使得總雙目效應(yīng)保持在景深測算內(nèi)的技術(shù)是已知的。圖15示出了參考美國專利N0.6，798，406，其總體上提供了使用至少一個真實或模擬相機產(chǎn)生立體圖像的方法，其中景深映射到感知立體圖像中的預(yù)定景深測算。圖21示出了參考美國專利公布N0.US 2011/7，983，477，其總體上討論了從場景到感知立體圖像的可變深度映射。另外，諸如美國專利N0.8，300, 089中所公開的方法也可用于深度(Z)維數(shù)中的可變深度映射。
[0005]可使用一系列眼睛追蹤裝置，通過追蹤兩只眼或者通過追蹤單只眼并從該信息中推斷另一只眼，來確定眼睛的雙目注視。雙目注視追蹤系統(tǒng)的一個例子是加拿大安大略省密西沙加的研究有限公司(Research Ltd., Mississauga, Ontar1, Canada)所制造的Eyelink 1000，其高速追蹤兩只眼。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的一個方面提供了一種控制器，其實施雙目圖像的內(nèi)容的變化，這取決于觀察者注視雙目圖像的哪個區(qū)域。本發(fā)明的一個方面包括局部控制觀察者的感知深度印象，這取決于觀察者注視圖像中的感知深度中的何處。這具有使感知深度能夠出于質(zhì)量和性能原因在整個圖像中進行優(yōu)化的有益效果。
[0007]根據(jù)本發(fā)明的一個方面，雙目成像系統(tǒng)可包括用于在感知上同時呈現(xiàn)左眼圖像和右眼圖像的顯示器，其中左眼圖像具有顯示器的相關(guān)左眼視場并且右眼圖像具有顯示器的相關(guān)右眼視場。還可包括視線追蹤元件，其可識別左眼和右眼的至少一個或兩個視線方向。雙目成像系統(tǒng)還可包括圖像控制器，其可計算左和右眼的雙目注視區(qū)域并且改變所顯示的左和右眼圖像。圖像控制器可響應(yīng)于當前顯示的雙目圖像與后續(xù)顯示的雙目圖像之間的雙目注視區(qū)域變化，而改變后續(xù)顯示的雙目圖像。改變所顯示的左和右眼圖像可影響雙目注視區(qū)域中和雙目注視區(qū)域周圍的局部圖像景深量。雙目注視區(qū)域可包括三維區(qū)域，其中位置隨左和右眼中的一者或兩者的視線方向而變化。
[0008]根據(jù)本發(fā)明的另一個方面，一種用于改變雙目圖像內(nèi)容的方法可包括顯示當前雙目圖像，以及使用來自當前雙目圖像的輸入、來自視線追蹤器的信息以及景深測量信息來計算場景中的雙目感興趣區(qū)域(RBI)。所述方法還可包括確定雙目感興趣區(qū)域是否已變化以及在雙目感興趣區(qū)域已變化時計算用于映射到景深測算的景深范圍。所述方法可包括使用相機控制算法利用景深范圍生成后續(xù)顯示的雙目圖像以及使當前顯示的圖像成為后續(xù)顯示的雙目圖像。
[0009]用于改變雙目圖像內(nèi)容的方法還可包括接收來自視線追蹤器和景深測量裝置的第二輸入，以及在雙目感興趣區(qū)域未實質(zhì)上變化時使用來自當前雙目圖像、視線追蹤器和景深測量裝置的第二輸入來計算場景中的雙目感興趣區(qū)域。所述方法還可包括通過使用來自觀看所顯示的雙目圖像的觀察者的視線追蹤信息來確定顯示空間中的雙目注視區(qū)域(RBFd)，以及通過使用圖像控制器所提供的顯示空間中的雙目注視區(qū)域(RBFd)來計算場景空間中的等效雙目注視區(qū)域(RBFS)。在確定雙目感興趣區(qū)域是否已變化時，所述方法可包括使用顯示空間中的雙目注視區(qū)域(RBFd)以及場景空間中的等效雙目注視區(qū)域(RBFS)。所述方法還可包括基于場景變化來改變雙目感興趣區(qū)域，而顯示空間中的雙目注視區(qū)域未實質(zhì)上變化。
[0010]根據(jù)本發(fā)明的另一個方面，一種用于改變雙目圖像內(nèi)容的方法可包括顯示當前雙目圖像，使用來自當前雙目圖像和視線追蹤器的輸入來計算后續(xù)雙目注視區(qū)域，以及確定當前雙目注視區(qū)域與后續(xù)雙目注視區(qū)域之間的任何雙目注視變化。如果當前雙目注視區(qū)域與后續(xù)雙目注視區(qū)域之間出現(xiàn)雙目注視變化的情況，所述方法可包括計算后續(xù)雙目注視范圍的視差范圍。所述方法還可包括確定視差范圍是否實質(zhì)上為零，以及在視差范圍不實質(zhì)上為零時創(chuàng)建后續(xù)顯示的圖像。所述方法還可包括使當前顯示的圖像成為后續(xù)顯示的雙目圖像。
[0011 ] 繼續(xù)討論，所述方法可包括接收來自視線追蹤器的第二輸入，以及在后續(xù)雙目注視區(qū)域未實質(zhì)上變化時使用來自當前雙目圖像和視線追蹤器的第二輸入來計算后續(xù)雙目注視區(qū)域。所述方法可包括接收來自視線追蹤器的第三輸入，以及在視差范圍為大約零時使用來自當前雙目圖像和視線追蹤器的第三輸入來計算后續(xù)雙目注視區(qū)域。視線追蹤器可確定注視區(qū)域內(nèi)的視差，其中視線追蹤器由左眼與右眼屏幕注視點之間的差值來確定注視平面。
[0012]在所述方法確定視差范圍是否實質(zhì)上為零的情況下，所述方法可包括將后續(xù)物體的圖像視差與零進行比較，其中在其為雙目注視區(qū)域中離觀察者最近的物體時后續(xù)物體將被成像。所述方法還可包括響應(yīng)于當前顯示的雙目圖像與后續(xù)顯示的雙目圖像之間的雙目注視區(qū)域變化而改變后續(xù)顯示的圖像，并且也可形成當前顯示的雙目圖像。形成當前顯示的雙目圖像可包括估計3D注視區(qū)域以及將3D注視區(qū)域投影到圖像平面中以形成雙目注視區(qū)域。當前顯示的雙目圖像形成為左圖像和右圖像并且可從較大源圖像中選擇。
【附圖說明】
[0013]在附圖中以舉例方式示出實施例，其中相似的參考標號表示類似部件，并且其中:
[0014]圖1為示出根據(jù)本發(fā)明的雙目成像設(shè)備的一個實施例的示意圖；
[0015]圖2為示出根據(jù)本發(fā)明的左和右眼的圖像的一個實施例的示意圖；
[0016]圖3為示出根據(jù)本發(fā)明的當前顯示的雙目圖像對的一個實施例的示意圖；
[0017]圖4為示出根據(jù)本發(fā)明的觀察者的雙目注視區(qū)域的一個實施例的示意圖；
[0018]圖5為示出根據(jù)本發(fā)明的具有很少乃至沒有視差的所顯示圖像的一個實施例的示意圖；
[0019]圖6為示出根據(jù)本發(fā)明的流程圖的示意圖；
[0020]圖7為示出根據(jù)本發(fā)明的雙目圖像對的一個實施例的示意圖；
[0021]圖8為示出根據(jù)本發(fā)明的所顯示圖像的一個實施例的示意圖；
[0022]圖9為示出根據(jù)本發(fā)明的所顯示圖像的一個實施例的示意圖；
[0023]圖10為示出根據(jù)本發(fā)明的所顯示圖像的一個實施例的示意圖；
[0024]圖11為示出根據(jù)本發(fā)明的流程圖的示意圖；
[0025]圖12為示出根據(jù)本發(fā)明的視線追蹤系統(tǒng)的一個實施例的示意圖；
[0026]圖13為示出根據(jù)本發(fā)明的場景空間的一個實施例的示意圖；
[0027]圖14為示出根據(jù)本發(fā)明的流程圖的示意圖；
[0028]圖15為示出根據(jù)本發(fā)明的雙目圖像的一個實施例的示意圖；
[0029]圖16為示出根據(jù)本發(fā)明的景深范圍和景深測算的一個實施例的示意圖；
[0030]圖17為示出根據(jù)本發(fā)明的圖像控制器的響應(yīng)的一個實施例的示意圖；
[0031]圖18為示出根據(jù)本發(fā)明的圖像控制器的響應(yīng)的一個實施例的示意圖；
[0032]圖19為示出根據(jù)本發(fā)明的圖像控制器的響應(yīng)的一個實施例的示意圖；
[0033]圖20為示出根據(jù)本發(fā)明的流程圖的示意圖；
[0034]圖21為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0035]圖22為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0036]圖23為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0037]圖24為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0038]圖25為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0039]圖26為示出根據(jù)本發(fā)明的流程圖的示意圖；
[0040]圖27為示出根據(jù)本發(fā)明的景深范圍和感知深度范圍的一個實施例的示意圖；
[0041]圖28為不出景深范圍和感知景深測算的個實施例的不意圖；以及
[0042]圖29為示出根據(jù)本發(fā)明的圖像系統(tǒng)的一個實施例的示意圖。
【具體實施方式】
[0043]—般來講，根據(jù)本發(fā)明的一個方面，雙目成像系統(tǒng)可包括用于在感知上同時呈現(xiàn)左眼圖像和右眼圖像的顯示器，其中左眼圖像具有顯示器的相關(guān)左眼視場并且右眼圖像具有顯示器的相關(guān)右眼視場。還可包括視線追蹤元件，其可識別左眼和右眼的至少一個或兩個視線方向。雙目成像系統(tǒng)還可包括圖像控制器，其可計算左和右眼的雙目注視區(qū)域并且改變所顯示的左和右眼圖像。圖像控制器可響應(yīng)于當前顯示的雙目圖像與后續(xù)顯示的雙目圖像之間的雙目注視區(qū)域變化，而改變后續(xù)顯示的雙目圖像。改變所顯示的左和右眼圖像可影響雙目注視區(qū)域中和雙目注視區(qū)域周圍的局部圖像景深量。雙目注視區(qū)域可包括三維區(qū)域，其中位置隨左和右眼中的一者或兩者的視線方向而變化。
[0044]根據(jù)本發(fā)明的另一個方面，一種用于改變雙目圖像內(nèi)容的方法可包括顯示當前雙目圖像，以及使用來自當前雙目圖像的輸入、來自視線追蹤器的信息以及景深測量信息來計算場景中的雙目感興趣區(qū)域(RBI)。所述方法還可包括確定雙目感興趣區(qū)域是否已變化以及在雙目感興趣區(qū)域已變化時計算用于映射到景深測算的景深范圍。所述方法可包括使用相機控制算法利用景深范圍生成后續(xù)顯示的雙目圖像以及使當前顯示的圖像成為后續(xù)顯示的雙目圖像。
[0045]用于改變雙目圖像內(nèi)容的方法還可包括接收來自視線追蹤器和景深測量裝置的第二輸入，以及在雙目感興趣區(qū)域未實質(zhì)上變化時使用來自當前雙目圖像、視線追蹤器和景深測量裝置的第二輸入來計算場景中的雙目感興趣區(qū)域。所述方法還可包括通過使用來自觀看所顯示的雙目圖像的觀察者的視線追蹤信息來確定顯示空間中的雙目注視區(qū)域(RBFd)，以及通過使用圖像控制器所提供的顯示空間中的雙目注視區(qū)域(RBFd)來計算場景空間中的等效雙目注視區(qū)域(RBFS)。在確定雙目感興趣區(qū)域是否已變化時，所述方法可包括使用顯示空間中的雙目注視區(qū)域(RBFd)以及場景空間中的等效雙目注視區(qū)域(RBFS)。所述方法還可包括基于場景變化來改變雙目感興趣區(qū)域，而顯示空間中的雙目注視區(qū)域未實質(zhì)上變化。
[0046]根據(jù)本發(fā)明的另一個方面，一種用于改變雙目圖像內(nèi)容的方法可包括顯示當前雙目圖像，使用來自當前雙目圖像和視線追蹤器的輸入來計算后續(xù)雙目注視區(qū)域，以及確定當前雙目注視區(qū)域與后續(xù)雙目注視區(qū)域之間的任何雙目注視變化。如果當前雙目注視區(qū)域與后續(xù)雙目注視區(qū)域之間出現(xiàn)雙目注視變化的情況，所述方法可包括計算后續(xù)雙目注視范圍的視差范圍。所述方法還可包括確定視差范圍是否實質(zhì)上為零，以及在視差范圍不實質(zhì)上為零時創(chuàng)建后續(xù)顯示的圖像。所述方法還可包括使當前顯示的圖像成為后續(xù)顯示的雙目圖像。
[0047]繼續(xù)討論，所述方法可包括接收來自視線追蹤器的第二輸入，以及在后續(xù)雙目注視區(qū)域未實質(zhì)上變化時使用來自當前雙目圖像和視線追蹤器的第二輸入來計算后續(xù)雙目注視區(qū)域。所述方法可包括接收來自視線追蹤器的第三輸入，以及在視差范圍為大約零時使用來自當前雙目圖像和視線追蹤器的第三輸入來計算后續(xù)雙目注視區(qū)域。視線追蹤器