結(jié)構(gòu)化光成像系統(tǒng)及方法與流程

文檔序號：11160282閱讀：760來源：國知局

本發(fā)明涉及成像系統(tǒng)及方法，更具體地，涉及結(jié)構(gòu)化光成像系統(tǒng)及方法。本發(fā)明還涉及用來確定場景的深度圖的方法及裝置。

背景技術：

許多深度感測測量系統(tǒng)(亦稱為3D成像系統(tǒng)或3D攝像機)依賴三角測量原理。主動三角測量系統(tǒng)中的最常用方法之一是利用發(fā)射器(或投射器)及接收器，此兩者物理上彼此分離以建立三角測量系統(tǒng)的基線長度。投射器可提供結(jié)構(gòu)化的照明。結(jié)構(gòu)化的照明在此文中被理解為一種被空間編碼或調(diào)制的照明。接收器包含具有像素陣列的圖像傳感器?？刂破魍ǔＬ幚碛山邮掌魉@得的原始圖像，并導出所獲得的對象、場景或人物的三維深度圖。此種系統(tǒng)通常被稱為結(jié)構(gòu)化光成像系統(tǒng)。結(jié)構(gòu)化的照明可具有任何規(guī)則的形狀，例如，線形或圓形，或可具有諸如偽隨機點圖案的偽隨機圖案，或者進一步可具有偽隨機形狀或形狀的尺寸。在結(jié)構(gòu)化光成像系統(tǒng)的投射器中，此種偽隨機但規(guī)則的圖案的實施及使用已公開于PCT公開案WO2007/105205A2中且已廣泛地應用于游戲產(chǎn)業(yè)。US2013/0038881A1及WO2013127974A1中記載了一種在結(jié)構(gòu)化光成像中使用的新型投射器，其基于同一芯片上的許多發(fā)光激光二極管并且投射到3D空間。已在固態(tài)發(fā)光裝置上的投影的圖案的形成具有高效節(jié)能的優(yōu)點。例如，在隨機點圖案的情況中，所有產(chǎn)生的光被固有地束縛至這些點。在這些點之間沒有損失。另一方面，基于壓印透明片、掩?；蛭㈢R陣列，諸如數(shù)字光處理器(DLP)，來建立投射器，該些點之間的光被阻擋或偏移。因此，損失大量的所產(chǎn)生的光功率。其他投射器基于單個準直的激光二極管以及一或多個衍射光學組件。這些類型的投射器顯示了良好的效率，但是在大的溫度范圍內(nèi)保持圖案足夠穩(wěn)定以基于結(jié)構(gòu)化光成像來進行合理的深度測量是非常具有挑戰(zhàn)性的。為了應對此種熱缺陷，可對圖案投射器的部件作溫度控制，例如，藉由使用Peltier組件或加熱電阻，從而減少整體能源效率。

基于時間編碼的結(jié)構(gòu)化光源及圖像傳感器的結(jié)構(gòu)化光成像系統(tǒng)的另一進良已在歐洲公開案EP2519001A2中被提出。對結(jié)構(gòu)化光成像系統(tǒng)施加時間編碼可以減去背景光，無論是開像素(on-pixel)(在圖像傳感器上的像素能執(zhí)行差分成像的情況下)或是關像素(off-pixel(圖像后處理時)。此外，時間編碼或調(diào)制能實現(xiàn)多個攝像機操作。這意味著不同的結(jié)構(gòu)化光成像系統(tǒng)可施用時間編碼，并且藉由這樣做，可以在相同的環(huán)境內(nèi)操作而不互相干擾。能以有限的干擾進行操作的具體時間編碼方式為，例如，基于碼分多址、頻分多址或是其他如頻率或相位跳變。

技術實現(xiàn)要素：

本發(fā)明的一個目的是提供一種具有改良的深度及橫向分辨率的高效率的結(jié)構(gòu)化光成像系統(tǒng)以及相應的方法和裝置、以及一種用于深度映像場景的方法。結(jié)構(gòu)化光成像系統(tǒng)亦可被理解為結(jié)構(gòu)化光成像裝置。

這些目的特別通過獨立權(quán)利要求的特征來實現(xiàn)。此外，從屬權(quán)利要求及說明書產(chǎn)生進一步的有利實施例。

在第一方面中，該結(jié)構(gòu)化光成像裝置包含：投射器，該投射器包含用于發(fā)射結(jié)構(gòu)化光的至少兩組光發(fā)射器；用于感測源自該投射器的光的圖像傳感器；以及控制單元。該控制器被構(gòu)造且被配置為用于獨立地操作該至少兩組光發(fā)射器中的每一組。

在另一方面中，該結(jié)構(gòu)化光成像系統(tǒng)包括圖像傳感器及投射器，其中該投射器包括至少兩組光發(fā)射器，其中控制器被配置為使各組能夠獨立地操作。

兩個方面可以混合及互換。

在本發(fā)明的一些實施例中，該投射器中的單個光投射裝置被配置為將由該至少兩組光發(fā)射器所發(fā)射的結(jié)構(gòu)化光投射到場景。若該組光發(fā)射器的圖案是由相同的單個光投射裝置所投射，則是有利的且減少了處理及校正的復雜度。這將導致不同組光發(fā)射器的恒定組合圖案，其獨立于該場景中的對象的距離。藉由在該組光發(fā)射器前方設置例如兩個物理上分離的光投射裝置，不同的發(fā)射圖案在這段距離上彼此交叉跨越。因此，在單個距離處的單個校正采集將不足以根據(jù)三角測量而推導出差異和測量距離。

在本發(fā)明的一些實施例中，該至少兩組光發(fā)射器包括垂直腔面發(fā)射激光器(VCSEL)。在一些情況中，VCSEL可以是光發(fā)射器的一適當選擇，因為它們可被集成在小的裝置中且由于它們的低成本及可大批量制造。

在本發(fā)明的一些實施例中，該至少兩組光發(fā)射器被配置在單個芯片上。對于該至少兩組光發(fā)射器在相同芯片上的情況，可簡化光投射裝置的設計。

在本發(fā)明的一些實施例中，該至少兩組光發(fā)射器被配置成物理地交錯。該至少兩組光發(fā)射器的物理交錯以及其投射允許該發(fā)射的結(jié)構(gòu)化光具有更緊密的結(jié)構(gòu)，因此，從該結(jié)構(gòu)化光圖像所獲得的空間信息可獲得更高的橫向及深度分辨率。

在本發(fā)明的一些實施例中，該至少兩組光發(fā)射器被配置成發(fā)射相同但偏移的結(jié)構(gòu)化光圖案。通過由該至少兩組光發(fā)射器發(fā)射相同但偏移的結(jié)構(gòu)化光圖案，比起由該至少兩組光發(fā)射器發(fā)射完全不同的圖案，結(jié)果將變得更能被預測。

在本發(fā)明的一些實施例中，該至少兩組光發(fā)射器被配置成發(fā)射不同的結(jié)構(gòu)化光圖案。發(fā)射不同的結(jié)構(gòu)化光圖案，例如，發(fā)射隨機點圖案和條紋圖案可增加深度分辨率。此外，不同的隨機點圖案的組合是可能的。

在本發(fā)明的一些實施例中，該控制器被配置為使得該至少兩組光發(fā)射器能夠以交錯模式操作。因為該控制器可被配置為使得各組獨立地操作，因此交錯不同組光發(fā)射器的操作是有利的。取決于實際應用，不同的交錯操作方案是可能的，例如偽噪聲(pseudo-noise)操作、跳頻操作或其他。交錯操作有助于減少結(jié)構(gòu)化光成像系統(tǒng)之間的干擾，并可降低本發(fā)明中快速移動對象的問題。

在本發(fā)明的一些實施例中，圖像傳感器包括像素陣列，每個像素針對每組光發(fā)射器具有獨立的儲存節(jié)點。

在本發(fā)明的一些實施例中，該控制器被配置為使得針對該圖像傳感器的每個像素，為每組光發(fā)射器分配一個儲存節(jié)點。在該圖像傳感器的每個像素上，每組光發(fā)射器具有一單獨的儲存節(jié)點是有利的。這可將每組光發(fā)射器的圖像儲存在單獨的儲存節(jié)點中。

在本發(fā)明的一些實施例中，該圖像傳感器的像素包括公共信號去除電路，其被構(gòu)成為去除該圖像傳感器上的像素的儲存節(jié)點的公共模式信號。在像素級別上的公共模式信號的去除會增加動態(tài)范圍，并且能夠抑制背景光。

在本發(fā)明的一些實施例中，該控制器被配置為使得在曝光期間該至少兩組光發(fā)射器能夠交替地、反復地被開啟，其中該信號被相應地整合在像素的所分配的儲存節(jié)點上。在曝光期間，該組光發(fā)射器的交替及反復操作以及在像素中的分配的儲存節(jié)點中的相應信號的整合，有助于減少在同一環(huán)境中與其他結(jié)構(gòu)化光成像系統(tǒng)的干擾，并且進一步降低由于曝光期間場景變化的影響。

在本發(fā)明的一些實施例中，該圖像傳感器的像素為飛行時間(time-of-flight)像素。大多數(shù)現(xiàn)有的飛行時間像素已包含兩個儲存節(jié)點及甚至像素中(in-pixel)公共模式去除電路。因此，技術人員可基于此種飛行時間像素結(jié)構(gòu)而建立根據(jù)本發(fā)明的結(jié)構(gòu)化光系統(tǒng)，而無需設計新的像素。

在第一方面中，該結(jié)構(gòu)化光成像方法包含提供投射器，其包含至少兩組光發(fā)射器，從該至少兩組光發(fā)射器發(fā)射結(jié)構(gòu)化光，其中各組光發(fā)射器組獨立地操作，以及藉由圖像傳感器感測源自該投射器的光。

在另一方面中，該結(jié)構(gòu)化光成像方法包含使用圖像傳感器及投射器，其中該投射器包括至少兩組光發(fā)射器，每組光發(fā)射器獨立地操作。

兩個方面可以混合及互換。

在一變型中，由該至少兩組光發(fā)射器所發(fā)射的該結(jié)構(gòu)化光通過單個光投射裝置被投射到場景上。在一變型中，該至少兩組光發(fā)射器以交錯模式操作。在一變型中，針對該圖像傳感器各像素的該至少兩組，每組光發(fā)射器分配一個儲存節(jié)點。在一變型中，去除該圖像傳感器的儲存節(jié)點的公共模式信號。在一變型中，在曝光期間交替地且反復地開啟該至少兩組光發(fā)射器，其中該信號相應地被整合在像素的所分配的儲存節(jié)點中。

用于場景之深度映射的方法包括：

-以來自投射器的結(jié)構(gòu)化光照射該場景，該投射器包含至少第一和第二組光發(fā)射器；

-該照射包括獨立地操作每組光發(fā)射器；

-檢測從該場景反射的該結(jié)構(gòu)化光的光部分；

-從所檢測的光部分確定該場景的深度圖。

在另一方面，用于場景的深度映射的方法包括：

-藉由本文中所描述的這種結(jié)構(gòu)化光成像裝置(或系統(tǒng))的輔助，照亮該場景；

-藉由該結(jié)構(gòu)化光成像裝置(或系統(tǒng))的輔助，檢測從該場景反射的該結(jié)構(gòu)化光的光部分；

-從所檢測的光部分確定該場景的深度圖。

用于確定場景的深度圖的裝置包含本文中所描述的這種結(jié)構(gòu)化光成像裝置(或系統(tǒng))，用于以結(jié)構(gòu)化光照亮該場景，以及用于檢測從該場景反射的該結(jié)構(gòu)化光的光部分。并且其包含處理單元，用于根據(jù)所檢測的光部分確定該場景的深度圖。該處理單元可包含在該結(jié)構(gòu)化光成像裝置的控制器中。

附圖說明

本文所描述之發(fā)明將從下文所給出的詳細描述及附圖而被更充分地理解，下文所給出的詳細描述及附圖不應被視為對所附權(quán)利要求中所述的發(fā)明的限制。附圖示出了

圖1結(jié)構(gòu)化光成像裝置及方法的構(gòu)造方框圖；

圖2本發(fā)明實施例中可實施的像素的構(gòu)造方框圖；

圖3本發(fā)明實施例中可實施的具有兩組光發(fā)射器的發(fā)光組件的俯視圖；

圖4在兩組光發(fā)射器皆同時開啟的情況下(圖4a)以及在每組光發(fā)射器被單獨控制的情況下(圖4b)，由如圖3中所示的發(fā)光組件所造成的隨機點圖案；

圖5現(xiàn)有的結(jié)構(gòu)化光成像系統(tǒng)的被減少為兩個點的圖像(圖5a至c)，其中插圖顯示放大的細節(jié)(上圖：光柵化的黑與白，下圖：灰階)，以及圖5d至f繪出跨越圖5a至c的點的中心的信號的水平橫截面；

圖6結(jié)構(gòu)化光成像系統(tǒng)的被減少為兩個點的圖像(圖6a至c)，其中插圖顯示放大的細節(jié)(上圖：光柵化的黑與白，下圖：灰階)，以及圖6d至f繪出跨越圖6a至c的點的中心的信號的水平橫截面。

具體實施方式

在現(xiàn)有技術的結(jié)構(gòu)化光成像系統(tǒng)中，投射器是靜態(tài)的，此意味著總是發(fā)射相同的圖案，或者投射器包括一些移動部件在投射器中，諸如微鏡(例如，基于MEMS的數(shù)字光學處理器)，或者投射器包括局部透明度改變裝置，諸如液晶裝置。后兩者幾乎能夠任意地改變圖案，但由于該方法的光阻擋性質(zhì)使得大部分的發(fā)射光被浪費了。本發(fā)明可以，至少在實例中，實現(xiàn)無需任何移動部件的高效率結(jié)構(gòu)化光成像系統(tǒng)、更佳的分辨率、以及增加的溫度穩(wěn)定性。

圖1示出了設備及方法的實施例的方框圖。結(jié)構(gòu)化光成像系統(tǒng)10包括光投射器110、圖像傳感器120、光學系統(tǒng)130、及控制器150，用以獲取場景中的對象50的圖像。光學系統(tǒng)130通常包括成像光學元件及光學帶通濾波器以阻擋不需要的光。圖像傳感器120包括像素121的陣列。投射器110包括發(fā)光組件111，例如，VCSEL(VCSEL：垂直腔面發(fā)射激光器)陣列，其具有第一組光發(fā)射器111a及第二組光發(fā)射器111b。該光發(fā)射器的所有光是由光投射裝置112朝向場景投射。光投射裝置112可包含透鏡、屏蔽及/或衍射光學組件。

兩組光發(fā)射器111a、111b由控制器150控制。此外，控制器150將兩組光發(fā)射器111a、111b與圖像傳感器120及像素121同步。

光發(fā)射器為，例如，垂直腔面發(fā)射激光器(VCSEL)陣列上的VCSEL。一種具有基于VCSEL陣列但不將發(fā)射器如本專利申請案所提出的分離成能被獨立操作的不同組的發(fā)光組件110的結(jié)構(gòu)化光成像系統(tǒng)10已由US2013/0038881A1及WO2013127974A1公開。

根據(jù)圖1，當光輸出源自于第一組光發(fā)射器111a時，結(jié)構(gòu)化光成像系統(tǒng)10的光輸出對應于來自投射器110的第一結(jié)構(gòu)化光發(fā)射20a。當?shù)谝唤M光發(fā)射器20a開啟并到達對象50時，所發(fā)出的結(jié)構(gòu)化光被對象50反射，且第一反射光30a的一部分到達結(jié)構(gòu)化光成像系統(tǒng)10的光學系統(tǒng)130。光學系統(tǒng)130將第一反射光30a成像到圖像傳感器120的像素121上。當光輸出源自于第二組光發(fā)射器111b時，結(jié)構(gòu)化光成像系統(tǒng)10的光輸出對應于出自投射器110的第二光輸出20b。當?shù)诙M光發(fā)射器20b開啟并到達對象50時，所發(fā)出的結(jié)構(gòu)化光被對象50反射，且第二反射光30b的一部分到達結(jié)構(gòu)化光成像系統(tǒng)10的光學系統(tǒng)130。光學系統(tǒng)130將第二反射光30b成像到圖像傳感器120的像素121上。發(fā)射光的波長為，例如，介于800nm及1000nm之間，但也可以是在可見光、紅外線或紫外線的范圍內(nèi)。

圖像傳感器120的像素121的一實施例示于圖2中。像素121包括感光區(qū)域122。在感光區(qū)域下方的光生電荷可通過第一開關123a被傳送到第一儲存節(jié)點124a中，或是通過第二開關123b被傳送到第二儲存節(jié)點124b中。

一些像素的實現(xiàn)還包括第三開關，用以，例如，在讀取或空閑時間期間排出(dump)不需要的電荷。在所示實施例中，像素121還包括信號處理電路125，其執(zhí)行信號的減法，更具體地，確定儲存在第一儲存節(jié)點124a中的電荷和儲存在第二儲存節(jié)點124b中的電荷的差值。

在讀取信號之前，減法或者公共模式電荷去除(公共模式信號去除)可以在曝光期間不斷地發(fā)生、在曝光期間或者在曝光結(jié)束時多次發(fā)生。使用類似像素結(jié)構(gòu)的結(jié)構(gòu)化光成像系統(tǒng)已呈現(xiàn)于EP2519001A2中，其中將在結(jié)構(gòu)化光的發(fā)射期間的所有光傳送到圖像傳感器120上的像素121的第一儲存節(jié)點124a，并且其中在相等的持續(xù)時間期間，結(jié)構(gòu)化光的發(fā)射關閉且只將背景光信號傳送到圖像傳感器120上的像素121的第二儲存節(jié)點124b。這種開啟/關閉循環(huán)可被重復多次，且這些信號分別被整合在這些像素的第一及第二儲存節(jié)點中。

藉由在各像素的兩個儲存節(jié)點中執(zhí)行減法或公共信號去除(公共模式信號去除)，可在信號處理路徑上較早去除背景信號。包含此種像素結(jié)構(gòu)的其他像素結(jié)構(gòu)，即，具有有單個感光區(qū)域、由第一開關連接至第一儲存節(jié)點以及由第二開關連接至第二儲存節(jié)點的像素，在飛行時間深度成像及熒光壽命顯微術所使用的像素中是眾所周知的。此種像素結(jié)構(gòu)已公開于，例如，專利US5856667、EP1009984B1、EP1513202B1及US7884310B2。

本發(fā)明的一個實施例提出由控制器150同步兩組光發(fā)射器111a、111b及兩個開關123a、123b。在第一階段中，第一組光發(fā)射器111a被開啟，第二組光發(fā)射器111b被關閉。在這段期間，所有來自圖像傳感器120的像素121的感光區(qū)域122的光生電荷通過開關123a被傳送到第一儲存節(jié)點124a。在第二階段中，第二組光發(fā)射器111b被開啟，第一組光發(fā)射器111a被關閉。此時，所有來自圖像傳感器120的像素121的感光區(qū)域122的光生電通透過開關123b被傳送到第二儲存節(jié)點124b。

第一及第二階段的循環(huán)可被重復多次。特別是，在同一循環(huán)中，第一階段的持續(xù)時間可以和第二階段的持續(xù)時間相同。通常，各個循環(huán)中階段的持續(xù)時間可有所不同。藉由這樣做，循環(huán)的時間編碼是可能的，并且例如，正交調(diào)制方案可被施用以避免不同的結(jié)構(gòu)化光成像系統(tǒng)10之間的干擾。更快的循環(huán)，意味著更短的階段持續(xù)時間，通常在場景中有快速移動對象的情況下顯示效能改進。階段持續(xù)時間通常在幾百納秒到幾百微秒的量級。取決于應用，針對單次曝光和它們整合在兩個儲存節(jié)點中的信號可重復多達百萬次循環(huán)。

像素121中的信號處理電路125可包括一些公共光信號去除能力(公共模式信號去除能力)。像素121中的這種公共信號去除特性可大幅增加結(jié)構(gòu)化光成像系統(tǒng)10的動態(tài)范圍并增加背景光的魯棒性(robustness)。

在所有循環(huán)的曝光之后，將數(shù)據(jù)從圖像傳感器120的像素121讀取至控制單元150，其中，從該數(shù)據(jù)可導出在環(huán)境中成像對象50的深度圖。

圖3示出了發(fā)光組件111的一個說明性實施方式。發(fā)光組件111包括第一組光發(fā)射器111a及第二組光發(fā)射器111b。兩組光發(fā)射器111a、111b可被不同地控制。對兩個不同組的不同控制可允許在曝光期間交替地控制(特別是操作)各組光發(fā)射器，并且將其與至像素(121)上的不同儲存節(jié)點(124a、124b)的分配同步。來自第一組光發(fā)射器111a及第二組光發(fā)射器111b的發(fā)射的隨機點圖案可被投影至場景中的對象50上，而源自第一組光發(fā)射器111a的任意發(fā)射點不會與源自第二組光發(fā)射器111b的任意發(fā)射點干擾。若兩組光發(fā)射器的光藉由相同的光投射裝置112而被投射至空間中，則可達成此情形。光投射裝置112通常包括一或多個透鏡組件、屏蔽及/或衍射光學組件。

在一實施例中，發(fā)光組件111建立在相同發(fā)射芯片上的第一組垂直腔面發(fā)射激光器(VCSEL)和第二組VCSEL上。第一及第二組光發(fā)射器可以在物理上交錯。此外，第一及第二組光發(fā)射器(111a、111b)可被配置成發(fā)射相同的結(jié)構(gòu)化光圖案，例如，相同的隨機點圖案，但第一發(fā)射結(jié)構(gòu)光圖案相對于第二發(fā)射結(jié)構(gòu)光圖案橫向偏移。在其他情況中，兩組光發(fā)射器(111a、111b)可被配置成發(fā)射不同的結(jié)構(gòu)化光圖案，例如隨機點圖案和條紋狀圖案，或者兩個不同的隨機點圖案。

圖4a及圖4b的圖像對應于圖3中所示的發(fā)光組件。圖4a示出了當所有的光發(fā)射器被開啟且被等同地控制時，所發(fā)射的結(jié)構(gòu)化光發(fā)射。由兩個不同組光發(fā)射器(111a、111b)所發(fā)射的點無法區(qū)分。由此，如圖4a中所示的發(fā)射光圖案相當于隨機點圖案，其在結(jié)構(gòu)光成像中為現(xiàn)有技術并且其已例如由PCT公開案WO2007/105205A2公開。然而，圖4b示出了根據(jù)一實施例的可能的發(fā)射圖案。當?shù)谝唤M光發(fā)射器被開啟時發(fā)射光20a被表示為空心圓，而當?shù)诙M光發(fā)射器被開啟時發(fā)射光20b被表示為黑點。

為了說明之目的，該范例受限于各組光發(fā)射器的隨機點圖案。然而，許多不同的結(jié)構(gòu)化光圖案及其組合為本發(fā)明可能的實現(xiàn)方式。在隨機點圖案的情況下，第二組光發(fā)射器111b可具有與第一組光發(fā)射器111a相同但相對于第一組光發(fā)射器而橫向偏移的圖案，且可被獨立地操作。

作為一范例，在第一階段期間，第一組光發(fā)射器111a被開啟(空心圓)，并且由圖像傳感器120所獲得的光電荷通過像素121上的第一開關123a被傳送到第一儲存節(jié)點124a，參照圖2。在第二階段中，第二組光發(fā)射器111b被開啟，并且由圖像傳感器120所獲得的電荷通過第二開關123b被傳送到像素121上的第二儲存節(jié)點124b。這兩個階段可再次在單次曝光期間被重復多次，其具有可能不同的階段持續(xù)時間，以減少與其他結(jié)構(gòu)化光成像系統(tǒng)10的干擾，并減少在獲取場景中的快速移動對象50時的假象(artefacts)。像素121可進一步地具有像素內(nèi)的公共信號去除電路，其使得結(jié)構(gòu)化光成像系統(tǒng)10在背景抑制方面的魯棒性更好。

圖5及圖6的系列圖像示出了相較于現(xiàn)有的結(jié)構(gòu)化光成像系統(tǒng)，本發(fā)明的可能優(yōu)點。參照兩個相鄰點的圖像來示出此優(yōu)點。圖5a-c及圖6a-c提供了插圖，為了改進清晰度這些插圖顯示了對應圖像的放大細節(jié)(上圖：光柵化的黑與白，下圖：灰階)。

在圖5的一系列圖像中，示出了現(xiàn)有的結(jié)構(gòu)化光成像系統(tǒng)的結(jié)果。在此圖像系列中，圖像中的兩個點源自于相同的投射器及相同的發(fā)光組件。兩個點同時由投射器發(fā)射；兩個點的信號同時被整合在圖像傳感器的像素上。圖5a示出了由圖像傳感器所獲得的兩個點，該兩個點的重心距離為相隔4個像素。圖5d示出了穿過圖5a的這些點的中心的水平信號橫截面。圖5b示出了與圖5a相同的圖像，但這次，兩個點的中心之間的距離只有3個像素。圖5e示出了穿過圖5b的這些點的信號的水平橫截面。圖5c示出了與圖5a及圖5b相同的圖像，但這次，該些點僅相隔兩個像素。圖5c的水平橫截面繪示于圖5f中。

點之間為4個像素的距離時(圖5a及圖5d)，于圖像中可清楚地區(qū)分及識別這些點。然而，若這些點彼此更靠近時，將越來越難以區(qū)分(圖5b及圖5e)，而當這些點僅相隔2個像素時則完全無法區(qū)分這些點(圖5c及圖5f)。這表示，現(xiàn)有結(jié)構(gòu)化光成像系統(tǒng)所給出的結(jié)構(gòu)化光的信息密度是有限的。

圖6顯示基于具體實施例的一系列結(jié)果。在曝光的第一階段中，第一組光發(fā)射器111a被開啟，并且所有的光電荷通過第一開關123a被傳送到圖像傳感器120上的像素121上的第一儲存節(jié)點124a(亦參照圖2)。在第二階段中，第二組光發(fā)射器111b被開啟，并且所有的光電荷通過第二開關123b被傳送到圖像傳感器120上的像素121上的第二儲存節(jié)點124b。可在曝光期間將這兩個階段的循環(huán)重復多次。為了說明之目的，將圖像中的點數(shù)目減少為只有兩個點。第一個點是在曝光期間所有循環(huán)的第一階段期間被整合的信號，第二個點是在曝光期間所有循環(huán)的第二階段期間被整合的信號。

在圖示的情況中，假設像素121在它的信號處理電路125中包含一公共信號去除電路，以從第一及第二儲存節(jié)點124a、124b減去信號的公共水平(參照圖2)。因此所產(chǎn)生的圖像為像素121的第一儲存節(jié)點124a與像素121的第二儲存節(jié)點124b的差分圖像。

若僅存在背景光，所產(chǎn)生的差分圖像的值大約為零(在公共信號去除之后只留下噪聲)，且其針對源自第一組光發(fā)射器111a的點具有正信號，以及針對源自第二光發(fā)射器111b的點具有負信號。圖6a至c各圖示出了根據(jù)此實施例所產(chǎn)生的差分圖像的兩個點。圖6a顯示源自第一組光發(fā)射器111a的一個發(fā)射器的點及源自第二組光發(fā)射器111b的一個發(fā)射器的點的圖像。兩點的重心相隔4個像素。圖6d示出了通過這些點的中心的水平橫截面。圖6b示出了與圖6a中相同的點，但是兩點為相隔3個像素。圖6e以這些點的中心示出了信號的水平橫截面。圖6c顯示了與圖6a及圖6b相同的點，但中心的距離減少為2個像素。圖6f示出了通過這些點中心的信號的水平橫截面。即使這兩個點之間具有短如2個像素的距離，仍可以輕易地區(qū)分這兩個點。

圖6及圖5的系列圖像顯示，相較于圖5的現(xiàn)有結(jié)構(gòu)化光成像系統(tǒng)，對于圖6的結(jié)構(gòu)化光成像系統(tǒng)10而言，這些點能更好地被區(qū)分。此范例顯示了本文所公開的結(jié)構(gòu)化光中能封裝的信息密度可以比現(xiàn)有的結(jié)構(gòu)化光成像系統(tǒng)中所能封裝的信息密度還要高。因此，可提高深度及橫向分辨率，或者使用較低像素計數(shù)的圖像傳感器，其降低了系統(tǒng)復雜度、圖像處理資源及成本。

還進一步公開了下面的實施例：

結(jié)構(gòu)化光成像系統(tǒng)實施例(結(jié)構(gòu)化光成像裝置實施例)：

E1.一種結(jié)構(gòu)化光成像系統(tǒng)(10)，包括圖像傳感器(120)及投射器(110)，其中投射器(110)包括至少兩組光發(fā)射器(111a、111b)，其中控制器(150)被配置為使得各組能獨立地操作。

E2.根據(jù)實施例E1的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中投射器(110)的單個光投射裝置(112)被配置為將由至少兩組光發(fā)射器(111a、111b)所發(fā)射的結(jié)構(gòu)化光投射到場景上。

E3.根據(jù)實施例E1或E2的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述至少兩組光發(fā)射器(111a、111b)包括垂直腔面發(fā)射激光器(VCSEL)。

E4.根據(jù)實施例E1至E3中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述至少兩組光發(fā)射器(111a、111b)被配置在單個芯片上。

E5.根據(jù)實施例E1至E4中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述至少兩組光發(fā)射器(111a、111b)物理交錯地配置。

E6.根據(jù)實施例E1至E5中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述至少兩組光發(fā)射器(111a、111b)被配置成發(fā)射相同但偏移的結(jié)構(gòu)化光圖案。

E7.根根據(jù)實施例E1至E6中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述至少兩組光發(fā)射器(111a、111b)配置成發(fā)射不同的結(jié)構(gòu)化光圖案。

E8.根據(jù)實施例E1至E7中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中所述控制器(150)被配置為使所述至少兩組光發(fā)射器(111a、111b)能夠以交錯模式操作。

E9.根據(jù)實施例E1至E8中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中圖像傳感器(120)包括像素(121)陣列，每個像素(121)針對每組光發(fā)射器(111a、111b)具有獨立的儲存節(jié)點(124a、124b)。

E10.根據(jù)實施例E1至E9中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中控制器(150)被配置為使得針對圖像傳感器(120)的每個像素(121)，每組光發(fā)射器(111a、111b)分配一個儲存節(jié)點(124a、124b)。

E11.根據(jù)實施例E1至E10中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中圖像傳感器(120)的像素(121)包括公共信號去除電路，其被配置為去除圖像傳感器(120)上的像素(121)的儲存節(jié)點(124a、124b)的公共模式信號。

E12.根據(jù)實施例E1至E11中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中控制器(150)被配置為使得所述至少兩組光發(fā)射器(111a、111b)在曝光期間交替地且反復地開啟，其中信號相應地被整合在像素(121)的所分配的儲存節(jié)點(124a、124b)上。

E13.根據(jù)實施例E1至E12中任意一個的結(jié)構(gòu)化光成像系統(tǒng)(10)，其中圖像傳感器(120)的像素(121)為飛行時間像素。

結(jié)構(gòu)化光成像方法實施例：

E14.一種結(jié)構(gòu)化光成像方法，使用圖像傳感器(120)及投射器(110)，其中投射器(110)包括至少兩組光發(fā)射器(111a、111b)，各個光發(fā)射器組可獨立地操作。

E15.根據(jù)實施例E14的結(jié)構(gòu)化光成像方法，其中將由所述至少兩組光發(fā)射器(111a、111b)所發(fā)射的結(jié)構(gòu)化光通過單個光投射裝置(112)投射到場景上。

E16.根據(jù)實施例E14或E15的結(jié)構(gòu)化光成像方法，其中以交錯模式操作所述至少兩組光發(fā)射器(111a、111b)。

E17.根據(jù)實施例E14至E16中任意一個的結(jié)構(gòu)化光成像方法，其中針對圖像傳感器(120)的每個像素(121)，每組光發(fā)射器(111a、111b)分配一個儲存節(jié)點(124a、124b)。

E18.根據(jù)實施例E14至E17中任意一個的結(jié)構(gòu)化光成像方法，其中，去除圖像傳感器的儲存節(jié)點的公共模式信號。

E19.根據(jù)實施例E14至E18中任意一個的結(jié)構(gòu)化光成像方法，其中在曝光期間交替地且反復地開啟所述至少兩組光發(fā)射器(111a、111b)，其中信號相應地被整合在像素(121)的所分配的儲存節(jié)點(124a、124b)上。

【符號說明】

10：結(jié)構(gòu)化光成像系統(tǒng)

110：投射器

111：發(fā)光組件