本發(fā)明的領(lǐng)域一般地涉及電子領(lǐng)域，并且尤其涉及單片集成的RGB像素陣列和Z像素陣列。

背景技術(shù)：

許多現(xiàn)有的計(jì)算系統(tǒng)包括一個(gè)或多個(gè)傳統(tǒng)的圖像捕獲照相機(jī)作為集成的外圍設(shè)備。當(dāng)前的趨勢(shì)是通過(guò)將深度捕獲集成到計(jì)算系統(tǒng)的成像組件中來(lái)增強(qiáng)計(jì)算系統(tǒng)成像能力。深度捕獲可以用來(lái)，例如，執(zhí)行諸如面部識(shí)別(例如，用于安全系統(tǒng)解鎖)或者手勢(shì)識(shí)別(例如，用于非接觸式用戶(hù)界面功能)這樣的各種智能對(duì)象識(shí)別功能。

稱(chēng)作“飛行時(shí)間”成像的一種深度信息捕獲方法將來(lái)自系統(tǒng)的光發(fā)射到對(duì)象上，并且關(guān)于圖像傳感器的多個(gè)像素的每個(gè)，測(cè)量光的發(fā)射與它的反射圖像在傳感器上的接收之間的時(shí)間。由飛行時(shí)間像素產(chǎn)生的圖像對(duì)應(yīng)于對(duì)象的三維輪廓，如由在不同(x，y)像素位置的每個(gè)的唯一深度測(cè)量(z)所表征的。

因?yàn)榫哂谐上衲芰Φ脑S多計(jì)算系統(tǒng)本質(zhì)上是移動(dòng)的(例如，膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話等)，飛行時(shí)間操作與傳統(tǒng)圖像捕獲的集成提出許多設(shè)計(jì)挑戰(zhàn)，諸如成本挑戰(zhàn)和封裝挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)要素：

描述一種裝置，包括集成在同一半導(dǎo)體芯片上的第一像素陣列和第二像素陣列。第一像素陣列包含可見(jiàn)光像素并且不包含Z像素。第二像素陣列包含Z像素并且不包含可見(jiàn)光像素。第一像素陣列和第二像素陣列在所述同一半導(dǎo)體芯片上不重疊。

描述一種裝置，包括用于在半導(dǎo)體芯片的表面面積的第一區(qū)域內(nèi)基本上僅接收可見(jiàn)光的部件。裝置也包括用于在半導(dǎo)體芯片的表面面積的第一區(qū)域內(nèi)基本上僅接收紅外光的部件，其中，第一區(qū)域和第二區(qū)域不混合。裝置也包括用于在第一區(qū)域內(nèi)在半導(dǎo)體芯片的第一多層結(jié)構(gòu)內(nèi)將可見(jiàn)光像素化成多個(gè)色彩的部件。裝置也包括用于在第二區(qū)域內(nèi)在半導(dǎo)體芯片的第二多層結(jié)構(gòu)內(nèi)對(duì)紅外光進(jìn)行像素化的部件。裝置也包括用于在第一區(qū)域內(nèi)使用半導(dǎo)體芯片的基底生成表示經(jīng)像素化的可見(jiàn)光的第一電子信號(hào)的部件。裝置也包括用于在第二區(qū)域內(nèi)使用半導(dǎo)體芯片的基底生成表示經(jīng)像素化的紅外光的第二電子信號(hào)的部件。

附圖說(shuō)明

下面的描述和附圖用來(lái)例示本發(fā)明的實(shí)施例。在附圖中：

圖1a和1b示出單片RGBZ像素陣列的不同透視圖；

圖2示出包括單片RGBZ像素陣列的照相機(jī)；

圖3a至3c示出不同的RGBZ像素陣列實(shí)施例；

圖4a至4d示出制造單片RGBZ像素陣列的方法；

圖5示出由單片RGBZ像素陣列執(zhí)行的方法；

圖6示出包括單片RGBZ像素陣列的照相機(jī)系統(tǒng)；

圖7示出包括具有單片RGBZ像素陣列的照相機(jī)的計(jì)算系統(tǒng)。

具體實(shí)施方式

“RGBZ”圖像傳感器是從同一照相機(jī)封裝內(nèi)實(shí)現(xiàn)傳統(tǒng)圖像捕獲和飛行時(shí)間深度輪廓分析(profiling)的具有吸引力的解決方案。RGBZ圖像傳感器是包括不同種類(lèi)的像素的圖像傳感器，一些像素對(duì)可見(jiàn)光敏感(例如，RGB像素)并且其他像素用來(lái)測(cè)量深度信息(飛行時(shí)間或者“Z”像素)。

在常見(jiàn)的實(shí)現(xiàn)方式中，飛行時(shí)間像素被設(shè)計(jì)為對(duì)IR光敏感，因?yàn)?，如上所述，IR光用于飛行時(shí)間測(cè)量，使得飛行時(shí)間測(cè)量與RGB像素的傳統(tǒng)成像功能不相互干擾。飛行時(shí)間像素另外地具有特殊的相關(guān)聯(lián)的計(jì)時(shí)和/或定時(shí)電路系統(tǒng)以測(cè)量在像素處接收到光的時(shí)間。然而，因?yàn)轱w行時(shí)間像素對(duì)IR光敏感，它們也可以被料想到僅作為IR像素使用(例如，在第二模式中)，而不是作為飛行時(shí)間像素(亦即，捕獲IR信息，但是不進(jìn)行飛行時(shí)間測(cè)量)。

與RGB像素和Z像素包含在分開(kāi)的封裝中的解決方案相比較，將RGB像素和Z像素集成到同一封裝中應(yīng)當(dāng)減小大小和成本。圖1a和1b示出單片RGBZ像素陣列，其中半導(dǎo)體芯片101的表面面積的一個(gè)整個(gè)區(qū)域?yàn)镽GB像素103而保留，并且半導(dǎo)體芯片101的表面面積的另一個(gè)整個(gè)區(qū)域?yàn)閆像素104而保留。

RGB像素陣列區(qū)域103包括具有對(duì)可見(jiàn)光敏感的不同種類(lèi)像素的像素陣列(具體地，對(duì)可見(jiàn)紅光敏感的R像素的子集、對(duì)可見(jiàn)綠光敏感的G像素的子集以及對(duì)可見(jiàn)藍(lán)光敏感的B像素的子集)。Z像素陣列區(qū)域104具有對(duì)IR光敏感的像素。RGB像素用來(lái)支持傳統(tǒng)的“2D”可見(jiàn)圖像捕獲(傳統(tǒng)拍照)功能。IR敏感像素用來(lái)支持使用飛行時(shí)間技術(shù)的3D深度輪廓成像。雖然基本的實(shí)施例包括RGB像素用于可見(jiàn)圖像捕獲，但是其他實(shí)施例可以使用不同的有色像素方案(例如，青色、洋紅色和黃色)。為了簡(jiǎn)單，本申請(qǐng)的剩余部分將主要參考RGB像素方案，即使可以使用其他有色方案。

如圖1a和1b中觀察到的，在實(shí)施例中，作為與飛行時(shí)間測(cè)量相關(guān)聯(lián)的IR光典型地具有比與傳統(tǒng)圖像捕獲相關(guān)聯(lián)的可見(jiàn)光更弱的強(qiáng)度的結(jié)果，Z像素制作得比RGB像素大。這里，IR光典型地使用與照相機(jī)系統(tǒng)集成在一起的、具有有限發(fā)射強(qiáng)度的一個(gè)或多個(gè)垂直腔面發(fā)射激光器(VCSEL)或者發(fā)光二極管(LED)生成。如此，在IR光從對(duì)象反射并且由Z像素接收之后，IR光具有比普通日光或點(diǎn)亮的房間更小的強(qiáng)度。通過(guò)形成較大的Z像素，Z像素能夠捕獲充足量的IR光(盡管它的強(qiáng)度較弱)，以生成可感知的信號(hào)。

圖2示出包括如上面關(guān)于圖1a和1b討論的單片RGBZ傳感器的照相機(jī)200的實(shí)施例的截面。如在圖2中觀察到的，照相機(jī)200包括可見(jiàn)光光學(xué)系統(tǒng)210和IR光光學(xué)系統(tǒng)211?？梢?jiàn)光光學(xué)系統(tǒng)210包括透鏡系統(tǒng)212和阻擋IR光的IR濾光器213。IR光光學(xué)系統(tǒng)211包括透鏡系統(tǒng)214和阻擋可見(jiàn)光的可見(jiàn)光濾光器215。由可見(jiàn)光光學(xué)系統(tǒng)210處理的入射光最終由RGB像素陣列203接收。由IR光光學(xué)系統(tǒng)211處理的入射光最終由Z像素陣列204接收。RGB像素陣列203和Z像素陣列204集成在同一半導(dǎo)體芯片201上。半導(dǎo)體芯片201安裝在下面的基底202上，如下面更詳細(xì)描述的，基底202可以是封裝基底或者另一個(gè)半導(dǎo)體芯片202。

可見(jiàn)光光學(xué)系統(tǒng)210和IR光光學(xué)系統(tǒng)211可以單獨(dú)地/個(gè)體地包裝(例如，使用各自的、包圍的外殼)，使得由一個(gè)系統(tǒng)接收的光不會(huì)進(jìn)入另一個(gè)系統(tǒng)?？梢?jiàn)光系統(tǒng)210中IR濾光器213對(duì)IR光的阻擋基本上防止RGB像素203檢測(cè)到/響應(yīng)由飛行時(shí)間照明器生成的IR光。類(lèi)似地，IR光系統(tǒng)211中可見(jiàn)光濾光器215對(duì)可見(jiàn)光的阻擋基本上防止Z像素204檢測(cè)到/響應(yīng)可見(jiàn)光。如此，像素陣列203、204都將基本上接收與它們應(yīng)當(dāng)感測(cè)到的特定圖像相關(guān)聯(lián)的光。

兩個(gè)光學(xué)系統(tǒng)的下面部分包含鏡子系統(tǒng)216以使得來(lái)自?xún)蓚€(gè)光學(xué)系統(tǒng)210、211的輸出圖像平面更加靠近。這里，因?yàn)镽GB像素陣列203和Z像素陣列204集成在同一半導(dǎo)體芯片201的表面上，它們的相對(duì)分離能夠制作得比在該對(duì)光學(xué)系統(tǒng)210、211中使用的透鏡的尺寸小。多元件透鏡系統(tǒng)212、214的設(shè)計(jì)和操作在本領(lǐng)域中通常已知并且將不會(huì)深度地討論。這里，如本領(lǐng)域中已知的，透鏡系統(tǒng)212、214的每個(gè)被設(shè)計(jì)為捕獲來(lái)自相當(dāng)廣的角度的入射光以向照相機(jī)提供更大的視野，并且然后以可接受地小的光學(xué)畸變將入射光處理成圖像平面。

圖3a至3c描繪將完整的圖像傳感器的一些或全部組件集成到同一半導(dǎo)體晶片上和/或同一半導(dǎo)體芯片封裝內(nèi)作為單片集成的RGB和Z像素陣列的各種實(shí)施例。如在本領(lǐng)域中已知的，完整的圖像傳感器典型地包括像素陣列電路系統(tǒng)、模擬到數(shù)字(ADC)電路系統(tǒng)以及定時(shí)和控制電路系統(tǒng)。像素陣列電路系統(tǒng)直接耦合到像素陣列并且用作到像素陣列的電接口。像素陣列電路系統(tǒng)典型地包括，例如，行地址解碼器、列地址解碼器和感測(cè)放大器。ADC電路系統(tǒng)負(fù)責(zé)將由像素生成的模擬信號(hào)轉(zhuǎn)換成數(shù)字值。

定時(shí)和控制電路系統(tǒng)負(fù)責(zé)生成用來(lái)操作像素陣列和ADC電路系統(tǒng)的控制信號(hào)和計(jì)時(shí)信號(hào)。用于飛行時(shí)間測(cè)量的Z像素典型地接收來(lái)自定時(shí)和控制電路系統(tǒng)的時(shí)鐘信號(hào)，每個(gè)時(shí)鐘信號(hào)與照明器的時(shí)鐘信號(hào)具有已知的相位關(guān)系。在一個(gè)實(shí)施例中，存在提供到Z像素陣列的每個(gè)Z像素的四個(gè)這種時(shí)鐘信號(hào)(例如，0°、90°、180°和270°正交臂)。

這里，由不同相位的時(shí)鐘計(jì)時(shí)的Z像素的區(qū)域?qū)?duì)于相同的閃光收集不同量的電荷。來(lái)自傳感器的相同/相近區(qū)域中的不同計(jì)時(shí)節(jié)點(diǎn)的所收集的電荷信號(hào)能夠組合在一起以生成關(guān)于節(jié)點(diǎn)所在區(qū)域的特定的飛行時(shí)間值。在一種方案中，這種組合由主機(jī)系統(tǒng)(例如，處理器或者應(yīng)用處理器)使用圖像信號(hào)處理器執(zhí)行。其他實(shí)現(xiàn)方式可以包括同一半導(dǎo)體芯片上的圖像信號(hào)處理器或者它的各種功能作為圖像傳感器。為了簡(jiǎn)單，討論的剩余部分將假設(shè)圖像信號(hào)處理器由主機(jī)執(zhí)行。

圖3a至3c示出關(guān)于單片集成的RGB像素陣列和Z像素陣列的不同封裝和/或體系結(jié)構(gòu)選項(xiàng)。如圖3a中觀察到的，完整的RGB圖像傳感器和完整的Z傳感器集成在同一半導(dǎo)體芯片301上。即，半導(dǎo)體芯片301不僅包括RGB像素陣列303和Z像素陣列304，而且包括關(guān)于RGB像素陣列303和Z像素陣列304的每個(gè)的各自的像素陣列電路系統(tǒng)321、ADC電路系統(tǒng)322以及定時(shí)和控制電路系統(tǒng)323。在該實(shí)施例中，半導(dǎo)體芯片301可以封裝在半導(dǎo)體芯片封裝中并且半導(dǎo)體芯片301的輸入和/或輸出終端(I/O)可以直接路由至封裝的I/O。如此，半導(dǎo)體芯片301的下面的基底302可以對(duì)應(yīng)于半導(dǎo)體芯片封裝基底。

如圖3b中觀察到的，半導(dǎo)體芯片301包括關(guān)于RGB像素陣列303和Z像素陣列304的各自的像素陣列電路系統(tǒng)321，但是不包括ADC電路系統(tǒng)或者定時(shí)和控制電路系統(tǒng)。這里，像圖3a的實(shí)施例一樣，半導(dǎo)體芯片301可以獨(dú)自封裝并且它的I/O路由到封裝外部。在這種情況下，下面的基底302對(duì)應(yīng)于封裝基底，并且所封裝的產(chǎn)品本質(zhì)上是具有支持像素陣列電路系統(tǒng)321的一對(duì)像素陣列303、304。

相對(duì)照，如圖3c中觀察到的，下面的基底302可以對(duì)應(yīng)于第二、下面的半導(dǎo)體芯片，具有像素陣列303、304的半導(dǎo)體芯片301堆疊在第二、下面的半導(dǎo)體芯片上。第二、下面的半導(dǎo)體芯片302然后可以安裝在封裝基底(未示出)上。芯片堆疊可以例如通過(guò)在上面的像素陣列半導(dǎo)體芯片301內(nèi)形成基底通孔而完成，基底通孔在芯片的背面終止并且通過(guò)位于其間的焊料的微凸塊接觸下面的半導(dǎo)體芯片302的上表面上的焊盤(pán)(lands)。作為替換，圍繞上面的像素陣列晶片301的外圍的焊線(wire bond)焊盤(pán)可以支持接觸封裝基底上的焊線焊盤(pán)的焊線。

下面的半導(dǎo)體芯片302然后可以包括圖像傳感器的剩余組件的一個(gè)或多個(gè)。具體地，下面的半導(dǎo)體芯片302可以包括關(guān)于RGB像素陣列303和Z像素陣列304的任一或者二者的ADC電路系統(tǒng)322和/或定時(shí)和控制電路系統(tǒng)323的一個(gè)或多個(gè)。如此，包括兩個(gè)半導(dǎo)體芯片301、302的封裝可以包括關(guān)于兩個(gè)像素陣列303、304的完整的圖像傳感器的所有或者至少實(shí)質(zhì)部分。

圖4a至4d示出制造集成的RGB像素陣列和Z像素陣列的方法。如圖4a中觀察到的，由許多沉積的并且圖案化的金屬化層形成的各自的電子互連要素430_1、430_2布置在半導(dǎo)體芯片基底431上，其中，互連要素被組織成針對(duì)每個(gè)像素陣列的集合430_1、430_2(例如，布線的第一集合430_1用于RGB像素陣列，并且布線的第二集合430_2用于Z像素陣列(即使兩個(gè)集合430_1、430_2可以占據(jù)比如說(shuō)金屬化層。))在實(shí)施例中，如圖4a中觀察到的，Z像素比RGB像素大。如此，用于RGB像素的布線集合430_1傾向于比用于Z像素的布線集合430_2更密集。

對(duì)于每個(gè)像素，電子互連要素430_1、430_2典型地包括到底層硅的一個(gè)或多個(gè)觸點(diǎn)(例如，偏置像素和/或拾取像素的光感應(yīng)的電信號(hào))以及到/來(lái)自例如位于像素陣列外圍的外部的支持像素陣列電路的布線。代表這種電路系統(tǒng)的晶體管432在圖4a中描繪。注意，雖然圖3a至3c的實(shí)施例沒(méi)有指示電路系統(tǒng)可以位于RGB和Z像素陣列之間的區(qū)域中，但是圖4a指示它們可以如此位于(如由兩個(gè)像素陣列之間晶體管的存在觀察到的)。

金屬化層內(nèi)的觸點(diǎn)和布線通過(guò)交替介電層和金屬層的沉積和圖案化而形成(例如，經(jīng)由光致抗蝕劑分層和掩模曝光)而形成。典型地，某種形式的絕緣鈍化層(例如，二氧化硅(SiO2)的薄層)也沉積在結(jié)構(gòu)的金屬化部分的最上層上。因此，當(dāng)互連金屬化序列完成時(shí)，關(guān)于兩個(gè)圖像傳感器的布線集成在半導(dǎo)體基底431上。

如圖4b中觀察到的，在金屬化層上面，可以(可選地)存在有經(jīng)像素化的孔徑層433或者“遮光板”，以在光學(xué)信號(hào)撞擊到半導(dǎo)體基底431的表面上之前對(duì)光學(xué)信號(hào)有效地進(jìn)行像素化。通常阻止撞擊到孔徑層金屬化433上的入射光到達(dá)底層半導(dǎo)體基底431表面(如此，孔徑層433可以由諸如金屬這樣的反射入射光的材料制成)。孔徑層433典型地用來(lái)防止或者減少像素之間的串?dāng)_和/或防止或者減少晶體管或者像素附近/內(nèi)的其他有源器件由于它們對(duì)入射光的敏感性而對(duì)其操作的干擾?？讖綄?33可以作為單獨(dú)的薄膜沉積在互連金屬化430上或者形成在上面討論的互連金屬化430的最后一層中。再次，在各種實(shí)施例中，Z像素可以比RGB像素大。如此，Z像素陣列孔徑層433_2的開(kāi)口可以大于RGB像素陣列孔徑層433_1的開(kāi)口。

如圖4c中觀察到的，關(guān)于結(jié)構(gòu)的RGB一側(cè)，形成有色濾光器434的陣列。每個(gè)有色濾光器與特定的孔徑以及半導(dǎo)體基底431的底層區(qū)域垂直對(duì)齊。每個(gè)個(gè)體濾光器也具有被設(shè)計(jì)為主要通過(guò)特定色彩(紅色、藍(lán)色或者綠色)的光的特定光學(xué)通帶?？梢詧?zhí)行多個(gè)序列，以便形成RGB濾光器，因?yàn)槊總€(gè)類(lèi)型的濾光器R、G和B將典型地需要針對(duì)它自己的特定色彩的至少一個(gè)掩模和/或染色或者其他序列。每個(gè)類(lèi)型的有色濾光器可以由許多處理中的任何幾個(gè)形成，諸如：1)將波音層涂覆在底層結(jié)構(gòu)的表面上，并且然后通過(guò)光致抗蝕劑掩模對(duì)波音染料進(jìn)行熱轉(zhuǎn)印，并且然后剝?nèi)パ谀＃?)將透明層涂覆在底層結(jié)構(gòu)的表面上，并且然后通過(guò)光致抗蝕劑掩模吸收染料，并且然后剝?nèi)パ谀＃?)將經(jīng)染色的層涂覆在底層結(jié)構(gòu)的表面上，并且然后通過(guò)掩模對(duì)層的區(qū)域進(jìn)行反應(yīng)離子刻蝕(RIE)，并且然后剝?nèi)パ谀＃?)使用染料和光致抗蝕劑的組合涂覆材料并且對(duì)材料進(jìn)行圖案化。

雖然沒(méi)有描繪，IR濾光器的可選集合可以可選地布置在陣列的Z像素一側(cè)上。如果不包括IR濾光器(如圖4c中所描繪的)，那么在RGB濾光器陣列434的處理期間，能夠用掩模遮住像素陣列的Z側(cè)。

如圖4d中觀察到的，在有色濾光器434在結(jié)構(gòu)的RGB像素陣列一側(cè)上形成之后，微透鏡435_1、435_2在結(jié)構(gòu)的RGB陣列一側(cè)和Z像素陣列一側(cè)上都形成。注意，因?yàn)檩^大的Z像素大小，Z像素陣列一側(cè)上的微透鏡435_2比RGB像素陣列一側(cè)上的微透鏡435_1大。每個(gè)微透鏡陣列435_1、435_2能夠由許多各種處理中的任何幾個(gè)而形成，諸如：1)將一個(gè)或多個(gè)光致抗蝕劑層涂覆在底層結(jié)構(gòu)上并且烘烤光致抗蝕劑層，將光致抗蝕劑層圖案化為例如表示微透鏡陣列的圓圈/圓柱，并且然后將光致抗蝕劑圓圈/圓柱熔化成微透鏡的形狀；2)在透明層(例如，熔融石英)上執(zhí)行上面的1)的處理，并且使用熔化的光致抗蝕劑作為掩模，用于反應(yīng)離子刻蝕(RIE)刻蝕到透明層中(這完成更加豐滿的微透鏡到透明層中的形成)；3)瞄準(zhǔn)陣列圖案中的底層結(jié)構(gòu)的微噴射液滴，以及使得液滴凝固。

圖5示出由單片集成的RGB像素陣列和Z像素陣列執(zhí)行的方法。如圖5中觀察到的，方法包括在半導(dǎo)體芯片的表面面積的第一區(qū)域內(nèi)基本上僅接收可見(jiàn)光，以及在半導(dǎo)體芯片的表面面積的第二區(qū)域內(nèi)基本上僅接收紅外光，其中第一區(qū)域和第二區(qū)域是分離的501。方法也包括在第一區(qū)域內(nèi)在半導(dǎo)體芯片的第一多層結(jié)構(gòu)內(nèi)將可見(jiàn)光像素化成多個(gè)色彩，以及在第二區(qū)域內(nèi)在半導(dǎo)體芯片的第二多層結(jié)構(gòu)內(nèi)對(duì)紅外光進(jìn)行像素化502。方法也包括在第一區(qū)域內(nèi)使用半導(dǎo)體芯片的基底生成表示經(jīng)像素化的可見(jiàn)光的第一電子信號(hào)，以及在第二區(qū)域內(nèi)使用半導(dǎo)體芯片的基底生成表示經(jīng)像素化的紅外光的第二電子信號(hào)504。

圖6示出集成的傳統(tǒng)照相機(jī)以及飛行時(shí)間成像系統(tǒng)600。系統(tǒng)600具有用于例如與較大系統(tǒng)/主板，諸如膝上型計(jì)算機(jī)、平板計(jì)算機(jī)或者智能電話的系統(tǒng)/主板進(jìn)行電接觸的連接器601。取決于布局和實(shí)現(xiàn)方式，連接器601可以連接到排線(flex cable)，排線例如實(shí)現(xiàn)到系統(tǒng)/主板的實(shí)際連接，或者連接器601可以直接接觸系統(tǒng)/主板。

連接器601附接到可以作為交替的導(dǎo)電和絕緣層的多層結(jié)構(gòu)而實(shí)現(xiàn)的平面板602，其中對(duì)導(dǎo)電層進(jìn)行圖案化以形成支持系統(tǒng)600的內(nèi)部電氣連接的電子軌跡。通過(guò)連接器601，從較大主機(jī)系統(tǒng)接收命令，諸如將配置信息寫(xiě)入到照相機(jī)系統(tǒng)600內(nèi)的配置寄存器/從配置寄存器讀出配置信息的配置命令。

單片集成的RGB像素陣列和Z像素陣列603在位于照相機(jī)鏡頭模塊604下面的半導(dǎo)體芯片上實(shí)現(xiàn)，照相機(jī)鏡頭模塊604具有可見(jiàn)光光學(xué)系統(tǒng)610和IR光學(xué)系統(tǒng)610。單片集成的RGB像素陣列和Z像素陣列可以是具有關(guān)于兩個(gè)像素陣列的ADC電路系統(tǒng)以及定時(shí)和控制電路系統(tǒng)的RGBZ圖像傳感器的一部分，RGBZ圖像傳感器封裝在半導(dǎo)體芯片封裝中并且安裝在平面板602上。RGB像素用來(lái)支持傳統(tǒng)的“2D”可見(jiàn)圖像捕獲(傳統(tǒng)照相)功能。IR敏感的Z像素用來(lái)支持使用飛行時(shí)間技術(shù)的3D深度輪廓成像。雖然基本的實(shí)施例包括RGB像素用于可見(jiàn)圖像捕獲，但是其他實(shí)施例可以使用不同的有色像素方案(例如，青色、洋紅色和黃色)。

平面板602可以類(lèi)似地包括信號(hào)軌跡，以將由ADC電路系統(tǒng)提供的數(shù)字信息運(yùn)送到連接器601，用于由諸如(例如，集成在應(yīng)用處理器上的)圖像信號(hào)處理管道這樣的計(jì)算系統(tǒng)的較高端組件進(jìn)行處理。注意，在其他實(shí)施例中，在ADC輸出像素流上執(zhí)行的至少某種形式的數(shù)字信號(hào)處理或者圖像信號(hào)處理管道可以使用集成到照相機(jī)系統(tǒng)600中的半導(dǎo)體芯片上的數(shù)字邏輯電路系統(tǒng)執(zhí)行。

孔徑606下面由光源607構(gòu)成的照明器605也安裝在平面板602上。光源607可以作為在安裝到平面板601的半導(dǎo)體芯片上實(shí)現(xiàn)的垂直腔面發(fā)射激光器(VCSEL)或者發(fā)光二極管(LED)的陣列而實(shí)現(xiàn)。作為替換，可以使用單個(gè)光源(例如，與陣列相對(duì)照，單個(gè)VCSEL或者LED)。光源驅(qū)動(dòng)器耦合到光源陣列以使得它發(fā)射具有特定強(qiáng)度和經(jīng)調(diào)制波形的光。

在實(shí)施例中，圖6的集成系統(tǒng)600支持三種操作模式：1)2D模式；3)3D模式；以及3)2D/3D模式。在2D模式的情況下，系統(tǒng)表現(xiàn)為傳統(tǒng)照相機(jī)。如此，照明器607被禁用并且圖像傳感器用來(lái)通過(guò)它的RGB像素接收可見(jiàn)圖像。在3D模式的情況下，系統(tǒng)正在捕獲照明器607和照相機(jī)鏡頭模塊604的視野內(nèi)的對(duì)象的飛行時(shí)間深度信息。如此，照明器被啟用并且將IR光(例如，以開(kāi)-關(guān)-開(kāi)-關(guān)…序列)發(fā)射到對(duì)象上。IR光從對(duì)象反射，通過(guò)照相機(jī)鏡頭模塊604接收并且由圖像傳感器的飛行時(shí)間像素感測(cè)。在2D/3D模式的情況下，上面描述的2D和3D模式同時(shí)起作用。

圖7示出諸如個(gè)人計(jì)算系統(tǒng)(例如，臺(tái)式機(jī)或者膝上型計(jì)算機(jī))或者諸如平板設(shè)備或者智能電話這樣的移動(dòng)或手持計(jì)算系統(tǒng)這樣的示例性計(jì)算系統(tǒng)700的描繪。如圖7中觀察到的，基本的計(jì)算系統(tǒng)可以包括中央處理單元701(其可以包括，例如，多個(gè)通用處理核)以及布置在應(yīng)用處理器或者多核處理器750上的主存儲(chǔ)控制器717、系統(tǒng)存儲(chǔ)器702、顯示器703(例如，觸摸屏、扁平面板)、本地布線的點(diǎn)對(duì)點(diǎn)鏈路(例如，USB)接口704、各種網(wǎng)絡(luò)I/O功能705(諸如以太網(wǎng)接口和/或蜂窩式調(diào)制解調(diào)器子系統(tǒng))、無(wú)線局域網(wǎng)(例如，WiFi)接口706、無(wú)線點(diǎn)到點(diǎn)鏈路(例如，藍(lán)牙)接口707以及全球定位系統(tǒng)接口708、各種傳感器709_1至709_N、一個(gè)或多個(gè)照相機(jī)710、電池711、電力管理控制單元712、揚(yáng)聲器和麥克風(fēng)713以及音頻編碼/解碼器714。

應(yīng)用處理器或者多核處理器750可以包括在它的CPU 401內(nèi)的一個(gè)或多個(gè)通用處理核715、一個(gè)或多個(gè)圖形處理單元716、主存儲(chǔ)控制器717、I/O控制功能718以及一個(gè)或多個(gè)圖像信號(hào)處理器管道719。通用處理核715典型地執(zhí)行計(jì)算系統(tǒng)的操作系統(tǒng)和應(yīng)用軟件。圖形處理單元716典型地執(zhí)行圖形密集型功能，以便例如生成在顯示器703上展示的圖形信息。存儲(chǔ)控制功能717與系統(tǒng)存儲(chǔ)器702接口連接。圖像信號(hào)處理管道719接收來(lái)自照相機(jī)的圖像信息并且處理原始圖像信息供下游使用。電力管理控制單元712通?？刂葡到y(tǒng)700的電力消耗。

相對(duì)于總體計(jì)算系統(tǒng)，觸摸屏顯示器703、通信接口704-707、GPS接口708、傳感器709、照相機(jī)710以及揚(yáng)聲器/麥克風(fēng)編碼解碼器713、714的每個(gè)都能夠看作各種形式的I/O(輸入和/或輸出)，在適當(dāng)?shù)那闆r下，總體計(jì)算系統(tǒng)同樣包括集成的外圍設(shè)備(例如，一個(gè)或多個(gè)照相機(jī)710)。取決于實(shí)現(xiàn)方式，這些I/O組件的各種可以集成在應(yīng)用處理器/多核處理器750上或者可以位于晶片外面或者應(yīng)用處理器/多核處理器750的封裝外部。

在實(shí)施例中，一個(gè)或多個(gè)照相機(jī)710包括集成的傳統(tǒng)可見(jiàn)圖像捕獲以及飛行時(shí)間深度測(cè)量系統(tǒng)，諸如上面關(guān)于圖6描述的系統(tǒng)600。在應(yīng)用處理器或者其他處理器的通用CPU核(或者具有指令執(zhí)行管道以執(zhí)行程序代碼的其他功能塊)上執(zhí)行的應(yīng)用軟件、操作系統(tǒng)軟件、設(shè)備驅(qū)動(dòng)軟件和/或固件可以將命令指向照相機(jī)系統(tǒng)并且從照相機(jī)系統(tǒng)接收?qǐng)D像數(shù)據(jù)。在命令的情況下，命令可以包括進(jìn)入或者離開(kāi)上面討論的2D、3D或者2D/3D系統(tǒng)狀態(tài)的任何。

本發(fā)明的實(shí)施例可以包括如上面陳述的各種處理。處理可以在機(jī)器可執(zhí)行指令中實(shí)施。指令能夠用來(lái)使得通用或者專(zhuān)用處理器執(zhí)行某些處理。作為替換，這些處理可以由包含用于執(zhí)行處理的硬接線邏輯的特定硬件組件，或者由經(jīng)編程的計(jì)算機(jī)組件和定制硬件組件的任何組合執(zhí)行。

本發(fā)明的元素也可以作為用于存儲(chǔ)機(jī)器可執(zhí)行指令的機(jī)器可讀介質(zhì)而提供。機(jī)器可讀介質(zhì)可以包括，但不局限于，軟盤(pán)、光盤(pán)、CD-ROM以及磁光盤(pán)、閃存、ROM、RAM、EPROM、EEPROM、磁性或者光學(xué)卡、傳播介質(zhì)或者適合于存儲(chǔ)電子指令的其他類(lèi)型的介質(zhì)/機(jī)器可讀介質(zhì)。例如，本發(fā)明可以作為計(jì)算機(jī)程序而下載，計(jì)算機(jī)程序可以經(jīng)由通信鏈路(例如，調(diào)制解調(diào)器或者網(wǎng)絡(luò)連接)借助于在載波或者其他傳播介質(zhì)中實(shí)施的數(shù)據(jù)信號(hào)從遠(yuǎn)程計(jì)算機(jī)(例如，服務(wù)器)傳送到請(qǐng)求計(jì)算機(jī)(例如，客戶(hù)端)。

在前面的說(shuō)明書(shū)中，已經(jīng)參考其特定的示例性實(shí)施例描述了本發(fā)明。然而，可以對(duì)其進(jìn)行各種修改和改變而不背離如在附加權(quán)利要求書(shū)中陳述的本發(fā)明的更廣泛精神和范圍將是顯然的。因此，在例示性而不是在限制性的意義上看待說(shuō)明書(shū)和附圖。