具有自動聚焦的纖薄多孔徑成像系統(tǒng)及其使用方法
【專利摘要】本發(fā)明提供了具有自動聚焦(AF)的雙孔徑數(shù)字攝影機以及有關(guān)的方法，其用于獲得對象或場景的聚焦的并且可選地經(jīng)過光學(xué)穩(wěn)定的彩色圖像。雙孔徑攝影機包括：具有第一光學(xué)元件模塊以及用于提供彩色圖像的彩色圖像傳感器的第一子攝影機，具有第二光學(xué)元件模塊以及用于提供輝度圖像的透明圖像傳感器的第二子攝影機，其中第一和第二子攝影機具有基本上相同的視場；機械地耦合到至少第一光學(xué)元件模塊的AF機制；以及耦合到AF機制并且耦合到兩個圖像傳感器的攝影機控制器，其被配置成控制AF機制，計算彩色與輝度圖像之間的由于AF機制所造成的縮放差異和銳度差異，并且利用所計算出的差異把彩色和輝度圖像處理成融合彩色圖像。
【專利說明】具有自動聚焦的纖薄多孔徑成像系統(tǒng)及其使用方法
[0001]相關(guān)申請的交叉引用
[0002]本申請涉及2013年8月I日提交的具有相同標題的美國臨時專利申請?zhí)?1/861，185并且要求其優(yōu)先權(quán)，該申請被全文合并在此以作參考。
技術(shù)領(lǐng)域
[0003]這里所公開的實施例總體上涉及數(shù)字攝影機，并且特別涉及具有自動聚焦的纖薄多孔徑數(shù)字攝影機。
【背景技術(shù)】
[0004]近年來，例如蜂窩電話、平板器件和膝上型計算機之類的移動器件已經(jīng)變得無所不在。這些器件當(dāng)中的大多數(shù)包括一個或兩個緊湊型攝影機一一即朝向后方的主要攝影機(即處于器件的背面的攝影機，其朝向離開用戶的方向并且常常被用于隨意的攝影)和朝向前方的次要攝影機(即位于器件的正面的攝影機，其常常被用于視頻會議)。
[0005]雖然其性質(zhì)是相對緊湊的，但是這些攝影機當(dāng)中的大多數(shù)的設(shè)計仍然非常類似于數(shù)字靜止攝影機的傳統(tǒng)結(jié)構(gòu)，也就是說其包括放置在圖像傳感器之上的光學(xué)組件(或者一串幾個光學(xué)元件和主要孔徑)。所述光學(xué)組件(其也被稱作“光學(xué)元件(optics)”)對進入的光線進行折射，并且將其彎曲以在傳感器上產(chǎn)生場景的圖像。這些攝影機的規(guī)格在很大程度上由傳感器的尺寸以及由光學(xué)元件的高度決定。這些因素通常通過透鏡的焦距(“f”)及其視場(FOV)而關(guān)聯(lián)在一起——必須把特定FOV成像在特定尺寸的傳感器上的透鏡具有特定的焦距。通過把FOV保持恒定，傳感器的規(guī)格越大(例如在X-Y平面中)，焦距和光學(xué)元件高度就越大。
[0006]隨著移動器件的規(guī)格縮小，緊湊型攝影機規(guī)格越來越成為限制器件厚度的關(guān)鍵因素。已經(jīng)提出了幾種方法來減小緊湊型攝影機厚度以便減輕這一約束。近來，為此目的已經(jīng)提出了多孔徑系統(tǒng)。在這樣的系統(tǒng)中，取代具有一串光學(xué)元件的一個孔徑，攝影機被劃分成幾個孔徑，每一個孔徑具有專用的光學(xué)元件，并且所有孔徑共享類似的視場。后面把每一個這樣的孔徑連同光學(xué)元件以及在其上形成圖像的傳感器區(qū)域定義成一個“子攝影機”。通常來說，在多孔徑攝影機設(shè)計中，與由參考單孔徑攝影機產(chǎn)生的圖像相比，每一個子攝影機在圖像傳感器上產(chǎn)生較小的圖像。因此，每一個子攝影機的高度可以小于單孔徑攝影機的高度，從而可以減小攝影機的總高度并且允許更加纖細的移動器件設(shè)計。
[0007]圖1A和IB分別示出了傳統(tǒng)攝影機和具有兩個子攝影機的雙孔徑攝影機的示意性設(shè)計。圖1A中的傳統(tǒng)攝影機100’包括放置在基板104上的圖像傳感器102和透鏡106?！皵z影機高度”被定義成從基板104到透鏡106的頂部的攝影機模塊的高度。圖1B中的雙孔徑攝影機100”包括兩個子攝影機，即具有圖像傳感器112a和具有光軸118a的透鏡116a的子攝影機I，以及具有圖像傳感器112b和具有光軸118b的透鏡116b的子攝影機2。兩個傳感器分別被放置在基板114a和114b上。為了比較起見，假設(shè)參考單孔徑攝影機和雙孔徑攝影機具有相同的視場(FOV)，并且其傳感器具有相同的像素尺寸。但是圖像傳感器102與圖像傳感器112a或圖像傳感器112b相比具有更高的分辨率(像素數(shù)目)，因此尺寸也更大?？梢哉J識到雙孔徑攝影機的攝影機高度方面的潛在優(yōu)點(也就是從基板114a到透鏡116a的頂部以及從基板114b到透鏡116b的頂部的厚度)。
[0008]在多孔徑攝影機設(shè)計中涉及幾方面的重大挑戰(zhàn)。首先，每一個子攝影機的傳感器區(qū)域與單孔徑攝影機的傳感器區(qū)域相比更小。如果把每一個子攝影機傳感器中的像素尺寸與單孔徑攝影機傳感器中的像素尺寸保持相同，則由每一個子攝影機捕獲的圖像的分辨率小于由單孔徑攝影機捕獲的分辨率。如果將把輸出圖像的分辨率保持相同，則需要把來自不同子攝影機的圖像組合成更高分辨率的圖像。這通常是通過專用算法在數(shù)字域內(nèi)進行的。已經(jīng)提出了用于組合較低分辨率圖像以產(chǎn)生更高分辨率圖像的幾種方法。這樣的方法中的一些算法需要低分辨率圖像的集合之間的配準步驟，以便解決視差(其由于子攝影機之間的視點的偏移而存在于多孔徑攝影機系統(tǒng)中)。在標題為“Dual aperture zoomdigital camera(雙孔徑變焦數(shù)字攝影機)”的共同轉(zhuǎn)讓的PCT專利申請PCT/IB2014/062180中描述了這樣的一種算法，其被全文合并在此以作參考。
[0009]另一項挑戰(zhàn)涉及要求攝影機對于較寬的物距范圍(在緊湊型攝影機模塊中通常是從幾厘米到無限遠)提供焦點對準的圖像。為了滿足這一要求，單孔徑攝影機可以包括自動聚焦(AF)機制，其通過沿著光軸移動光學(xué)元件從而改變其在傳感器上方的高度來控制光學(xué)元件的聚焦位置。在多孔徑攝影機中，為了對于較寬的物距范圍支持焦點對準圖像，一種直接明了的方法將是在每一個子攝影機中提供專用的AF機制。這種方法存在幾個缺陷，其中包括攝影機的尺寸和成本的增加、更高的操作功率以及更加復(fù)雜的控制，這是因為每一個子攝影機的AF機制需要被同步以便確保所有的子攝影機都被聚焦到相同的位置。
[0010]在多孔徑攝影機中使用AF機制時可能出現(xiàn)的另一個難題與組合較低分辨率子攝影機圖像以產(chǎn)生更高分辨率圖像的算法有關(guān)。由于AF機制在傳感器上方沿著光軸移動光學(xué)元件，因此其在某種程度上對形成在傳感器上的圖像進行縮放。每一個子攝影機中的不同AF機制的聚焦位置之間的微小差異可能導(dǎo)致不同的尺度被應(yīng)用于較低分辨率子攝影機圖像。這樣的尺度差異可能會降低算法中的圖像配準步驟的性能。由于所述尺度的動態(tài)性質(zhì)，針對不同尺度的校正并非是輕而易舉的一一被應(yīng)用在圖像上的尺度取決于光學(xué)元件的聚焦位置，而光學(xué)元件的聚焦位置又會隨著物距改變。這意味著無法通過校準多孔徑攝影機以及應(yīng)用固定的校正來輕易地校正尺度，相反，必須在每一幅圖像處估計正確的尺度。在有視差存在的情況下(其中不同的對象出現(xiàn)在作為其與攝影機的距離的函數(shù)的不同位置處)以及在一個孔徑中存在對象的可能遮擋而在另一個孔徑中不存在的情況下，從圖像估計將要應(yīng)用的正確尺度并非是輕而易舉的。因此，需要一種可以在每幅圖像的基礎(chǔ)上準確地估計并且校正縮放差異的方法。
[0011]作為針對使用AF的一種替換方案，已經(jīng)提出了完全不具有AF機制的多孔徑攝影機設(shè)計。這樣的設(shè)計依賴于每一個子攝影機的較小焦距來提供與支持更大傳感器的相應(yīng)的單孔徑攝影機相比增大的聚焦深度(DOF)。由于更大的DOF意味著更寬的物距范圍在焦點對準的情況下被成像到傳感器上，因此可以去除AF機制。雖然這種方法在成本、尺寸和系統(tǒng)復(fù)雜度方面是有利的，但是從多孔徑攝影機的較短焦距導(dǎo)致的更大DOF常常不足以對于其范圍從幾厘米到無限遠的物距支持焦點對準的圖像。在這些情況中，滿足于具有固定聚焦光學(xué)元件的多孔徑攝影機導(dǎo)致近物距處的較差成像性能。
[0012]在使用多個AF機制與僅使用固定聚焦光學(xué)元件之間，需要一種組合了AF機制的益處而不會對攝影機系統(tǒng)添加附加的復(fù)雜度和成本的多孔徑攝影機系統(tǒng)。

【發(fā)明內(nèi)容】

[0013]這里所公開的實施例提供了具有AF機制的多孔徑攝影機的設(shè)計，描述了一種動態(tài)地校正子攝影機圖像之間的尺度差異的算法，并且提出了一種與標準彩色濾光器陣列(CFA)相比在組合子攝影機圖像時可以得到更高分辨率和靈敏度的CFA設(shè)計。
[0014]在各個實施例中，提供了具有自動聚焦(AF)以用于對對象或場景進行成像的雙孔徑數(shù)字攝影機，每一個這樣的雙孔徑數(shù)字攝影機包括:包括第一光學(xué)元件模塊以及具有第一像素數(shù)目的彩色圖像傳感器的第一子攝影機，第一攝影機適于提供對象或場景的彩色圖像;包括第二光學(xué)元件模塊以及具有第二像素數(shù)目的透明圖像傳感器的第二子攝影機，第二子攝影機適于提供對象或場景的輝度圖像，其中第一和第二子攝影機具有基本上相同的視場;機械地耦合到至少第一光學(xué)元件模塊的AF機制；以及耦合到AF機制并且耦合到兩個圖像傳感器的攝影機控制器，其被配置成控制AF機制，計算彩色與輝度圖像之間的由于AF機制所造成的縮放差異和銳度差異，并且利用所計算出的差異把彩色和輝度圖像處理成融合彩色圖像。
[0015]第一像素數(shù)目和第二像素數(shù)目可以是相等的或不同的。第一和第二圖像傳感器被形成在單個基板上。第一子攝影機可以包括阻止IR波長進入彩色圖像傳感器的紅外(IR)濾光器，并且第二子攝影機可以被配置成允許至少一些IR波長進入透明圖像傳感器。在一些實施例中，所述彩色圖像傳感器可以包括非標準彩色濾光器陣列(CFA)。
[0016]在一個實施例中，AF機制可以機械地耦合到第一光學(xué)元件模塊，并且第二光學(xué)元件模塊可以具有固定的聚焦位置。在一個實施例中，所述固定聚焦位置可以使得第二子攝影機的DOF范圍處于無限遠與小于大約10cm之間。在一個實施例中，AF機制可以機械地親合到第一和第二光學(xué)元件模塊，并且適于在對應(yīng)的光學(xué)元件模塊光軸的共同方向上將其一同移動。
[0017]在一個實施例中，所述攝影機還可以包括機械地耦合到第一和第二光學(xué)元件模塊的光學(xué)圖像穩(wěn)定機制，且處在垂直于對應(yīng)的光學(xué)元件模塊光軸的方向上以便對AF融合彩色圖像實施光學(xué)穩(wěn)定。
[0018]在一個實施例中，提供了一種用于利用雙孔徑攝影機獲得對象或場景的聚焦彩色圖像的方法，其包括以下步驟:同時獲得對象或場景的自動聚焦彩色圖像和自動聚焦或固定聚焦輝度圖像，其中彩色圖像具有第一分辨率、第一有效分辨率和第一信噪比(SNR)，并且其中輝度圖像具有第二分辨率、第二有效分辨率和第二 SNR;在考慮到由AF動作所導(dǎo)致的縮放和銳度差異的情況下，對所述兩幅圖像進行預(yù)處理，以便獲得對應(yīng)的經(jīng)過矯正、規(guī)范化以及尺度調(diào)節(jié)的彩色和輝度圖像;在所述經(jīng)過矯正、規(guī)范化以及尺度調(diào)節(jié)的彩色和輝度圖像之間實施局部配準，從而獲得配準圖像；以及將配準圖像融合到聚焦融合彩色圖像中。
[0019]在一個實施例中，所述用以獲得經(jīng)過尺度調(diào)節(jié)的彩色和輝度圖像的預(yù)處理步驟包括計算彩色和輝度圖像中的相應(yīng)點的集合，從每一個相應(yīng)點提取單個坐標，并且使用所述單個坐標來估計彩色與輝度圖像之間的縮放因數(shù)S。所提取的坐標是Y，并且縮放因數(shù)S可以由S = (Y2 ’ *W*Y2)\Y2 ’ *W*Y1給出，其中Yl是從一幅圖像取得的各點的Y坐標的矢量，Y2是從另一幅圖像取得的各點的Y坐標的矢量，并且W是保持Y2的絕對值的對角矩陣。
[0020]在一個實施例中，一種方法還可以包括使用縮放因數(shù)S對其中一幅圖像進行縮放以便匹配另一幅圖像，從而獲得配準圖像。
[0021]在一個實施例中，一種方法還可以包括對所獲得的彩色和輝度圖像實施光學(xué)穩(wěn)定。
【附圖說明】
[0022]下面將參照在本段之后列出的附圖來描述這里所公開的實施例的非限制性實例。附圖及其描述意圖說明和澄清這里所公開的實施例，而不應(yīng)當(dāng)被視為以任何方式作出限制。
[0023]圖1A示意性地示出了傳統(tǒng)數(shù)字攝影機的設(shè)計；
[0024]圖1B示意性地示出了多孔徑攝影機的設(shè)計；
[0025]圖2在(a)—般等距視圖和(b)剖面等距視圖中示意性地示出了這里所公開的具有自動聚焦的雙孔徑成像系統(tǒng)的一個實施例；
[0026]圖3示出了用于圖2中的成像系統(tǒng)的圖像傳感器的一個實施例，其中一個子攝影機具有CFA傳感器，另一個子攝影機則具有透明傳感器；
[0027]圖4A示意性地示出了這里所公開的方法的一個實施例的流程圖；
[0028]圖4B在流程圖中示出了圖4A所示的方法中的尺度調(diào)節(jié)步驟的細節(jié)；
[0029]圖4C示出了具有相應(yīng)點的兩幅圖像；
[0030]圖5A在剖面等距視圖中示意性地示出了這里所公開的具有單個自動聚焦機制的雙孔徑成像系統(tǒng)的另一個實施例；
[0031]圖5B在流程圖中示意性地示出了用于利用圖5A中的成像系統(tǒng)進行自動聚焦成像的方法的一個實施例；
[0032]圖6在剖面等距視圖中示意性地示出了利用單個自動聚焦機制編號的雙孔徑成像系統(tǒng)的另一個實施例。
【具體實施方式】
[0033]圖2在(a)—般等距視圖和(b)剖面等距視圖中示意性地示出了編號為200的這里所公開的具有自動聚焦的雙孔徑成像系統(tǒng)的一個實施例。在后面的描述中，“成像系統(tǒng)”和“攝影機”可以被互換使用。系統(tǒng)200包括被標記為202和204的兩個子攝影機，每一個子攝影機具有其自身的光學(xué)元件。因此，子攝影機202包括具有孔徑208的光學(xué)元件模塊206和光學(xué)透鏡模塊210，以及傳感器212。類似地，子攝影機204包括具有孔徑216的光學(xué)元件模塊214和光學(xué)透鏡模塊218，以及傳感器220。所述傳感器在后面也被稱作“傳感器I”(212)和“傳感器2”(220)。應(yīng)當(dāng)提到的是，所述兩個傳感器可以被實施成相同基板上的兩個不同的區(qū)域，而不一定被實施成兩個獨立的傳感器。每一個光學(xué)透鏡模塊可以包括幾個透鏡元件以及紅外(IR)濾光器222a、b。在一些實施例中，屬于不同孔徑的其中一些或所有透鏡元件可以被形成在相同的基板上。所述兩個子攝影機被彼此緊挨著放置，其中在兩個孔徑208與216之間有一條較小的基線224。每一個子攝影機還分別包括自動聚焦機制226和228。
[0034]在每一個子攝影機中使用的傳感器可以具有不同的彩色濾光器陣列(CFA)。在一些實施例中，傳感器I可以具有一種類型的CFA，傳感器2則可以具有另一種類型的CFA。在一些實施例中，傳感器I可以具有CFA，傳感器2可以具有“白色”或“透明”濾光器陣列(由W標記)一一其中所有像素吸收例如400nm到700nm之間的相同的較寬波長范圍(而不是每一個像素吸收光譜的一個較小部分)。具有彩色濾光器陣列的傳感器在后面可以被稱作“彩色圖像傳感器”，而具有透明或W濾光器陣列的傳感器則被稱作“透明圖像傳感器”。
[0035]圖3示出了一個傳感器實施例300，其中數(shù)字“I”代表傳感器I (其具有CFA)，數(shù)字“2”代表傳感器2(其具有透明“白色”濾光器陣列)。圓圈302a、302b標記由光學(xué)元件在傳感器上形成的圖像圓圈，白色區(qū)域304則標記傳感器位于其上的基板。圓圈302a、302b可以大于在其上形成圖像的傳感器的對應(yīng)尺寸。在某些情況下，可能會發(fā)生兩個圖像圓圈之間的重疊，并且可能需要機械擋光元件(例如壁板)以防止子攝影機之間的光學(xué)串?dāng)_。通過使用傳感器I上的CFA，子攝影機I捕獲關(guān)于場景的顏色信息，子攝影機2則捕獲關(guān)于場景的輝度?目息O
[0036]傳感器I的CFA可以是標準的或非標準的。這里所使用的“標準CFA”可以包括已知的CFA，比如Bayer、RGBE、CYYM、CYGM以及不同的RGBW濾光器，比如RGBW#l、RGBW#2和RGB響3。“非標準” CFA式樣作為示例可以包括:2χ2微單元的重復(fù)，其中彩色濾光器順序是RRBB、RBBR或YCCY，其中Y =黃色=綠色+紅色，C =藍綠色=綠色+藍色;3x3微單元的重復(fù)，其中彩色濾光器順序是GBRRGBBRG(比如圖3A中的傳感器I中那樣)；以及6x6微單元的重復(fù)，其中彩色濾光器順序是以下選項的其中之一:
[0037]1、第 I 行:RBBRRB。第 2行:RffRBffB。第3 行:BBRBRR。第4 行:RRBRBB。第5行:BffBRffR。第6行:BRRBBR。
[0038]2、第 I 行:BBGRRG。第 2行:RGRBGB。第3 行:GBRGRB。第4 行:RRGBBG。第5行:BGBRGR。第6行:GRBGBR。
[0039 ] 3、第 I 行:RBBRRB。第 2行:RGRBGB。第3 行:BBRBRR。第4 行:RRBRBB。第5行:BGBRGR。第6行:BRRBBR。
[0040]4、第 I 行:RBRBRB。第 2行:BGBRGR。第3 行:RBRBRB。第4 行:BRBRBR。第5行:RGRBGB。第6行:BRBRBR。
[0041]利用前面列出的其中一些非標準CFA的傳感器I的CFA式樣相對于標準Bayer式樣的一個優(yōu)點在于，其把紅色、綠色和藍色均勻地劃分在傳感器像素上。這樣與標準Bayer式樣相比就導(dǎo)致對于紅色和藍色的更加精細的采樣，而綠色則受到更加粗略的采樣。但是由于傳感器2所捕獲的圖像被用來提取關(guān)于場景的輝度信息(而不是像在使用Bayer式樣時的情況那樣為此依賴于綠色通道)，因此綠色像素僅被用于顏色信息。
[0042]在傳統(tǒng)的緊湊型攝影機設(shè)計中，允許可見范圍內(nèi)的光進入并且阻擋IR范圍內(nèi)的光的濾光器通常被放置在光徑中，有時是作為保護傳感器的覆蓋玻璃的一部分。雖然對于IR光的阻擋會浪費光子，但是其允許更加準確地估計場景中的顏色，這是因為其減少了來自R、G和B彩色濾光器(其可能對于IR光敏感)的光譜響應(yīng)的顏色串?dāng)_。在一個實施例中，使得透明傳感器2對于IR光敏感，這是通過去除IR濾光器或者通過將其光譜響應(yīng)重新設(shè)計成允許IR范圍內(nèi)的一些光進入。除了可見范圍內(nèi)的光之外，捕獲IR光的動機是提高圖像中的信噪比(SNR)，這是因為許多自然的和人工的光源也會在IR光譜中發(fā)出光子。與具有彩色CFA的傳感器(即傳感器I)不同，對于IR光的吸收不會在透明傳感器2中引入顏色串?dāng)_(這是因為該傳感器記錄場景的全色圖像)。
[0043]去除IR濾光器可能對圖像質(zhì)量有一些負面影響。舉例來說，擴展由攝影機捕獲的波長范圍可能會導(dǎo)致縱向色差，這可能會降低點擴散函數(shù)(PSF)的質(zhì)量從而導(dǎo)致模糊的圖像。為了解決這一問題，在一個實施例中，在可見和IR范圍全部二者上對子攝影機2的光學(xué)元件進行優(yōu)化，以便減輕色差的影響，并且與使用IR濾光器的標準緊湊型攝影機光學(xué)元件相比得到更加緊湊的PSF。這與僅考慮可見范圍內(nèi)的波長的標準優(yōu)化處理不同。
[0044]在使用中，兩個子攝影機共享類似的F0V，并且具有基本上相等(僅受到制造容差的限制)的焦距。圖像捕獲處理被同步，從而使得兩個子攝影機在特定時刻捕獲場景的圖像。由于子攝影機的兩個孔徑之間的較小的基線(其可以是僅僅幾毫米，例如6.5mm或8.5mm)，根據(jù)場景中的物距，輸出圖像可能會表現(xiàn)出視差。數(shù)字圖像處理算法在被稱作“圖像融合”的處理中把兩幅圖像組合成一幅圖像。在后文中，實施該處理的算法被稱作“圖像融合算法”。與一幅子攝影機圖像相比，所述算法所得到的圖像可以具有更高的分辨率(在圖像像素方面)和/或更高的“有效分辨率”(在解析場景中的空間頻率的能力方面，更高的“有效分辨率”意味著解析更高空間分辨率的能力)和/或更高的SNR。
[0045]在分辨率方面并且作為示例，如果每一個子攝影機產(chǎn)生5兆像素(2592x1944像素)圖像，則圖像融合算法可以組合兩幅圖像以產(chǎn)生具有8兆像素(3264x2448像素)分辨率的一幅圖像。在有效分辨率方面，假設(shè)所成像的對象或場景包括空間頻率，則通過使用這里所公開的具有透明傳感器和彩色傳感器的雙孔徑攝影機導(dǎo)致有效分辨率的總體提高，這是因為與彩色傳感器相比，透明傳感器有能力解析場景的輝度分量的更高空間頻率。在這里所公開的方法(參見后文)中實施的彩色和透明圖像的融合在比彩色(例如Bayer)子攝影機所可能捕獲的更高空間頻率中增加了信息。
[0046]為了生成更高分辨率或更高有效分辨率的圖像，所述圖像融合算法把來自子攝影機I的顏色信息與來自子攝影機2的輝度信息相組合。由于透明傳感器2與彩色傳感器I中的任何顏色通道或其輝度相比在更高的有效空間采樣率下對場景進行采樣，因此與僅來自子攝影機I的輸出圖像相比，所述算法合成了包括更高空間頻率處的信息的圖像。所述算法的目標是達到類似于從具有更高像素數(shù)目的傳感器的單孔徑攝影機所獲得的空間分辨率。繼續(xù)前面的實例，所述算法可以組合兩幅5兆像素圖像(一幅彩色圖像和一幅輝度圖像)，從而產(chǎn)生具有類似于單孔徑8兆像素彩色攝影機的信息內(nèi)容的一幅8兆像素圖像。
[0047]除了改進的空間分辨率之外，與來自相應(yīng)的單孔徑攝影機的圖像相比，所述圖像融合算法還使用來自透明傳感器2的輝度信息生成具有提高的SNR的圖像。傳感器2的像素未被彩色濾光器覆蓋的事實允許每一個像素在更寬的波長光譜中吸收光，從而與彩色CFA攝影機相比導(dǎo)致光效率的顯著提高。在一個實施例中，透明圖像信息與彩色圖像信息的融合于是提供與單孔徑數(shù)字攝影機相比的+3dB的SNR提高。
[0048]由于透明傳感器2比彩色傳感器I更加敏感，可能需要調(diào)節(jié)曝光時間或模擬增益以便匹配兩個攝影機之間的數(shù)字信號水平。這可以通過對于全部兩個傳感器固定相同的曝光時間并且對于每一個傳感器配置不同的模擬增益來實現(xiàn)，或者通過固定全部兩個傳感器中的模擬增益并且對于每一個傳感器配置不同的曝光時間來實現(xiàn)。
[0049]圖4A在流程圖中示意性地示出了這里所公開的方法的一個實施例。圖4B在流程圖中示出了圖4A所示的方法中的尺度調(diào)節(jié)步驟的細節(jié)。分別來自子攝影機I和2的兩幅圖像400a和400b充當(dāng)輸入。兩幅圖像分別在對應(yīng)于傳感器I的彩色圖像的步驟402a和對應(yīng)于傳感器2的輝度圖像的步驟402b中經(jīng)歷預(yù)處理。步驟402a包括ISP管線中的數(shù)字圖像信號處理(ISP)t3ISP生成在每一個圖像像素處具有R、G、B數(shù)值的全彩色圖像。如果傳感器I上的CFA式樣是非標準的，則ISP包括非標準的去馬賽克(demosaicing)，以便在每一個像素位置處內(nèi)插缺失的顏色。除了去馬賽克之外，可以在圖像上應(yīng)用本領(lǐng)域內(nèi)已知的其他標準ISP管線算法，比如黑色水平校正、缺陷像素校正、噪聲去除等等。此外還對來自子攝影機2的輝度圖像進行預(yù)處理，以便校正缺陷、噪聲、陰影分布、模糊以及其他光學(xué)、模擬和數(shù)字像差。隨后在步驟404中在兩幅圖像上應(yīng)用規(guī)范化、矯正和尺度調(diào)節(jié)。首先，對兩幅圖像進行規(guī)范化，以使其具有相同的均值信號強度和標準偏差(其是針對圖像動態(tài)范圍的度量)。這是通過在每一幅圖像中從每一個像素減去均值并且將每一個像素除以標準偏差而實現(xiàn)的。隨后通過應(yīng)用兩個射影矩陣對圖像進行矯正，以便校正圍繞x、y和z軸的不同旋轉(zhuǎn)，校正兩個攝影機的光學(xué)中心的x-y平移，并且修復(fù)透鏡畸變。所述射影矩陣參數(shù)是從校準數(shù)據(jù)預(yù)先計算的，所述校準數(shù)據(jù)可以是通過在攝影機模塊組裝期間對于每一個攝影機模塊所應(yīng)用的校準步驟而獲取的。所述數(shù)據(jù)可以被保存在攝影機模塊中的一次可編程存儲器或EEPROM中。在矯正步驟之后，在兩個子攝影機被沿著X軸并排放置的情況下，全部兩幅圖像中的核線或多或少地平行于圖像的水平軸，或者在兩個子攝影機被沿著Y軸并排放置的情況下，則平行于圖像的垂直軸。
[0050]現(xiàn)在將參照圖4B更加詳細地描述在矯正步驟之后進行的尺度調(diào)節(jié)。分別來自子攝影機I和2的經(jīng)過預(yù)處理和矯正的圖像418a和418b(其也在圖4C中被示例性地示出)充當(dāng)輸入。在步驟420中，找到兩幅圖像之間的相應(yīng)點。在一個實施例中，在整幅圖像上計算相應(yīng)點的集合。在另一個實施例中，對于每一幅圖像中的特定感興趣區(qū)段(ROI)找到相應(yīng)點的集合。圖4C示意性地示出了由具有一些視差的鄰近攝影機(即由子攝影機I捕獲的A以及由子攝影機2捕獲的A’)捕獲的相同場景的兩幅圖像A和B—一由于不同的視點，取決于其與攝影機的距離，對象被成像時與另一幅圖像相比在一幅圖像中具有一些位移。特征對a-a’、b-b’和c-c’代表兩幅圖像A和A’中的相同的“相應(yīng)點”。使用一種算法來找到兩幅圖像之間的相應(yīng)點。在兩幅圖像中找到一個顯著點的集合(例如角落)，并且隨后所述算法找到兩幅圖像中的點之間的匹配。這樣的算法對于本領(lǐng)域技術(shù)人員是已知的。在步驟422中，僅提取Y坐標以便估計兩幅圖像之間的尺度。由于受到AF機制控制的光學(xué)元件的位置可能在兩幅子攝影機圖像之間引入不同的尺度，因此需要對于每一幅捕獲的圖像(也就是對于每一個聚焦位置)確定適當(dāng)?shù)某叨?。假設(shè)兩個子攝影機被沿著X軸彼此鄰近放置，則一旦找到相應(yīng)的點對，則在步驟422中從每一個點提取單個坐標。也就是說，所述算法僅考慮其Y坐標而不考慮其X坐標。發(fā)明人已經(jīng)有利地認識到，X坐標可能會受到視差的影響，而Y坐標在矯正步驟之后則在很大程度上不受視差的影響，因此Y坐標可以被用來更加魯棒地估計尺度。如果兩個子攝影機被沿著Y軸鄰近放置，則一旦找到相應(yīng)的點對，則所述算法僅考慮其X坐標而不考慮其Y坐標。繼續(xù)假設(shè)兩個子攝影機沿著X軸鄰近，相應(yīng)點的Y坐標在步驟424中被用來估計圖像之間的縮放因數(shù)S。在一個示例性實施例中，利用最小二乘法來實施縮放因數(shù)估計，在這種情況下S由下式給出:
[0051 ] S=(Y2’*W*Y2)\Y2’*W*Y1
[0052]其中Yl是從一幅圖像取得的各點的Y坐標的矢量，Y2是從另一幅圖像取得的各點的Y坐標的矢量，并且W是保持Y2的絕對值的對角矩陣。隨后在步驟426中使用縮放因數(shù)S對一幅圖像進行縮放，以便匹配兩幅圖像之間的尺度。在步驟426中，把每一幅圖像中的點坐標乘以相同的縮放因數(shù)S。最后，在步驟428中，經(jīng)過縮放的相應(yīng)點對被用來對于每一個軸計算兩幅圖像之間的X和y軸中的偏移。在一個實施例中，只有位于特定ROI中的相應(yīng)點的一個子集被用來計算X和y中的偏移。舉例來說，所述ROI可以是被用來確定聚焦并且可以由用戶或攝影機軟件(SW)選擇的區(qū)段。在其中一幅圖像或全部兩幅圖像上應(yīng)用所估計的偏移。圖4B中(以及圖4A的步驟404中)的尺度調(diào)節(jié)處理的結(jié)果是經(jīng)過縮放的圖像430。
[0053]現(xiàn)在參照圖4A，在步驟406中對經(jīng)過縮放的圖像應(yīng)用局部配準和視差校正以便估計視差圖(disparity map)。局部配準使用在步驟404中找到的尺度和偏移參數(shù)。隨后通過根據(jù)所述視差圖組合來自全部兩幅圖像的信息，在步驟408中實施融合以便增強最終圖像中的分辨率并且改進SNR。融合處理使用來自子攝影機I的圖像作為基線。其輸出是融合圖像410。隨后可以對融合圖像應(yīng)用后處理，比如色調(diào)映射、伽馬校正、對比度增強以及顏色校正/增強。
[0054]自動聚焦
[0055]正如前面關(guān)于圖2所提到的那樣，這里所公開的攝影機系統(tǒng)包括控制光學(xué)元件的聚焦位置的AF機制。圖2中示出的系統(tǒng)包括兩個這樣的AF機制。圖5A在剖面等距視圖中示意性地示出了具有單個自動聚焦機制的編號為500的雙孔徑成像系統(tǒng)的另一個實施例。除了常規(guī)的圖像傳感器和光學(xué)元件之外，系統(tǒng)500只包括位于彩色子攝影機I中的AF機制502。輝度子攝影機2不具有AF機制，而是固定聚焦攝影機，其焦點被固定到特定的物距。取決于焦距和光學(xué)元件設(shè)計，所述聚焦位置使得子攝影機2的DOF范圍處于無限遠與幾十厘米之間。舉例來說，DOF可以處于無限遠與50cm之間，從而使得子攝影機2將對于處在距離攝影機的該范圍內(nèi)的物距產(chǎn)生清晰的圖像。在系統(tǒng)500中，通過改變光學(xué)元件的聚焦位置，子攝影機I可以產(chǎn)生其中主要對象對于較寬的物距范圍處于焦點對準的圖像，從而使其在子攝影機I圖像中看起來是清晰的。
[0056]圖5B在流程圖中示意性地示出了利用具有AF的成像系統(tǒng)500進行圖像融合的方法的一個實施例。分別來自子攝影機I和2的兩幅圖像500a和500b充當(dāng)輸入。在步驟502中，對于子攝影機I選擇聚焦位置。在步驟504中實施檢查以便確定所成像的對象的距離是否處在子攝影機2的DOF內(nèi)，正如本領(lǐng)域內(nèi)已知的那樣，這是通過計算子攝影機I和2的圖像上的銳度量度而實現(xiàn)的。所述銳度量度的計算可以得到銳度差異。如果步驟504的檢查中的回答為“是”，則所述對象在子攝影機2圖像中看起來將是清晰的。在這種情況下，在步驟506中對由全部兩個子攝影機獲得的對象圖像應(yīng)用前面所描述的圖像融合，以便獲得更高的輸出分辨率和更好的SNR。如果對于檢查504的回答為“否”(也就是說對象的位置更靠近攝影機，并且處在子攝影機2的DOF范圍之外)，則對象在子攝影機2圖像中看起來將是模糊的(不清晰)。在這種情況下，來自子攝影機2的圖像不被用來增強分辨率，而是僅被用來改進來自子攝影機I的圖像的SNR。為此，在步驟508中應(yīng)用類似于前面的融合算法(規(guī)程)的另一種算法(規(guī)程)。將來自子攝影機I的圖像縮放到適當(dāng)?shù)妮敵龀叽纾⑶覒?yīng)用使用來自子攝影機2圖像的信息的去噪聲算法。由于在這種情況下在子攝影機2圖像中丟失了高頻率(由于散焦)，因此所述算法僅考慮來自子攝影機2的圖像的低空間頻率處的信息。為了確定物距，使用子攝影機I的AF機制的所選擇的聚焦位置(在聚焦處理收斂之后)。
[0057]圖6在剖面等距視圖中示意性地示出了具有單個AF機制的編號為600的雙孔徑成像系統(tǒng)的另一個實施例。類似于系統(tǒng)500，系統(tǒng)600除了常規(guī)的圖像傳感器和光學(xué)元件之外只包括一個AF機制602。但是與AF機制502不同，AF機制602把子攝影機I的光學(xué)元件和子攝影機2的光學(xué)元件一同移動。各個光學(xué)元件被安放在透鏡支架604上，所述透鏡支架604具有用以固定兩個透鏡的專用螺紋并且由AF機制移動。由于子攝影機I和子攝影機2的光學(xué)元件具有非常類似的焦距，因此所述機械移動把來自子攝影機I和來自子攝影機2的圖像同時帶到聚焦。這種構(gòu)造與只具有一個AF機制相比的優(yōu)點在于，全部兩個子攝影機都支持相同的物距范圍，因此可以對于整個范圍應(yīng)用圖像融合算法。在AF機制選擇對應(yīng)于透鏡的最佳聚焦位置時，可以把來自全部兩幅子攝影機圖像的信息納入考慮(以便例如幫助在低光情況下聚焦)。在低光中，由于圖像中的較低SNR，AF銳度測量的噪聲更多。通過使用兩幅圖像而不是一幅，可以幫助減少噪聲并且改進AF處理(算法)的魯棒性和準確性。
[0058]在一個實施例中，利用晶片級光學(xué)元件制造技術(shù)或者玻璃或塑料材料的噴射模塑，子攝影機I和子攝影機2的其中一些或所有光學(xué)元件被制作在相同的管芯上。在這種情況下，所述單個AF機制移動兩個子攝影機的光學(xué)元件被制作在其上的光學(xué)管芯，從而使得兩個光學(xué)堆疊一同移動。
[0059]在另一個實施例中，一種攝影機類似于攝影機500，并且包括被放置在子攝影機I(其具有彩色CFA)上的單個AF機制。子攝影機2不具有AF機制，而是使用具有提供擴展的聚焦深度的獨特特性的固定聚焦光學(xué)元件，這是通過光學(xué)設(shè)計而實現(xiàn)的(例如通過采用具有更窄的孔徑和更高F數(shù)的光學(xué)元件)。子攝影機2的光學(xué)元件的光學(xué)性能被設(shè)計成對于處在距離攝影機無限遠與幾cm之間的物距支持清晰的圖像一一在這種情況下，與前面所描述的單AF實施例相比，可以應(yīng)用融合算法以便對于更寬的物距范圍增強輸出分辨率。在攝影機的DOF與DOF范圍上的最小可實現(xiàn)PSF尺寸之間通常存在折中。在應(yīng)用融合算法以組合照片之前，可以使用一種算法來增強由子攝影機2捕獲的圖像的銳度。這樣的算法在本領(lǐng)域內(nèi)是已知的。
[0060]作為結(jié)論，這里所公開的雙孔徑攝影機以及此類攝影機的使用方法在攝影機高度、分辨率、有效分辨率和SNR方面具有優(yōu)于單孔徑攝影機的若干優(yōu)點。在攝影機高度方面，在一個實例中，具有70度對角線FOV的標準8兆像素1/3”攝影機可以具有5.7mm的模塊高度。與此相比，這里所公開的雙孔徑攝影機可以具有4.5mm的模塊高度，其中所述雙孔徑攝影機具有兩個5兆像素I/4”圖像傳感器(一個彩色圖像傳感器和一個透明圖像傳感器)，其分別具有70度對角線視場。在另一個實例中，具有76度對角線FOV的標準8兆像素1/3”攝影機可以具有5.2_的模塊高度。與此相比，這里所公開的雙孔徑攝影機可以具有4.1mm的模塊高度，其中所述雙孔徑攝影機具有兩個5兆像素1/4”圖像傳感器(一個彩色圖像傳感器和一個透明圖像傳感器)，其分別具有76度對角線F0V。
[0061]雖然通過某些實施例和總體上相關(guān)聯(lián)的方法描述了本公開內(nèi)容，但是本領(lǐng)域技術(shù)人員將認識到所述實施例和方法的改動和置換。應(yīng)當(dāng)理解的是，本公開內(nèi)容不受這里所描述的具體實施例的限制，而是僅由所附權(quán)利要求書的范圍限制。此外，在本申請中對于任何參考文獻的引述或標識應(yīng)當(dāng)被解釋成承認這樣的參考文獻可用于作為本申請的現(xiàn)有技術(shù)。
【主權(quán)項】
1.一種具有自動聚焦(AF)以用于對對象或場景進行成像的雙孔徑數(shù)字攝影機，其包括: a)包括第一光學(xué)元件模塊以及具有第一像素數(shù)目的彩色圖像傳感器的第一子攝影機，第一攝影機適于提供對象或場景的彩色圖像； b)包括第二光學(xué)元件模塊以及具有第二像素數(shù)目的透明圖像傳感器的第二子攝影機，第二子攝影機適于提供對象或場景的輝度圖像，其中第一和第二子攝影機具有基本上相同的視場； c)機械地親合到至少第一光學(xué)元件模塊的AF機制；以及 d)耦合到AF機制并且耦合到兩個圖像傳感器的攝影機控制器，其被配置成控制AF機制，計算彩色與輝度圖像之間的由于AF機制所造成的縮放差異和銳度差異，并且利用所計算出的差異把彩色和輝度圖像處理成融合彩色圖像。2.權(quán)利要求1的攝影機，其中，AF機制機械地耦合到第一光學(xué)元件模塊，并且其中第二光學(xué)元件模塊具有固定的聚焦位置。3.權(quán)利要求2的攝影機，其中，所述固定聚焦位置使得第二子攝影機的場深度范圍處于無限遠與小于大約10cm之間。4.權(quán)利要求1的攝影機，其中，AF機制機械地耦合到第一和第二光學(xué)元件模塊，并且適于在對應(yīng)的光學(xué)元件模塊光軸的共同方向上將其一同移動。5.權(quán)利要求4的攝影機，其還包括機械地耦合到第一和第二光學(xué)元件模塊的光學(xué)圖像穩(wěn)定機制，其適于在垂直于對應(yīng)的光學(xué)元件模塊光軸的方向上將其一同移動，以便對AF融合彩色圖像實施光學(xué)穩(wěn)定。6.權(quán)利要求1的攝影機，其中，第一像素數(shù)目和第二像素數(shù)目是相等的。7.權(quán)利要求1的攝影機，其中，第一像素數(shù)目和第二像素數(shù)目是不同的。8.權(quán)利要求1的攝影機，其中，第一和第二圖像傳感器被形成在單個基板上。9.權(quán)利要求1的攝影機，其中，第一子攝影機包括阻止IR波長進入彩色圖像傳感器的紅外(IR)濾光器，并且其中第二子攝影機被配置成允許至少一些IR波長進入透明圖像傳感器。10.權(quán)利要求1的攝影機，其中，所述彩色圖像傳感器包括非標準彩色濾光器陣列(CFA)011.權(quán)利要求10的攝影機，其中，所述非標準CFA包括3x3微單元的重復(fù)，其中的彩色濾光器順序為GBRRGBBRG。12.—種用于利用雙孔徑攝影機獲得對象或場景的聚焦彩色圖像的方法，其包括以下步驟: a)同時獲得對象或場景的自動聚焦(AF)彩色圖像和自動聚焦或固定聚焦(FF)輝度圖像，其中彩色圖像具有第一分辨率、第一有效分辨率和第一信噪比(SNR)，并且其中輝度圖像具有第二分辨率、第二有效分辨率和第二 SNR; b)在考慮到由AF動作所導(dǎo)致的縮放和銳度差異的情況下，對所述兩幅圖像進行非標準預(yù)處理，以便獲得對應(yīng)的經(jīng)過矯正、規(guī)范化以及尺度調(diào)節(jié)的彩色和輝度圖像； c)在所述經(jīng)過矯正、規(guī)范化以及尺度調(diào)節(jié)的彩色和輝度圖像之間實施局部配準，從而獲得配準圖像；以及 d)將配準圖像融合到聚焦融合彩色圖像中。13.權(quán)利要求12的方法，其中，所述用以獲得經(jīng)過尺度調(diào)節(jié)的彩色和輝度圖像的預(yù)處理步驟包括計算彩色和輝度圖像中的相應(yīng)點的集合，從每一個相應(yīng)點提取單個坐標，并且使用所述單個坐標來估計彩色與輝度圖像之間的縮放因數(shù)S。14.權(quán)利要求13的方法，其中，所提取的坐標是Y，并且其中縮放因數(shù)S由S= (Y2 ’Y2)\Y2 ’ *W*Y1給出，其中Yl是從一幅圖像取得的各點的Y坐標的矢量，Y2是從另一幅圖像取得的各點的Y坐標的矢量，并且W是保持Y2的絕對值的對角矩陣。15.權(quán)利要求14的方法，其還包括使用縮放因數(shù)S對其中一幅圖像進行縮放以便匹配另一幅圖像的步驟，從而獲得配準圖像。16.權(quán)利要求12的方法，其還包括對所獲得的彩色和輝度圖像實施光學(xué)穩(wěn)定的步驟。
【文檔編號】H04N5/238GK105917641SQ201480043316
【公開日】2016年8月31日
【申請日】2014年7月24日
【發(fā)明人】G·沙布岱, N·科恩, E·戈登堡, N·吉瓦, O·吉古因斯基
【申請人】核心光電有限公司