攝像裝置、圖像處理裝置以及攝像方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及從攝影開始到結(jié)束為止進(jìn)行多次攝影，并且在合成所取得的多個(gè)圖像數(shù)據(jù)時(shí)，去除攝像元件的固定圖案噪聲的影響的攝像裝置、圖像處理裝置以及攝像方法。
【背景技術(shù)】
[0002]以往，在單反式攝像裝置中，通過光學(xué)式取景器來進(jìn)行對(duì)被攝體像的觀察。然而，最近已知如下的攝像裝置，其不具備光學(xué)式取景器，而是通過使用液晶監(jiān)視器等顯示從圖像傳感器中讀出的圖像的實(shí)時(shí)取景顯示，來觀察被攝體像。此外，市面上銷售有如下的攝像裝置，其取代光學(xué)取景器，而使用不同于液晶顯示器的電子取景器來顯示基于實(shí)時(shí)取景顯示的圖像，并且能夠切換液晶監(jiān)視器和電子取景器。
[0003]以往，無論是光學(xué)取景器的情況還是電子取景器的情況下進(jìn)行B門(Bulb)攝影那樣的長時(shí)間攝影時(shí)，在曝光中無法進(jìn)行從圖像傳感器中的圖像信號(hào)讀出。因此，攝影者無法確認(rèn)被攝體的狀態(tài)和曝光狀態(tài)，而只能在攝影結(jié)束后才確認(rèn)到圖像。因此，對(duì)于攝影者而言，由攝影者自身根據(jù)被攝體的明亮度等推定曝光設(shè)定和曝光時(shí)間，以確定曝光的開始和結(jié)束，難以避免曝光不足或過多導(dǎo)致的攝影失敗，不容易得到期望的攝影圖像。
[0004]于是，提出了如下的攝像裝置，其以規(guī)定的時(shí)間間隔從圖像傳感器中讀出像素信號(hào)，并且將在每次從圖像傳感器中讀出該圖像信號(hào)時(shí)單純地進(jìn)行累積相加而得到的圖像顯示于液晶監(jiān)視器上。例如，根據(jù)日本公開專利2005-117395號(hào)公報(bào)所述的攝像裝置，在進(jìn)行B門攝影等的長時(shí)間攝影時(shí)，可顯示中途經(jīng)過，因而可減少攝影的失敗。此外，日本專利第4148586號(hào)公報(bào)提出了一種攝像裝置，其連續(xù)地從圖像傳感器中讀出圖像信號(hào)，并通過較亮合成(比較圖像數(shù)據(jù)的每個(gè)像素的亮度等級(jí)，選擇大的一方的亮度等級(jí)作為合成后的亮度等級(jí)的合成手段)來生成B門攝影圖像。
[0005]在B門攝影中，基于數(shù)秒?數(shù)分鐘的長時(shí)間內(nèi)的曝光來進(jìn)行攝影。作為圖像傳感器的特性，在長秒時(shí)攝影時(shí)會(huì)在構(gòu)成圖像傳感器的像素的光電二極管中產(chǎn)生暗電流成分，產(chǎn)生固定圖案噪聲。暗電流的發(fā)生量對(duì)于各個(gè)像素存在偏差，且與曝光時(shí)間成比例增加。此夕卜，還存在圖像傳感器的溫度越高則暗電流的發(fā)生量越增加的特性，在圖像上會(huì)顯現(xiàn)為缺陷狀的噪聲和圖像濃度不均。
[0006]該基于暗電流的固定圖案噪聲與是開放快門進(jìn)行了曝光的狀態(tài)下的攝影還是遮光狀態(tài)下的攝影都無關(guān)，而僅依賴于曝光時(shí)的圖像傳感器溫度和曝光時(shí)間而發(fā)生。因此，在當(dāng)前市面上銷售的數(shù)字照相機(jī)中，在進(jìn)行B門攝影時(shí)執(zhí)行FPN(Fixed Pattern Noise:固定圖案噪聲)消除處理，即在用戶攝影后(設(shè)攝影圖像為亮?xí)r圖像)自動(dòng)以相同的快門速度對(duì)遮光圖像進(jìn)行攝影，并利用圖像傳感器后級(jí)的圖像處理電路進(jìn)行亮?xí)r圖像數(shù)據(jù)與遮光圖像數(shù)據(jù)的相減處理，從而校正固定圖案噪聲。
[0007]在上述現(xiàn)有技術(shù)文獻(xiàn)所述的攝像裝置中，在對(duì)亮?xí)r圖像進(jìn)行攝影后拍攝暗時(shí)圖像。圖像傳感器的溫度越高則作為固定圖案噪聲的起因的暗電流越會(huì)增加。因此，在攝影中圖像傳感器溫度降低的情況下，在亮?xí)r圖像攝影后取得的暗時(shí)圖像中，無法充分校正固定圖案噪聲。于是，可以采用如下方法，在亮?xí)r圖像攝影的前后拍攝暗時(shí)圖像，并且在各個(gè)暗時(shí)圖像的拍攝時(shí)監(jiān)視圖像傳感器的溫度，選擇在溫度高時(shí)取得的暗時(shí)圖像并選擇適合于FPN消除的圖像來進(jìn)行校正。
[0008]然而，根據(jù)圖像傳感器，存在溫度越高則由暗電流引起而發(fā)生的FPN即攝像面內(nèi)不均(暗電流陰影)越小的圖像傳感器。在制作作為圖像傳感器的像素的ro(光電二極管)的步驟中，無法制作出在傳感器的中央部和周邊部特性均勻的ro，會(huì)在中心部和周邊部的暗電流的發(fā)生量上產(chǎn)生不均，從而發(fā)生暗電流陰影。
[0009]此外，無論在中心部還是周邊部，溫度越高，則作為FPN的暗電流自身就越大。通常在圖像傳感器50中，如圖SC所示，除了具有由于使光像進(jìn)入圖像傳感器以得到圖像輸出的有效像素區(qū)域51之外，還具有被配置于有效像素區(qū)域的周邊，且處于物理遮光狀態(tài)的OB(Optical Black:光學(xué)黑體)像素區(qū)域(水平OB像素53、垂直O(jiān)B像素54)。該OB像素區(qū)域的輸出信號(hào)作為圖像傳感器有效像素的暗電流輸出的代表值(基準(zhǔn)OB輸出)而被檢測出。
[0010]然而，通常情況下利用傳感器內(nèi)部電路或傳感器后級(jí)的DSP(數(shù)字信號(hào)處理器)針對(duì)所讀出的信號(hào)實(shí)施將配置于傳感器周邊的OB像素的平均輸出作為暗時(shí)輸出的基準(zhǔn)OB輸出的OB鉗位處理。因此，在一般的圖像傳感器50、即如圖8A所示的具有周邊部的暗電流大于中心部的暗電流的暗電流陰影的圖像傳感器50中，會(huì)發(fā)生溫度越高則傳感器中心部的暗時(shí)圖像的輸出越小的面內(nèi)不均。
[0011]另一方面，至于像素缺陷，如圖SB所示，存在溫度越高則變得越大的趨勢，因此根據(jù)攝影開始前和結(jié)束時(shí)的溫度檢測結(jié)果，即使使用溫度高的暗時(shí)圖像，也能夠以某種程度的精度對(duì)像素缺陷進(jìn)行校正。然而，對(duì)于使用該方法的面內(nèi)不均(暗電流陰影)的校正而言，無法良好地校正面內(nèi)不均(暗電流陰影)。

【發(fā)明內(nèi)容】

[0012]本發(fā)明就是鑒于這種情況而完成的，其目的在于提供一種針對(duì)通過多次攝影而取得的多個(gè)圖像數(shù)據(jù)，使用可靠且正確的校正信息進(jìn)行FPN校正，以防止亮度不均等圖像劣化的攝像裝置、圖像處理裝置以及攝像方法。
[0013]本發(fā)明的攝像裝置具有:攝像部，該攝像部包括攝像元件、以及使入射到上述攝像元件的攝像面上的光線成為曝光狀態(tài)和遮光狀態(tài)的快門；第I存儲(chǔ)部，其將根據(jù)從上述攝像元件中讀出的圖像數(shù)據(jù)而最開始生成的第I圖像數(shù)據(jù)作為累積合成圖像數(shù)據(jù)進(jìn)行存儲(chǔ)，所述攝像裝置具備:圖像處理部，其具備圖像合成部和校正部，上述圖像合成部對(duì)從第2幀起的第2圖像數(shù)據(jù)依次反復(fù)進(jìn)行如下的動(dòng)作，其中上述第2圖像數(shù)據(jù)是接著上述第I圖像數(shù)據(jù)之后根據(jù)從上述攝像元件中讀出的圖像數(shù)據(jù)而生成的:進(jìn)行合成處理，在該合成處理中將基于對(duì)構(gòu)成上述第2圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)與構(gòu)成上述累積合成圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)之間的分別對(duì)應(yīng)的像素?cái)?shù)據(jù)進(jìn)行比較的比較結(jié)果和/或平均運(yùn)算結(jié)果的像素?cái)?shù)據(jù)作為新的像素?cái)?shù)據(jù)而重新構(gòu)成上述累積合成圖像數(shù)據(jù)，并且在上述第I存儲(chǔ)部中存儲(chǔ)重新構(gòu)成后的上述累積合成圖像數(shù)據(jù);控制部，其進(jìn)行使上述攝像元件執(zhí)行讀出圖像數(shù)據(jù)的動(dòng)作的控制、使上述快門進(jìn)行動(dòng)作以成為上述曝光狀態(tài)和遮光狀態(tài)的控制、以及取得第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)的控制，上述第I暗時(shí)圖像數(shù)據(jù)是在取得上述第I圖像數(shù)據(jù)之前，使上述快門進(jìn)行動(dòng)作以成為遮擋入射到上述攝像元件的攝像面上的光線的遮光狀態(tài)，在上述遮光狀態(tài)下使上述攝像元件進(jìn)行攝影動(dòng)作而得到的暗時(shí)圖像數(shù)據(jù)，上述第2暗時(shí)圖像數(shù)據(jù)是在最后取得的上述第2圖像數(shù)據(jù)之后，使上述快門進(jìn)行動(dòng)作以成為遮擋入射到上述攝像元件的攝像面上的光線的遮光狀態(tài)，在上述遮光狀態(tài)下使上述攝像元件進(jìn)行攝影動(dòng)作而得到的暗時(shí)圖像數(shù)據(jù)，上述圖像合成部包括校正圖像數(shù)據(jù)生成部，該校正圖像數(shù)據(jù)生成部根據(jù)對(duì)上述第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)進(jìn)行比較的比較結(jié)果或平均運(yùn)算結(jié)果進(jìn)行合成處理，生成暗時(shí)校正圖像數(shù)據(jù)，上述校正部使用上述暗時(shí)校正圖像數(shù)據(jù)來校正上述累積合成圖像數(shù)據(jù)中的固定圖案噪聲。
[0014]本發(fā)明的圖像處理裝置使用由攝像裝置在攝影前后在遮光狀態(tài)下從攝像元件中讀出的第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)、以及上述攝像裝置在攝影過程中反復(fù)讀出的多個(gè)圖像數(shù)據(jù)進(jìn)行圖像合成處理，生成累積合成圖像數(shù)據(jù)，上述圖像處理裝置具有:第I存儲(chǔ)部，其將根據(jù)上述多個(gè)圖像數(shù)據(jù)中的從上述攝像元件中讀出的圖像數(shù)據(jù)而最開始生成的第I圖像數(shù)據(jù)作為累積合成圖像數(shù)據(jù)進(jìn)行存儲(chǔ)；圖像合成部，其對(duì)從第2幀起的第2圖像數(shù)據(jù)依次反復(fù)進(jìn)行如下的動(dòng)作，其中上述第2圖像數(shù)據(jù)是根據(jù)接下來從上述攝像元件中讀出的圖像數(shù)據(jù)而生成的:進(jìn)行合成處理，在該合成處理中將基于對(duì)構(gòu)成上述第2圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)與構(gòu)成上述累積合成圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)的分別對(duì)應(yīng)的像素?cái)?shù)據(jù)進(jìn)行比較的比較結(jié)果或平均運(yùn)算結(jié)果而進(jìn)行了合成處理得到的像素?cái)?shù)據(jù)作為新的像素?cái)?shù)據(jù)，重新構(gòu)成上述累積合成圖像數(shù)據(jù)，并且在上述第I存儲(chǔ)部中存儲(chǔ)重新構(gòu)成后的上述累積合成圖像數(shù)據(jù)；以及校正部，上述圖像合成部包括校正圖像數(shù)據(jù)生成部，該校正圖像數(shù)據(jù)生成部根據(jù)對(duì)上述第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)進(jìn)行比較的結(jié)果或平均運(yùn)算結(jié)果而進(jìn)行合成處理，生成暗時(shí)校正圖像數(shù)據(jù)，上述校正部使用上述暗時(shí)校正圖像數(shù)據(jù)校正上述累積合成圖像數(shù)據(jù)中的固定圖案噪聲。
[0015]本發(fā)明的攝像裝置的攝像方法，該攝像裝置將根據(jù)從攝像元件中讀出的圖像數(shù)據(jù)而最開始生成的第I圖像數(shù)據(jù)作為累積合成圖像數(shù)據(jù)而進(jìn)行存儲(chǔ)，對(duì)從第2幀起的第2圖像數(shù)據(jù)依次反復(fù)進(jìn)行如下的動(dòng)作，其中上述第2圖像數(shù)據(jù)是根據(jù)接下來從上述攝像元件中讀出的圖像數(shù)據(jù)而生成的:進(jìn)行合成處理，在該合成處理中將基于對(duì)構(gòu)成上述第2圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)與構(gòu)成上述累積合成圖像數(shù)據(jù)的多個(gè)像素?cái)?shù)據(jù)的分別對(duì)應(yīng)的像素?cái)?shù)據(jù)進(jìn)行比較的比較結(jié)果或平均運(yùn)算結(jié)果進(jìn)行合成處理而得到的像素?cái)?shù)據(jù)作為新的像素?cái)?shù)據(jù)，重新構(gòu)成上述累積合成圖像數(shù)據(jù)，并存儲(chǔ)重新構(gòu)成后的上述累積合成圖像數(shù)據(jù)，上述攝像方法包括:暗時(shí)圖像數(shù)據(jù)取得步驟，取得第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)，該第I暗時(shí)圖像數(shù)據(jù)是在取得上述第I圖像數(shù)據(jù)之前在遮擋入射到上述攝像元件的攝像面上的光線的狀態(tài)下進(jìn)行攝影而得到的，該第2暗時(shí)圖像數(shù)據(jù)是在最后取得的上述第2圖像數(shù)據(jù)之后在遮擋入射到上述攝像元件的攝像面上的光線的狀態(tài)下進(jìn)行攝影而得到的；校正圖像數(shù)據(jù)生成步驟，根據(jù)對(duì)上述第I暗時(shí)圖像數(shù)據(jù)和第2暗時(shí)圖像數(shù)據(jù)進(jìn)行比較的結(jié)果或平均運(yùn)算結(jié)果進(jìn)行合成處理，生成暗時(shí)校正圖像數(shù)據(jù)；以及校正步驟，使用上述暗時(shí)校正圖像數(shù)據(jù)來校正上述累積合成圖像數(shù)據(jù)中的固定圖案噪聲。
[0016]根據(jù)本發(fā)明，能夠提供針對(duì)通過多次攝影而取得的多個(gè)圖像數(shù)據(jù)，使用可靠且正確的校正信息進(jìn)行FPN校正，以防止亮度不均等圖像劣化的攝像裝置、圖像處理裝置以及攝像方法。
【附圖說明】
[0017]圖1是表不本發(fā)明一個(gè)實(shí)施方式的照相機(jī)的主要電氣結(jié)構(gòu)的框圖。
[0018]圖2是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，設(shè)定了合成模式的情況下的動(dòng)作的流程圖。
[0019]圖3是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，設(shè)定了合成模式的情況下的動(dòng)作的流程圖。
[0020]圖4是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，進(jìn)行亮合成處理時(shí)的動(dòng)作的時(shí)序圖。
[0021]圖5A和圖5B是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，通過合成模式攝影時(shí)的溫度變化的曲線圖。
[0022]圖6A至圖6C是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，像素缺陷特性與暗時(shí)陰影特性的趨勢不同的情況下的兩特性的變化的曲線圖。
[0023]圖7A至圖7C是表示在本發(fā)明一個(gè)實(shí)施方式的照相機(jī)中，像素缺陷特性與暗時(shí)陰影特性的趨勢相同的情況下的兩特性的溫度變化的曲線圖。
[0024]圖8A至圖SC是說