專利名稱：數(shù)字圖像中的偏色檢測和消除的制作方法
技術領域：
本發(fā)明一般涉及數(shù)字圖像，更準確地說，涉及數(shù)字圖像中的偏色檢測和消除。
背景因為除總曝光測定之外，在場景捕捉期間對場景光源知道很少，所以數(shù)字靜態(tài)照相機(DSC)在色彩表示方面具有很大的局限性。文獻中報告了估計場景光源的許多嘗試。最簡單的方法，被稱為灰色世界近似，假定場景中所有表面反射率的平均為灰色。從這種假定得出，如果任何平均色彩在從平均灰色表面反射后保留，那么它一定是照明顏色。在灰度世界近似無效的情況下碰到場景時，使用該方法一般會導致所得到圖像中的偏色。為了獲得更好的結果，開發(fā)了用于估計光源的更復雜算法。最廣泛使用的色彩校正方法是VonKries變換。將圖像的紅-綠-藍，或RGB值除以估計的照度，然后乘以參考照度的RGB值。其它照度估計方法包括測量特定色彩區(qū)，其中收集系綜平均并按色度圖的各種形式將其分類。這些估計方法利用大量色彩距離量度，搜索背離灰色世界近似的主要色彩偏斜(colorskew)，從而預測場景照度。
DSC制造商一般在被稱為白平衡(WB)的方法中調用多個方法中的元素。WB的目標在于產生這樣一種圖像，其中白色對象顯現(xiàn)為白色，并最小化非等能量光源的視覺影響。當沒有適當?shù)孬@得WB時，圖像中將出現(xiàn)明顯的偏色(例如，當傍晚出現(xiàn)太陽時，數(shù)字靜止圖像中的黃色偏色)。WB任務一般以應用于圖像中的所有像素的Von Kries校正開始，它根據前面提到的方法中的某種照度估計假定，平衡RGB傳感器陣列的放大器增益。另外，一般進行ad-hoc調整以迫使圖像的最大亮度值為純白(例如R＝G＝B＝1.0)。一些照相機還調整最小亮度，從而將黑點設為等能量級(例如R＝G＝B≌0.01)，它不是絕對黑色。對于光線良好的室外場景，通常由于曝光考慮，大多數(shù)DSC照相機將黑點設為絕對黑色(R＝G＝B＝0.0)。圖像白點和黑點區(qū)向預定目標的移動(通常具有相關色調控制)一般產生令人滿意的最強光區(qū)和陰影區(qū)。但它沒有提供對1/4到3/4色調中包含的大部分像素信息的附加補償。所得到的圖像在大半個圖像中可以表現(xiàn)出相當?shù)钠?。由于在圖像捕捉期間圖像白點(可能還有黑點)以完全非線性的方式改變，所以只有有限的光源信息保留在照相機數(shù)據中用于后處理。
如果在圖像捕捉期間原始圖像白點和黑點保持未被改變，則有可能旋轉圖像的色空間，從而將白點與黑點相連的中心線允許該中心線與消色軸對齊。
現(xiàn)在參考

圖1(現(xiàn)有技術)，其中用示意圖示出了上述L*a*b*色空間中被稱為“灰色軸再對齊”方法10的現(xiàn)有技術偏色檢測和消除方法，其中“L”是L*亮度或消色軸12上的亮度值，而“a*”和“b*”分別是“a*”和“b*”色度軸14和16上的色度值。原始圖像具有白點17、黑點18以及從白點17延伸到黑點18的中心線20。箭頭22表示中心線20的旋轉，從而通過重定位的白點22和重定位的黑點24與消色軸12對直。圓柱形中性色中心28表示在中心線20旋轉之后保留的內容。
該方法假定場景最大照明區(qū)就是消色差強光，這是在大部分真實生活照片中證實了的事實。但是，一些專業(yè)照相機具有一種專用手動白平衡模式，它不將最大照明像素調整為純白。在各種照明條件下(D50、D65、冷白熒光、水平日光、U30熒光以及白熾A)，以這種方法從MacBeth Spectralight III棚捕捉數(shù)據。簡單的后期數(shù)據捕捉算法旋轉L*a*b*色空間中從白點17延伸到黑點18的中心線20，直到它處于消色軸12上。根據在各種照明下通過測試樣本中包含的MacBeth比色圖表灰色修補的消色差純度進行的測量，結果顯示圖像偏色顯著減少。但是，灰色軸重對齊的方法決定性地取決于知道圖像中最高照明點的色品。盡管由于在被檢查的照相機中發(fā)現(xiàn)很少的顏色內容，所以黑點18的放置不那么關鍵，但白點17的小變化對圖像其它部分的近中性色在視覺上產生顯著影響。
本發(fā)明提供一種彩色圖像的偏色檢測和消除的方法，其中的彩色圖像由彩色像素構成。為具有消色軸的色空間提供缺省的灰色半徑，用于建立色平面中的中性色箱。箱中根據像素色品裝有像素。用缺省灰色半徑內箱中像素的色品峰計算色彩直方圖。根據色彩直方圖中的色品峰，將缺省的灰色半徑調整到某一灰色半徑。根據該灰色半徑內同一有色象限中的多個色度峰來檢測偏色，并根據其到消色軸的平均平均距離來檢測偏色距離。通過從色空間中的彩色圖像減去偏色距離，從而從像素中消除偏色，并輸出去除了偏色的彩色圖像。
盡管灰度軸重對齊方法在沒有調整最大圖像照明像素的條件下工作良好，但是由于大部分DSC裝置在某些方面改變圖像的最亮像素，所以它很少有實際應用。本發(fā)明的偏色檢測和消除方法通過檢查分布在整個圖像中的大的相鄰的近灰色對象的色品來克服這種局限性。
對于本領域的技術人員，通過閱讀以下詳細描述并參考附圖，本發(fā)明的以上和其它優(yōu)點將是顯而易見的。
圖2示出了結合了本發(fā)明的數(shù)字圖像系統(tǒng)的概況。
圖3示出了根據本發(fā)明的偏色檢測和消除方法。
圖4示出了根據本發(fā)明的缺省灰色半徑選擇。
圖5示出了根據本發(fā)明的中性色箱的定位。
圖6示出了根據本發(fā)明的直方圖計算。
圖7用示意圖示出了本發(fā)明的偏色檢測和消除方法。
現(xiàn)在參考圖2，這里示出了利用本發(fā)明的數(shù)字圖像系統(tǒng)30的概況。數(shù)字圖像系統(tǒng)30包括原始圖像32，它由本發(fā)明的箱方法34處理，以產生校正圖像36。
該系統(tǒng)的概念在于盡管圖像中的最亮像素可以已被折衷，但是所有其它的近中性像素保留了它們原來的顏色屬性?；镜南到y(tǒng)概念在于仔細地選擇表示殆灰色對象的所有像素，并識別其平均色彩。通過檢查這些對象的色彩位置，本發(fā)明的算法尋找這樣的證據或者存在所有對象共有的總偏色，或者對象具有隨機分散的色彩矢量。該算法對圖像沒有“殆灰色”對象或整個場景由單個大的多色對象占支配地位(這通常指的是“紅倉(red barn)”圖像)的可能性是敏感的。如果發(fā)現(xiàn)共有色彩分量出現(xiàn)在所有近中性色對象中，那么估計其大小并將與其相反的色品應用于所有那些對象。校正機制具有實現(xiàn)三維查找表(LUT)的國際色彩聯(lián)盟(一個國際標準組織)簡檔的基本結構。該簡檔能夠直接用于測試圖像，或者可以將它寫入磁盤文件中，以使得它能夠用于具有相似偏色特征的多個圖像。
現(xiàn)在參考圖3，其中示出了本發(fā)明的偏色檢測和消除方法的箱方法34。將原始圖像從圖2的框32輸入到框40“缺省灰色半徑”，它提供灰色色彩中心圓柱體的開始點。箱方法34接下來進入框42“尋找中性色的箱”，箱方法34從框42進入框44“計算所接受中心像素的2D色彩直方圖”。箱方法34從框44進入判定框46“增長灰色半徑”，在其中判定由于已經遇到另外的峰或因為峰的振幅仍在變化，是否繼續(xù)增加灰色半徑。如果“是”，箱方法34進入框48“根據峰位置調整半徑”，并返回框42“尋找中性色的箱”以進行下一迭代。如果“否”，那么箱方法34進入框50“建立3D校正LUT”，以建立具有各個色彩的校正因子的查找表(LUT)。接下來，在框52“通過LUT變換整個圖像”中，將LUT用于應用校正因子以消除彩色圖像中的偏色。然后箱方法34“完成”并向圖2的框36輸出校正圖像。
注意，由于箱方法34嘗試選擇正確的色箱范圍以正好包含各個圖像對象(在近中性色區(qū)中)，所以它是在迭代算法中實現(xiàn)的。迭代方法的目的是發(fā)現(xiàn)最小的顏色半徑，在該半徑中將所有近中性色對象都收集到了適當?shù)纳臻g箱中，并且色箱中發(fā)現(xiàn)的任何色彩峰都是穩(wěn)定的。通過顏色半徑發(fā)生小變化但沒有遇到另外的峰，以及相對固定的峰振幅來測量穩(wěn)定性(它是所分段的區(qū)中包括的像素數(shù)的測量)。當箱選擇參數(shù)達到某個給定的穩(wěn)定性水平時，則已經識別了近中性色對象的最小集，并且到達了其平均色彩的最佳可能測量。這些對象的色空間坐標(矢量)的分布確定是否出現(xiàn)偏色及其大小。這種分布還可以表示該圖像包括多個隨機分散的色彩矢量，這意味著不需要任何校正。類似地，這種分布可以證明具有固定顏色的大對象的出現(xiàn)(“紅倉”情況)。在這種情況下，該算法將推遲估算偏色。
現(xiàn)在參考圖4，其中示出了分別在L*a*b*軸12、14和16上根據本發(fā)明的圖3的框32“缺省灰色半徑”的缺省灰色半徑選擇60。不包括白點和黑點的灰色區(qū)域被示為具有灰色半徑64的圓柱形中性色中心62。在最佳模式中，缺省開始值為a*＝b*＝15國際照明委員會(CIELAB)單位。已發(fā)現(xiàn)的最大半徑大約是40 CIELAB單位，因為圖像在超過這個極限時通常出現(xiàn)色飽和。
現(xiàn)在參考圖5，這里示出了建立根據本發(fā)明的圖3中框42“尋找中性色箱”的中性色的色箱66。在圖5中，8×8網格定義中性色中心62的色箱，例如色箱68，其中將匯集色彩段的統(tǒng)計計數(shù)。色箱66的數(shù)量隨著灰色半徑64的增加而增加。目的是發(fā)現(xiàn)8到20種近中性色的色彩，它們占圖像以及具有顯著偏色的白區(qū)域的一個大的百分比。
在像素選擇中，開始認為在亮度和色度的某一中心范圍內發(fā)現(xiàn)的圖像中所有像素應該被分類到色箱中以識別對象。合理的限制亮度級在于“最亮像素”校正(以及可能的黑點變化)產生近中性色對象，其中這些對象并不具有場景真正色彩的特征。在用圖像數(shù)據庫試驗后，可以很快明白，亮度限制不以任何有效方式改變偏色檢測。更重要的是，試驗證明真實圖像包括大量表示小的獨立對象的像素，比如襯衫鈕扣、鋼筆和鉛筆或領邊。這些對象與諸如人的衣服、汽車或臺式電腦等場景的主要對象相比相當小。偏色信息集中到場景的大的主要對象上。這些主要對象通常不是該圖像的主題(例如作為一對夫婦肖像背景的灰墻)，但是它們的絕對尺寸和相對固定的顏色支配著觀察者對場景的印象。從經驗上說，近中性色對象的最佳量度是某種近固定表面反射率，它占圖像像素計數(shù)的至少1％。它主要是大的對象，它在確定是否出現(xiàn)特定偏色方面給出一個有意義的一個表面的照明范例。
假定大對象具有分布在可能的彎面上的多個亮度級。箱方法34的算法目的是允許色箱亮度和色度約束的啟發(fā)式調整，以適應對象的變化。如果遇到由數(shù)百個不同的小對象構成的樣本圖像，那么由于各個色箱中的小像素計數(shù)，該算法表示沒有出現(xiàn)大對象。除非存在固定色彩的背景分布在各個對象周圍，并且其可以占到像素總數(shù)的1％的可能性，“Where’s Waldo(沃爾多在哪里)”照片例示將有可能被拒絕。幾乎所有的室外自然場景對于大的近中性色對象都認可此標準。這可能是由于這樣的事實天空、草地、水泥、水和地被植物一般在室外景色中占支配地位。當有結構或有圖案的對象占支配地位時，室內場景可能違背此標準。當出現(xiàn)人的肖像時，由于臉和手臂的膚色一般屬于近中性色對象類并且一般占了圖像的5％到50％，所以沒有發(fā)現(xiàn)任何違背此標準的。
現(xiàn)在參考圖6，其中示出了根據本發(fā)明的框44“計算所接受的中心像素的2D色彩直方圖”的全局色度直方圖70。直方圖70具有色度軸14和16以及像素計數(shù)軸72。在一個典型圖像中，分段對象的色彩分布形成了中性色中心62中不同的獨立峰74、76和78。如果峰74、76或78不同，那么在圖3的判定框46“增長灰色半徑”中判定不增長灰色半徑64。應該注意，色箱66只用于預測和調整灰色半徑64未來的增長。
算法從創(chuàng)建所有像素的全局色度直方圖70開始，這些像素的色度落在色空間范圍的后排中(center half)內。對于具有8比特帶符號坐標的L*a*b*色空間，它對應于最靠近中性色中心的對象，其中|a*|＜64并且|b*|＜64。這種a*和b*2D直方圖70用于識別分段方法中找到的近中性色對象是否具有公共色分量。接下來，該算法通過濾去像素的任何2×2鄰域開始分段，這些鄰域不具有至少3個在亮度和色度值的缺省范圍內的像素。如以后將論述的，該算法作用于具有一個亮度和兩個色度坐標的幾乎任何色空間。4選3的像素標準(用于2×2鄰域)一般濾去全部圖像像素的30％，這是因為小對象和邊緣通常不能滿足這種約束。算法這個部分的目的是快速減少后續(xù)步驟中將處理的像素數(shù)，并且只選擇近固定反射率的大對象。
通過前述條件的那些2×2像素組被分配給諸如箱68的色箱，并且計算亮度和色度范圍。當已收集了大量色箱66時，采取壓縮搜索以連接那些亮度和色度范圍相當并具有最接近色彩范圍的箱。目的是將色箱66的數(shù)量減少到更容易操作的色彩范圍數(shù)。已發(fā)現(xiàn)20左右的色彩范圍的壓縮集是最佳的。為適應壓縮方法的亮度和兩個色度通道的增長構成迭代反饋參數(shù)的第一集合?，F(xiàn)在，壓縮后的箱計算新的亮度和色度范圍加上新的平均色彩。另外，所涉及的所有像素的坐標被存儲在新創(chuàng)建的箱中。該方法繼續(xù)到處理完整個圖像為止。
一旦色彩范圍的壓縮集減少到20個或更少的壓縮箱，則開始分段。分段的目的是檢測具有公共表面反射率的大對象。自然對象一般是彎曲的并在其表面上有亮度和色彩變化。分段允許即使在亮度和色度有相當大的變化的情況下，將對象中的相鄰像素連接在一起，因為這些變化以平滑的方式發(fā)生，作為真實對象的代表。
分段方法如下進行。按圖像x、y坐標對各個色箱分類，以確定其是否8向連接到屬同一色彩組的另一像素組。創(chuàng)建分段箱，它包括這些像素、它們的坐標、各自的色彩和組色彩。算法參數(shù)允許包括像素組，這些像素組從它們相鄰的8向連接像素偏移了一個或多個像素。試驗結果表示，空間偏移零或1提供最佳結果。當這些單元并沒有在空間上連接時，例如人的左臂和右臂，則可以從單個色箱產生出兩個或兩個以上的分段箱。分段方法以在相鄰像素的上升行上從左到右排列像素結束。這樣做允許簡單計算各個近中性色對象的形心，以及該對象對著的總面積(包括內部像素區(qū)域，它并不是分段組的一部分，但完全被這些像素環(huán)繞)。該信息允許精確估計對象大小，甚至當諸如襯衫鈕扣和筆等物品出現(xiàn)在諸如襯衫的另一對象上時也不例外。近中性色色度對象被很好地分類。分段程序不包括對象邊界。邊緣趨向于在分界面上具有非常明顯的色彩變化(對于彎曲的或矩形對象)，并且邊界鄰域中4個像素中將有3個沒有相似色彩的可能性很大(這種大的可能性使得在像素選擇階段去除了這些像素)。
沒有邊界邊緣倒是該算法的優(yōu)點。如果有人希望快速找到對象邊界，他只需要搜索對象之間四個像素寬的空隙。通過跟蹤這些空隙(各邊上存在對象像素)，可以快速地穿過近中性色對象的邊界。在設法發(fā)現(xiàn)具有高色品的對象的邊界時，只需要在像素選擇階段相反的使用該標準，也就是只考慮具有高色品的2×2鄰域。由于高色品對象具有非常清晰的邊界，因此這種類型的分段工作得非常好。
一旦填充并壓縮了所有分段箱，該算法就測量全局色度直方圖70，以確定近中性色區(qū)中出現(xiàn)了多少單個的色品峰。如果檢測到的一個其色品半徑大于在像素選擇階段所允許的范圍的峰，則增加4選3像素標準的色品選擇半徑以使其包含該峰。除了色品半徑的參數(shù)集之外，還有可能改變迭代反饋方法中的其它兩個參數(shù)集。第二參數(shù)集用于初始箱的亮度和色度范圍，而第三參數(shù)集用于從其初始箱范圍算起任何色箱的最大增長。
大量測試顯示，只需要改變像素選擇階段的灰色半徑64以獲得穩(wěn)定的偏色結果。其它兩個參數(shù)集快速收斂在同一結果上，并且保持不變以提高計算速度。一般來說，只需要一次或兩次迭代就可以達到穩(wěn)定偏色距離。
現(xiàn)在參考圖7，其中用示意圖示出了偏色檢測和消除方法，所述的本發(fā)明的箱方法34與圖6所述為同一空間。中性色中心62中互相接觸的三個峰組成單個的主色度峰80，其形心為82。箭頭84表示偏色消除以返回到中性色中心62中的“灰色世界”的方向，并且偏色距離為形心82移動的距離，如箭頭84的長度所示。各色箱的內容分別被移動到消色軸12以完成形心82的移動。應該注意，在單個色度峰80被認為是偏色之前，必須滿足許多統(tǒng)計和尺寸約束。
在三次迭代之后，相同的對象被重復地識別為具有幾乎相同的形狀。改變初始亮度和色度箱范圍的重要性在于通過大變化反射率的表面來識別復雜的近中性色對象。當利用當前算法的目的是對圖像中的對象進行分段時，那么初始箱范圍變化是比色品半徑更有意義的參數(shù)集。
一旦修改了所需參數(shù)集，就重復整個方法。存在這樣的像素選擇階段的選項對圖像中所有原始近中性色像素重新采樣，或利用當前放置在分段對象中的像素的縮減集。利用整個圖像像素集產生稍微精確一些的偏色消除結果。只利用分段對象像素得到明顯更快的處理時間。如果算法的目的是對圖像對象分段，則選擇較窄的初始箱范圍。同時，必須采用整個像素集來提供所需的對象增長。如果選擇了較寬的初始箱范圍選擇，那么使用當前放置在分段對象中的像素大大提高處理速度，同時形狀精度沒有任何明顯退化。
迭代完成之后，算法測量調整參數(shù)集的變化。當新變化低于某一閾值時，迭代停止。這時，分析全局色度直方圖70的當前型式。如果在隨機方向上存在多個色度峰，則該算法推測圖像中不存在任何色度偏移。與此判定相關的邏輯是，如果存在全局偏色，則不能得到由不同顏色象限中的至少兩個近中性色對象表現(xiàn)的不同色度峰。盡管這兩個對象仍然可以出現(xiàn)小的偏色，但是它們一般在視覺上并不明顯。
當直方圖只有一個色度峰，或多個峰全在所選色品色空間的同一象限中時，存在出現(xiàn)偏色的高可能性。色度直方圖的平均基線被定義為消除了主峰時近中性色色品平面中的平均箱像素數(shù)。算法接下來詢問單個色度峰中包括的像素是否多于所選倍增閾值乘以平均基線。這樣做主要是詢問對象的色度峰是否高于近中性色區(qū)域的噪聲級。盡管并不作限制，但是已發(fā)現(xiàn)十(10)倍平均基線的倍增閾值是可接受的。如果答案為真，那么該算法假定一個偏色，它等于到單個色度峰的半徑。對于同一象限中的多個色度峰，偏色是到各個峰的平均半徑。校正是從分段方法中發(fā)現(xiàn)的所有對象減去這個色品量。這樣做有效地將“白到黑點軸”移回消色軸。當然沒有移動任何白點或黑點對象(因為它們可能已由初始白平衡操作折衷)。只校正包括圖像的1/4到3/4色調的近中性色對象。
如果色度峰的像素計數(shù)不超過倍增閾值10乘以基線，那么該算法估算不出現(xiàn)任何偏色。許多適當曝光圖像的近中性色對象具有明確的色彩特征。但是從統(tǒng)計上說，還將存在具有不同色彩特征的其它對象。對圖像所有大的近中性色對象的平均應該產生不同象限中的多個峰或非常接近色軸的單個峰。任何其中的所有峰均小于到近中性色軸的給定閾值的圖像在色度上被認為是近中性色，并不對其進行校正。該算法允許用戶忽略這種假設，從而在圖像內容需要它時進行小的偏色變化。這樣做通常與出現(xiàn)強膚色的圖像有關。許多膚色可以落在近中性色對象定義內。在這種情況下，一般最好不要校正偏色，因為它對最終膚色有負面影響。更詳細的內容將在下面論述。
該算法對圖像異常執(zhí)行其它測試。如果所有近中性色對象的平均色品超過某一閾值，那么該算法估算該圖像具有非常多色的主題并且停止。這將是“紅倉”圖像的例子。一旦已確定偏色距離，那么如圖7所示，該算法從分段對象減去這種色品量。
如圖3所示，三維LUT(查找表)被用于框52“通過3D LUT變換整個圖像”，它將輸入RGB值變換為最終的輸出RGB值。在每個LUT表坐標中，LUT的輸入RGB值被變換為亮度和色度色空間坐標。將這些變換坐標與各個箱平均色彩相比較。當匹配時，從平均值(應用了限幅)減去偏色色品。將得到的值重新變換回RGB。在LUT中作一個項目以顯示所得到的RGB輸出值的增長或降低。將內插和平滑應用于LUT以確保沒有“尖峰信號”校正引起最終圖像中顯著的人工信號。將LUT寫入永久存儲器中，以使得可以對它進行分析或將它應用與已知具有相同色偏問題的其它圖像。
彩色圖像偏色消除之前和之后的結果證明本發(fā)明的偏色檢測和消除的箱方法34的有效性。為了測試的目的，選擇場景以說明可以由MacBeth光棚中找到的固定光源引起的外觀上的各種變化，箱方法34已經在200種自然場景圖像中進行了測試。用各種DSC裝置拍攝的室外日光圖像顯示發(fā)生在云、水泥地面和柏油路上的小的“紅偏色”變化。這些變化是細微的但是可見的。室外圖像的最強偏色消除結果出自出現(xiàn)主紅色或桔紅色時的日落狀態(tài)。
在室內自然圖像中，閃光和熒光照明經常生成綠偏色。箱方法34提供對這種自然場景極好的識別和校正。在固定照明情況下，與單個發(fā)光體試驗相比，偏色消除看起來不完全。這可能是這樣一種情況導致的一些近中性色對象由日光照明而其它一些由熒光照明。在全局色度直方圖70中，兩種對象將顯示兩個光譜峰(每種光源一個)，其差異可能足以使得各個峰出自不同的色彩象限。在這樣的情況下，箱方法34將避免做出強校正。在這些情況下，分段信息可以提供各個對象的空間坐標?？梢赃M行分析以根據近中性色對象的圖像坐標對它們進行分組。近中性色組之間的加權微分(differentiation)將提供位置與唯一偏色之間的相關性。在這種情況下，可以執(zhí)行兩個單獨的偏色消除，從而用對象的平均局部色彩平衡各個對象集。
對于箱方法34，選擇L*a*b*色空間，因為似乎應需要感知上的一致性以檢測和校正細微偏色。L*a*b*的浮點和立方根要求確實降低了處理速度。在233 MHz Pentium Windows計算機上，320×240RGB圖像的典型處理時間為7秒(沒有優(yōu)化所采用的程序設計)。應該注意，更大的圖像尺寸并不增加偏色坐標的確定或分段的精確度。已發(fā)現(xiàn)，100×75像素圖像足以檢測中等色偏(8比特坐標碼的12或12以上單位的a*、b*半徑)。但是，對真實場景的分段確定被嚴格限制在100×75像素偏色內，因為在該分辨率上，8向連接對象趨向于相互脫離。從經驗上說，320×240像素圖像給出了相對于處理時間的最佳分段以及2個單位的偏色確定矢量半徑精度。
為了研究該算法如何依賴于色空間的選擇，因“YUV”在JPEG壓縮方案中的普及而選擇了它。RGB線性坐標的變換如下YUV0.2990.5870.114-0.16875-0.331260.50.5-0.41869-0.08131×RGB---(1)]]>以及逆變換RGB=1.00.01.4021.0-0.34413-0.714141.01.7720.0×YUV---(2)]]>盡管YUV需要3×3矩陣乘法，但它仍然比L*a*b*快大約19％。320×240像素圖像在同一環(huán)境中進行處理一般需要5.6秒。偏色消除的色軸矢量幾乎與L*a*b*結果一樣。但是，分段結果中存在明顯的不同。YUV結果更粗糙，因為它一般發(fā)現(xiàn)更少一些的近中性色對象。這些發(fā)現(xiàn)中，像素面積基本相同。沒有L*a*b*導致的平方根微分，YUV的顏色坐標顯示在創(chuàng)建初始色箱時量化噪聲方面的明顯增大。兩次迭代之后，主色度峰的YUV布局變得與L*a*b*結果相同。
色空間的最后一個選擇是“Lst”。一個簡單顏色空間，通過簡單的加法和除法將RGB變換為L、s、tL＝(R+G+B)/3
(3)s＝R/(R+G)(4)t＝R/(R+B)(5)該算法的主要用途是在系統(tǒng)中設法快速地發(fā)現(xiàn)自然圖像中的膚色。盡管色軸非常原始且粗糙，但是該算法利用比L*a*b*色空間多50％的迭代，產生幾乎完美的對應關系。應該注意，在R和G平面中s從1到0，而t在R和B平面中也一樣。測試中，s、t顏色變化的粗糙度需要附加迭代以慢慢地穩(wěn)定在偏色矢量上。但是一旦穩(wěn)定，將觀察到校正圖像上同樣的視覺效果。對于320×240像素圖像環(huán)境，Lst速度是大約5.13秒。該算法的大部分處理時間被分類程序消耗，而很少時間花在色空間計算上。就象YUV結果，Lst產生相當粗糙的分段結果，這些結果慢慢地收斂在近中性色對象的穩(wěn)定描述中。最有趣的是，膚色對象沒有立即被Lst色空間捕捉。相反，面部色調被分配的次數(shù)是L*a*b*和YUV系統(tǒng)的大約兩倍的色相數(shù)量。假定Lst色空間所提供的處理速度稍有提高，得出以下結論可以和Lst一樣快地執(zhí)行LUT增強的L*a*b*算法。加快收斂到穩(wěn)定的色度偏色距離和增強的分段結果使L*a*b*成為最佳模式。
開始，由于在起初算法開發(fā)期間，在亮度和兩個色度通道上利用了寬的預備箱范圍參數(shù)集，所以膚色出現(xiàn)了問題。這導致了分段覆蓋典型圖像中所有像素的80％，并且所有膚色被選為近中性色對象。如果早期的迭代階段是偏色校正，那么膚色對象將失去它們的一些黃-桔紅色度。該結果相當明顯并且非常有害。隨后的開發(fā)允許將窄范圍用于亮度和色度通道，它快速地收斂在最小共用色度矢量上。這大大降低了最終近中性色對象中膚色的出現(xiàn)。為了安全地預防膚色的“沖淡”，一種軟件模塊被用于檢測分段對象中膚色的出現(xiàn)并降低色度的減少。如在文獻中定義的膚色的一般區(qū)域與圖像數(shù)據庫中發(fā)現(xiàn)的特殊情況實例一起使用。
盡管并不需要利用膚色模塊，但它有一個非常有用的特性。一旦分段箱已被填充，則通過軟件模塊利用膚色鑒別可被用于發(fā)現(xiàn)人的面部、手臂和手。分段箱包括它們像素分布的形心。創(chuàng)建附加探查模塊以確定箱的像素分布是否與橢圓體匹配并估計其長軸和短軸。只有對于膚色箱，該模塊才將利用人頭長短軸比的標準確定它是否可以屬于面部。即使有來自丟失像素、眼鏡和珠寶的噪聲，面部檢測器也顯示合理的性能。這些測試僅限于正面情況。確定頭部的估計高度后，程序將檢查具有這種頭部大小的人，他/她的頸、手臂和手位于的區(qū)域。可以成功地搜索其它膚色箱，從而在這些位置發(fā)現(xiàn)與頸、手臂和手對象對應的對象，從而確定良好曝光圖像中是否可以執(zhí)行人數(shù)的精確計算。
使用分段有助于識別大的近中性色對象的空間位置。目標是設法定位諸如吊燈、明亮照射的外窗和日光天空等光源的位置。箱方法34證明在識別和區(qū)分大的近中性色對象方面是非?？煽康摹？焖俚貙哂凶兓炼鹊膹澢鷮ο筮M行分類并放置在一個或兩個色箱中。通過箱方法34的迭代允許改變色彩特征的箱的區(qū)域合并與正發(fā)生明顯照明變化的對象一致。
根據區(qū)域的色度對圖像的這些區(qū)域進行合并的能力是本發(fā)明的一個明顯特性。調整亮度和色度的初始范圍在具有紋理和低級圖案的分裂(collapsing)對象中是關鍵的。與初始箱范圍同時存在的是描述任何單個箱可以擁有的絕對最大色度范圍的參數(shù)集。這個集合允許8向連接箱和區(qū)域互相合并。目前，該算法保持箱的絕對最大色度增長為固定值，直到近中性色對象組的色度矢量穩(wěn)定。相信用亮度和色度的窄箱范圍的早期迭代可以有助于將圖像的內容分為兩個計劃的類。第一類屬于具有少數(shù)非常大的對象的圖像，而第二類針對許多小的并且隨機定向的對象。根據這兩類的知識，應該可能實現(xiàn)集中在發(fā)現(xiàn)作為圖像主題的少數(shù)關鍵對象的專門箱增長特性。
總的來說，當前算法快速地確定較小的圖像(大約200×300像素)中是否出現(xiàn)偏色。任何具有一個亮度和兩個色度軸的色空間可以找到色度矢量，它表示到消色軸的大的近中性色對象的位移。試驗上，L*a*b*在尋找穩(wěn)定的色品矢量方面是三個色空間中最堅固的。一旦進行了該矢量的測量，就生成簡單的象ICC一樣的簡檔以從該圖像中消除偏色表現(xiàn)。
盡管已通過特定最佳模式來描述本發(fā)明，但將理解，根據以上描述，許多替代、修改和變型對于本領域的技術人員來說都是顯而易見的。因此，本說明書旨在包括所有這種替代、修改和變型，它們均在所包括的權利說明書的精神和范圍內。本文所述或附圖所示的所有內容將被解釋為示意性的而非限制的意義。
權利要求
1.一種偏色檢測和消除的方法，它包括以下步驟提供由像素構成的彩色圖像[32]；提供具有一個消色軸[12]和兩個色軸[14、16]的色空間；提供到所述消色軸[12]的缺省灰色半徑[60]；在色平面[14-16]中建立中性色[42]的箱[42]；根據像素色品將所述像素放入所述箱[42]；用所述缺省灰色半徑[60]內所述箱[42]中的所述像素的色品峰[74、76、78]計算色彩直方圖[44]；根據所述色彩直方圖[44]中的所述色品峰[74、76、78]將所述缺省灰色半徑[60]調整到灰色半徑[64]；根據所述灰色半徑[64]內的主色品峰[80]檢測偏色，并根據其到所述消色軸[12]的距離檢測偏色距離；通過從所述色空間中的所述彩色圖像[32]減去所述偏色距離，從而從所述像素消除所述偏色；以及輸出消除了偏色的彩色圖像[36]。
2.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟指定所述彩色圖像[32]中的相鄰像素組；以及除去其中大部分像素沒有相似色度值的那些相鄰像素組，從而將只處理近固定反射率的大對象。
3.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟建立色度值的范圍；以及通過連接具有近似色度值范圍的箱[42]來壓縮所述箱[42]。
4.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對所述箱[42]進行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有所述最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及計算所述分段箱[66]的形心。
5.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對所述箱[42]進行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有所述最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[77]；以及檢測所述分段箱[66]之間的空間，從而確定所述彩色圖像[32]中對象的邊界。
6.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟建立色彩范圍；對所述箱[42]進行分類，以確定其中像素到具有遠端色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及檢測具有非相鄰色彩范圍的所述分段箱[66]之間的空間，從而確定所述彩色圖像[32]中高色品對象的邊界。
7.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變所述灰色半徑[64]，以包括最接近所述缺省灰色半徑[60]的所述色品峰[74、76、78]。
8.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變所述灰色半徑[64]，以包括最接近所述缺省灰色半徑[60]的所述色品峰[74、76、78]。
9.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變初始箱色度范圍。
10.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及改變任何箱從初始箱色度范圍的最大增長。
11.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及重新計算所述灰色半徑[64]內箱[42]中像素的色彩直方圖[44]。
12.如權利要求1所述的方法，其特征在于調整所述缺省灰色半徑[60]的步驟包括以下步驟建立色彩范圍；對所述箱[42]進行分類，以確定其中像素到具有最接近色彩范圍的其它箱[42]中其它像素的連接；建立分段箱[66]，以包括具有最接近色彩范圍的連接像素；將具有所述最接近色彩范圍的連接像素放入所述分段箱[66]；以及檢測最接近所述缺省灰色半徑[60]的色品峰[74、76、78]；以及重新計算所述灰色半徑[64]內所述分段箱[66]中像素的色彩直方圖[44]。
13.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟確定所述色空間的不同顏色象限中主色品峰[80]的存在，以防止消除所述偏色的步驟。
14.如權利要求1所述的方法，其特征在于計算色彩直方圖[44]的步驟包括以下步驟當所述主色品峰的幅度小于比非主色品峰[74、76、78]的平均幅度大數(shù)倍的倍增閾值時，從所述色彩直方圖[44]的計算中去除主色品峰[80]。
15.如權利要求1所述的方法，其特征在于提供缺省灰度半徑[60]的步驟包括以下步驟從由L*a*b*、YUV和Lst構成的組中選擇的一個色空間中選擇色空間。
16.如權利要求1所述的方法，其特征在于消除所述偏色的步驟包括以下步驟建立具有偏色距離校正的查找表；以及利用所述查找表變換所述彩色圖像[32]，以提供消除了所述偏色的彩色圖像[36]。
全文摘要
一種色彩校正方法利用自適應分段。具有缺省灰色半徑[60]的消色軸[12]的色空間在色平面中建立中性色箱[42]。將數(shù)字彩色圖像[32]的像素放入箱[42]中。用缺省灰色半徑[60]內像素的色品峰[74、76、78]計算色彩直方圖，其中所述缺省灰色半徑被調整為灰色半徑[64]。從灰色半徑[64]內的主色品峰[80]來檢測偏色，并從消色軸[12]檢測偏色距離。通過從色空間中的彩色圖像[32]減去偏色距離，從而從像素中消除偏色，并輸出消除了偏色的彩色圖像。
文檔編號H04N1/60GK1455910SQ01815498
公開日2003年11月12日 申請日期2001年7月5日 優(yōu)先權日2000年7月18日
發(fā)明者T·J·庫珀 申請人:索尼電子有限公司