用于多頻譜成像的自動聚焦方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本文所公開的技術(shù)涉及用于對顯微鏡載玻片進行成像的基于計算機的系統(tǒng)以及 自動聚焦技術(shù)。
【背景技術(shù)】
[0002] 數(shù)字病理學(xué)裝備通常用于產(chǎn)生顯微鏡載玻片的數(shù)字圖像。病理學(xué)家和血液化驗設(shè) 備操作員通常在視覺上檢查數(shù)字圖像以獲得關(guān)于組織樣本的信息并識別最適當(dāng)?shù)闹委熞?改進臨床結(jié)果。為了產(chǎn)生彩色圖像，自動化載玻片掃描儀通常在紅色、綠色和藍色（RGB)通 道中的每一個中獲取圖像并組合圖像以產(chǎn)生RGB圖像。掃描儀還獲取具有不同頻譜特性的 多個圖像通道，像例如具有多節(jié)或可調(diào)諧濾波器的臺架（bench)的熒光成像器，以獲取圖像 數(shù)據(jù)。為了得到合適的圖像數(shù)據(jù)，自動化載玻片掃描通常包括：在大數(shù)目的不同Z平面處自 動掃描組織樣本。許多所捕獲的圖像提供極少價值或不提供價值，因為圖像數(shù)據(jù)通常在大 部分Z平面中失焦。該問題同樣影響使用濾波器臺架的熒光成像。
[0003] 此外，針對藍色或綠色通道中的最佳聚焦的Z平面可能不是針對紅色通道中的最 佳聚焦的Z平面，尤其是如果被成像的特征是小的(例如，小于光的波長的20倍)。一個彩 色通道中的圖像模糊可能削弱總體彩色圖像質(zhì)量，造成針對解釋、診斷和/或自動化圖像 分析的嚴重問題。為了減少模糊，彩色載玻片掃描儀可以獲取圖像的完整Z堆疊(例如，針 對每一個彩色通道的圖像的Z堆疊的集合）并使用復(fù)雜的自動聚焦算法來從Z堆疊創(chuàng)建單 個圖像。不幸的是，這要求顯著的Z堆疊獲取時間、存儲大量Z堆疊數(shù)據(jù)的存儲器、和分析Z 堆疊數(shù)據(jù)并生成彩色圖像的顯著處理時間?？商鎿Q地，常規(guī)彩色載玻片掃描儀可以選擇針 對一個通道的聚焦平面(或焦平面）且然后在所選聚焦平面處掃描其它通道。例如，聚焦平 面可以針對綠色通道的最佳聚焦而選擇。載玻片掃描儀在該聚焦平面處獲取紅色和藍色通 道中的圖像以產(chǎn)生彩色或多頻譜圖像。不幸的是，用于所有通道的公共聚焦平面可能不是 針對每一個通道的最佳聚焦平面，造成針對由顏色主導(dǎo)的特征而不是主導(dǎo)了聚焦過程的特 征的復(fù)合圖像中的不希望的圖像模糊。

【發(fā)明內(nèi)容】

[0004] 所公開的技術(shù)的至少一些實施例是成像系統(tǒng)，其通過在被選擇以改進光學(xué)銳利 度、顏色可分離性和人類可讀性之間的平衡的焦平面處捕獲圖像來增強復(fù)合圖像的聚焦。 數(shù)字成像器設(shè)備的每一個通道(例如，彩色通道)或濾波器波段可以具有不同的焦平面。"對 焦的"焦平面可以被選擇以捕獲有限數(shù)目的圖像(例如，每通道或濾波器波段一個圖像）以 產(chǎn)生針對所有彩色通道最優(yōu)地聚焦的復(fù)合圖像而同時限制成像時間、數(shù)據(jù)存儲等等。成像 系統(tǒng)可以通過組合在相應(yīng)焦平面處獲得的不同彩色通道中的各個圖像來產(chǎn)生例如試樣的 高度聚焦的彩色圖像。
[0005] 焦平面或"對焦的"Z切片可以對應(yīng)于具有最少量的模糊、最銳利的圖像等的通道 (或濾波器波段)中的所捕獲的圖像。每一個彩色通道(或濾波器波段)是使用針對該彩色通 道(或濾波器波段)的最優(yōu)焦平面或Z切片來捕獲的以限制或相當(dāng)大地減少在復(fù)合圖像中觀 察到的模糊和/或失真(例如色差)的量。成像系統(tǒng)可以對指示例如來自患者的組織樣本的 組織特性的一個或多個校準(zhǔn)顯微鏡載玻片(例如幻影載玻片、組織特定訓(xùn)練載玻片等）進行 成像。成像系統(tǒng)可以分析校準(zhǔn)載玻片的所獲取的圖像以評估例如失真、色差或其它不希望 的問題。在一些校準(zhǔn)過程中，確定針對所有彩色通道的單個自動聚焦平面與針對每一個彩 色通道的最佳單獨焦平面之間的色差或失真的影響。
[0006] 成像系統(tǒng)可以使用模型擬合技術(shù)來處理相同組織樣本或不同組織樣本的后續(xù)視 場。模型擬合可以是涉及例如作為變量的試樣定位和通道或波段焦平面的多項式擬合或其 它合適擬合的偏移或擬合技術(shù)。在一些校準(zhǔn)過程中，可以獲得一個或多個校準(zhǔn)載玻片的圖 像的Z堆疊。成像系統(tǒng)可以確定針對每一個通道或濾波器波段的焦平面并將焦平面與從自 動聚焦算法預(yù)測的焦平面進行比較。向在對像組織、細胞等那樣的物體進行成像時應(yīng)用的 聚焦方法提供該信息。信息以及因此自動聚焦算法可以基于比較而連續(xù)或周期性地更新以 提高自動聚焦算法的精確度。在一些實施例中，基于所預(yù)測的焦平面和實際對焦焦平面處 的圖像的比較來更新自動聚焦算法。一個通道中的圖像的比較可以用于選擇其它通道中的 焦平面。因此，單個通道中的兩個圖像可以用于確定附加通道中的最優(yōu)焦平面。此外，一個 通道的自動對焦算法可以基于另一通道的調(diào)節(jié)(例如聚焦)而調(diào)節(jié)。這可以減少總體處理時 間并增強圖像質(zhì)量。
[0007] 在一些實施例中，多頻譜的基于計算機的系統(tǒng)獲取顯微鏡載玻片的聚焦彩色圖 像。在校準(zhǔn)步驟中，系統(tǒng)確定相對于針對彩色數(shù)字成像器的一個或多個彩色通道的參考聚 焦平面的Z偏移。一個或多個參考聚焦平面可以是例如針對最終圖像中的彩色通道的子集 中的每一個彩色通道單獨選擇的最佳聚焦平面。在掃描步驟中，系統(tǒng)可以確定針對彩色數(shù) 字成像器的視場的最佳聚焦平面。彩色數(shù)字成像器可以依照在校準(zhǔn)步驟中確定的Z偏移來 在紅色、綠色和藍色通道中的一個或多個中的視場中獲得圖像數(shù)據(jù)。而且，可以執(zhí)行不同例 程以單獨自動聚焦每一個彩色通道，并且可以基于應(yīng)用和手邊的所成像的組織來選擇用于 自動聚焦的方法。
[0008] 在一些實施例中，用于獲取顯微鏡載玻片的聚焦圖像的方法可以使用具有光學(xué)系 統(tǒng)和數(shù)字彩色相機的顯微鏡而執(zhí)行。該方法包括：將存在于光學(xué)系統(tǒng)中的色差表征為相對 于數(shù)字彩色相機的紅色、綠色和藍色通道中的每一個中的最佳聚焦平面的Z偏移。顯微鏡 載玻片可以以通過依照Z偏移從紅色、綠色和藍色通道獲得圖像數(shù)據(jù)來減小所表征的色差 的效應(yīng)的方式成像。多頻譜系統(tǒng)可以包括存儲可被執(zhí)行以自動聚焦光學(xué)系統(tǒng)的指令的存儲 器。
【附圖說明】
[0009] 圖1圖示了依照所公開的技術(shù)的實施例的用于執(zhí)行自動聚焦技術(shù)的基于計算機 的系統(tǒng)和環(huán)境。
[0010] 圖2是圖示了依照所公開的技術(shù)的實施例的用于增強自動聚焦例程的設(shè)施的框 圖。
[0011] 圖3是圖示了依照所公開的技術(shù)的實施例的校準(zhǔn)組件的處理的流程圖。
[0012] 圖4是圖示了依照所公開的技術(shù)的實施例的Z校準(zhǔn)組件的處理的流程圖。
[0013] 圖5是圖示了依照所公開的技術(shù)的實施例的掃描組件的處理的流程圖。
[0014] 圖6是圖示了依照所公開的技術(shù)的實施例的Z掃描組件的處理的流程圖。
[0015] 圖7是圖示了依照所公開的技術(shù)的實施例的測試組件的處理的框圖。
[0016]圖8A-8E是依照所公開的技術(shù)的實施例的針對特定載玻片生成的各種Z切片或焦 平面處的顯示圖像。
【具體實施方式】
[0017] 所公開的技術(shù)的至少一些實施例是包括被配置成通過捕獲針對不同彩色通道或 濾波器波段的不同焦平面和/或Z切片(例如，通過Z堆疊或焦平面合并過程而生成的Z平 面)處的圖像改進所捕獲的圖像的"銳利度"的設(shè)施的成像系統(tǒng)。對于每一個彩色通道或濾 波器波段，該設(shè)施識別具有最少量的模糊的焦平面或Z切片（S卩，"最為對焦的"焦平面或Z 切片）并使用這些焦平面或Z切片以例如捕獲聚焦圖像。聚焦圖像可以被組合以產(chǎn)生聚焦 復(fù)合圖像。例如，聚焦紅色通道圖像、聚焦綠色通道圖像和聚焦藍色通道圖像可以被組合以 產(chǎn)生聚焦彩色圖像。由于該設(shè)施使用針對每一個彩色通道(或濾波器波段)的最優(yōu)焦平面或 Z切片，因此可以減少在最終復(fù)合圖像中觀察到的色差的量。
[0018] 應(yīng)當(dāng)指出的是，盡管對于顯微術(shù)和數(shù)字成像的領(lǐng)域的技術(shù)人員而言，說到圖像的 "銳利度"或聚焦的銳利度是典型的，但是我們想要在本專利中強調(diào)的是，"最佳聚焦"不一 定是"最銳利的"。通常更好的是與光學(xué)或焦點銳利度形成某種組合地優(yōu)化顏色可分離性或 人類可讀性。因此，通過"更銳利"和"最銳利"，發(fā)明人意指在平衡光學(xué)銳利度、顏色可分離 性和人類可讀性的意義上的"更優(yōu)"或"最優(yōu)"。"人類可讀性"被包括，這是因為如果試樣的 某個精細結(jié)構(gòu)(與診斷不相關(guān)的組織結(jié)構(gòu)）并不如此明顯則通常圖像更容易解釋，并且這可 以被包括在本專利中所標(biāo)識的模型中。
[0019] 本文所描述的技術(shù)可以用于增強已知自動聚焦和Z切片技術(shù)，諸如包括但不限 于相位檢測自動聚焦技術(shù)、對比度檢測自動聚焦技術(shù)等等的被動或主動式自動聚焦技術(shù)。 附加的自動聚焦、Z切片和載玻片成像技術(shù)由Bradley和Bamform描述在"AOne-pass ExtendedDepthofFieldAlgorithmBasedontheOver-completeDiscreteWavelet Transform'，；ImageandVisionComputing' 04NewZealand(IVCNZ'04),Akaroa,New Zealand,pp. 279-284(2004 年 11 月）;2011 年 5 月 4 日提交的題為"AutofocusImaging" 的美國非臨時專利申請No. 13/697,681 ;2010年7月23日提交的題為"0