專利名稱:在高維空間中檢測對(duì)象的系統(tǒng)和方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于在高維空間中檢測對(duì)象的系統(tǒng)和方法,并且更特別地,涉 及用于^ffl,空間學(xué)習(xí)來在高維空間中檢測)^的系統(tǒng)和方法。
背景技術(shù):
許多三維(3D)檢測和分割問題面臨在高維空間進(jìn)行搜索。例如,3D相 似變換的特征在于九個(gè)參數(shù)三個(gè),參數(shù),三個(gè)方向參數(shù)以^H個(gè)尺度參數(shù)。 搜索齡空間來檢測鄉(xiāng)非常昂貴。即使涉及由粗到精的策略,麟所有這些 參數(shù)在計(jì)算上被禁止。此外,j頓針對(duì)帶有如此多參數(shù)的膽的正例和反例來 訓(xùn)練有鑒別能力的分類劉艮具有挑戰(zhàn)性,因?yàn)橛布拗埔淮蝺H允許相對(duì)小的 數(shù)目的負(fù)數(shù)(negative)(大約106)。為了處理所有可能的反例,不得不使用多 級(jí)自舉,從而使^^h系統(tǒng)甚至更慢。但是,當(dāng)所要檢測的膽以凝巾方式自然對(duì)準(zhǔn)時(shí),存在多種情況。例如, 圖片中的大多數(shù)面部都近1^7K平并且近似具有相同的膚色。類似地,CT掃描 中的大多數(shù)心臟近似具有相同的大小和方向。需要一種方法,用于在高維空間中快速檢測贈(zèng),其中該搜索空間可大大被減小而鵬^i確的結(jié)果。發(fā)明內(nèi)容公開了一種用于在高維圖像空間中檢測對(duì)象的系纟蘇卩方法。接tl^t象的三維圖像。第一分類器在所3zfem中'iMi置的職空間中被訓(xùn)練,其產(chǎn)生預(yù)定數(shù)目的候M象中心位置。第二分類親皮訓(xùn)練來從預(yù)定數(shù)目的候自象中'IM^置 中識(shí)別潛在的對(duì)象中^、位置和方向并且維持戶皿候皿象中心位置的子集。第三分類親皮訓(xùn)練來從謝lM^象中^啦置的子集中識(shí)別所,象中心的潛在位置、方向和,。識(shí)別戶; ^tm的單個(gè)^^m姿態(tài)。
本發(fā)明的im實(shí)施方式將參照附圖在下文進(jìn)行更加詳細(xì)的說^^,其中同樣的參,號(hào)指示相似的元件圖i是根據(jù)本發(fā)明的用于實(shí)te高維空間中'i^i檢測)^的示例性系統(tǒng)的 方框圖;圖2示出根據(jù)本發(fā)明的方面的用于4頓,空間學(xué)習(xí)來訓(xùn)練分類器的投影分布;圖3是描繪根據(jù)本發(fā)明的實(shí)施方式的在計(jì)對(duì)幾斷層掃描圖像中檢測左心室 的流程圖;圖4是示出被執(zhí)行來根據(jù)本發(fā)明的方面4頓纖空間學(xué)習(xí)而檢測左心室的 步驟的功能方框圖;圖5示出作了被注解的(annotated)對(duì)象的例子;圖6示出根據(jù)本發(fā)明的方面的LV中心定位方法的功能OT圖;圖7是根據(jù)本發(fā)明的方面的LV中心和方向檢測方法的功能方框圖;以及圖8示出MSL在醫(yī)學(xué)成像的數(shù)個(gè)其4Mm檢測問題中的應(yīng)用。
具體實(shí)施方式
本發(fā)明涉及一種用于在高維圖像空間中檢測)^的系統(tǒng)和方法。圖1示出根據(jù)本發(fā)明的示例性實(shí)施方式的用于在高維圖像空間中檢測m的系統(tǒng)100。在此說明的例子將涉及在三維醫(yī)學(xué)圖像中檢測解剖學(xué)結(jié)構(gòu)。然而,本領(lǐng)域技術(shù) 人員應(yīng)理解,所述方法和系統(tǒng)并不限于檢測解剖學(xué)結(jié)構(gòu),而是可^ffl于檢測諸 如面部、行人、車輛以及^I標(biāo)志的其4Wa,而不偏離本發(fā)明的范圍和精神。 如圖1中戶標(biāo),系統(tǒng)100包括釆集設(shè)備105、個(gè)人計(jì)^m (PC) 110和操作者 控制臺(tái)115, ^H^iM有線或無線網(wǎng)絡(luò)120連接。采集設(shè)備105可以是計(jì)^m斷層掃描(CT)成像設(shè)備或諸如磁共振(MR) 掃描儀或超聲波掃描儀的任何其H維(3D)高分辨率成像設(shè)備??梢允潜銛y式 上型計(jì)算機(jī)、醫(yī)學(xué)診斷成像系統(tǒng)或影像存檔和通訊系統(tǒng)(pacs)數(shù)據(jù)管理站的pc 110包,接到輸入設(shè)備150和輸出設(shè)備155的中 央處理單元(cpu) 125和存儲(chǔ)器130。所述cpu 125包^Ji^空間學(xué)習(xí)模塊 145,該邊緣空間學(xué)習(xí)模決145包括將在此后討論的一種或多種用于在三維醫(yī) 學(xué)圖像中檢湖蠏剖學(xué)結(jié)構(gòu)的方法。盡管戶;Mii^空間學(xué)習(xí)模塊145被示在cpu 125之內(nèi),但^^^ii^空間學(xué)習(xí)模塊145也可以位于cpu 125之外。存儲(chǔ)器130包括隨機(jī)存取存儲(chǔ)器(ram) 135和只皿儲(chǔ)器(rom) 140。 存儲(chǔ)器130也可以包括自庫、M驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器等等或者是它們的組 合。戶脫ram 135起艦存儲(chǔ)器的作用,iM^存儲(chǔ)器保存在執(zhí)行cpu 125 中的,旨期間的 并被用作工作區(qū)。所述rom 140起禾歸存儲(chǔ)器的作用, 該禾M0存儲(chǔ)器用于保存在cpu125中所執(zhí)行的禾歸。戶7M輸入150由M:、鼠 標(biāo)等等構(gòu)成,而戶腿輸出155貝岫液晶顯示器(lcd)、陰豐謝線管(crt) 顯示器、打印機(jī)等等構(gòu)成。戶皿系統(tǒng)100的操作可由操作者控制臺(tái)115來控制,該操作者控制臺(tái)115 包括控制器165(例如離)和顯示器160。戶脫操作者控制臺(tái)115與戶腿pc 110 和戶艦采集設(shè)備105進(jìn)《預(yù)信,使得由采集設(shè)備105所麟的圖像娜可由pc 110再現(xiàn)并在顯示器160上鄉(xiāng)見察。當(dāng)缺少戶;f^作者控制臺(tái)115時(shí),艦例 如《頓輸入設(shè)備150和輸出設(shè)備155頓行由控帶擺165和顯示器160所執(zhí)行 的某些任務(wù),所述pc 110可被配置來操作和顯示由采集設(shè)備105所提供的信 息。戶;f^操作者控制臺(tái)m還可以包括倒可適當(dāng)?shù)膱D像再現(xiàn)系嫩工j/應(yīng)用程 序,這些圖像再mm嫩工具/應(yīng)用,能處s^捕獲的圖像數(shù)據(jù)集(或其部分)的數(shù)字圖像數(shù)據(jù),以0示器160上生成并顯示圖像。更確切地說,圖像再現(xiàn)系統(tǒng)可以是提供醫(yī)學(xué)圖像數(shù)據(jù)的再現(xiàn)和可視化的應(yīng)用程序,并且 用,在 通用或?qū)S糜?jì)^mi作站戰(zhàn)行。戶腿pc no也可以包括戰(zhàn)圖像再i縣敏工具/應(yīng)用辦。職空間學(xué)習(xí)(msl)禾iJ用大多M^具有某^g不變的屬性(例如, ct圖像中的心臟近似具有相同的大小和方向)這一事實(shí)。同樣地,通過在其 中僅考詹某些參數(shù)而其余的參數(shù)被整合出去的,空間中進(jìn)行檢測來排除大部 分空間。當(dāng)要檢測的鄉(xiāng)以凝中方式自然對(duì)準(zhǔn)時(shí),也可能存在多種情況。這種 自然的對(duì)準(zhǔn)可被用于以如圖2中所示的投影分布來訓(xùn)練分類器,這種投影分布存在于較小維度的邊緣空間(例如,3參數(shù)的左心室中A必置空間,而不是9 參數(shù)的左心室相似變換空間)上。然后,基于訓(xùn)練過的,空間分類器,搜索空間可被限制為其到m^i^空間的鄉(xiāng)具有高概率值的l^^物。在MSL中,分類M,空間上被訓(xùn)練,在該,空間中,其中某 量被忽略。例如,在戶(y)上被訓(xùn)練的分類器可快速排除大部分搜索空間。另一個(gè)分類驗(yàn)其余空間上被訓(xùn)練,以獲得最終的分類結(jié)果。現(xiàn)在在其中執(zhí)行在計(jì)算機(jī)斷層掃描(CT)圖像中檢觀佐心室(LV)的例 子的上下文中對(duì)本發(fā)明的實(shí)M式進(jìn)行說明。MSL被用于在3D CT圖像中檢 測LV直到相似變換。圖3示出描繪根據(jù)本發(fā)明的用于檢測LV的示例性方法 的流程圖。圖4是示出被執(zhí)行來根據(jù)本發(fā)明的方面j頓纖空間學(xué)習(xí)而檢測LV的步驟的功能方框圖。接收LV的圖像(402)。分類^ffi來找到LV中心的3D腿i-(x, y, z) (步驟302, 404)。該分類驗(yàn)LV中,lM^g的職空間中被訓(xùn)練。對(duì)^f^3D 輸入 ,最好的400個(gè)皿被保留用,一iHff古(步驟304)。本領(lǐng)域技術(shù) 人員應(yīng)理解,在不偏離本發(fā)明的范圍和精神的情況下,為進(jìn)一^iff古所保留的 ^g的數(shù)目可以變化。對(duì)于400個(gè)fl^i位置,另一分類^l細(xì)于保持LV的最有希望的3D腿和方向(x, e Mx, y, z, ep 92, e3)(步驟306, 406)。因此,這個(gè)分類 位置和方向的6維邊緣空間中被訓(xùn)練。最佳的50個(gè)fl^^M和方向被保留用于進(jìn)一對(duì)刊古。本領(lǐng)域技術(shù)人員應(yīng)離,在不偏離本發(fā)明的范圍和衞中的情況下, 被保留用于進(jìn)一^i平估的候選位置和方向的數(shù)目可以變化。最后,訓(xùn)練過的分類親細(xì)于檢測LV鼓9維相似變換(也就是,健、方向和尺度)(步驟308, 408)7Mx, e , sXx, y, z, e,, 9 2, e3,Sl,s2,s3) (1)單個(gè)候選物是這個(gè)階段的輸出(步驟310)。訓(xùn)練集包括多個(gè)圖像體積。訓(xùn)練圖像^f只中的每個(gè)LV的皿都JOT包括 514個(gè)點(diǎn)的3D網(wǎng)格進(jìn)行注解。圖5示出已經(jīng)利用3D網(wǎng)格502和相應(yīng)的邊界框 504謝亍a^的LV的例子。LV頂點(diǎn)、A3C平面以^i軸l細(xì)于將M皿彼jt樹準(zhǔn)。對(duì)所對(duì)準(zhǔn)的皿執(zhí)行主成分分析(PCA),并且最佳的50個(gè)PCA 基點(diǎn)(base) l細(xì)來描述皿可變性。現(xiàn)在將對(duì)圖3和圖4中所描述的方法進(jìn)行更加詳細(xì)的說明。為了檢測LV 中心位置402,基于3D哈爾(Haar)特征來訓(xùn)練分類器。針對(duì)更好的 對(duì) 準(zhǔn)和性能,LV中心在被二7細(xì)樣(subsample)為3mm的體素大小的圖像體積 中進(jìn)行檢測。在這一^f,率下,體積具有近似50X50X60個(gè)體素的大小。所 述訓(xùn)練集包括多個(gè)圖像體積(例如,100個(gè)圖像^i口、),所有圖像M只的大小均 被調(diào)整為3mm體素大小。3D哈爾濾波器在以采樣位置為中心的、大小為31X31X31個(gè)體素的水平立方體之內(nèi)被選擇。大約ioooo個(gè)哈爾特征的集合ira擇用于訓(xùn)練。通過增加由距其真實(shí)位置的l一2個(gè)體素干擾的正m^增加正數(shù)的數(shù)目,用于穩(wěn)定。這 允許大約6000個(gè)正數(shù)從100個(gè)訓(xùn)練體積中獲得。超巨離真正中'tM體至少5 個(gè)體素的距離處,負(fù)數(shù)在圖像體積之內(nèi)隨機(jī)l雌擇。大約一百萬個(gè)負(fù)數(shù)禾細(xì)于 訓(xùn)練。概率升高樹(Probabilistic Boosting Tree, PBT)被用于訓(xùn)鄉(xiāng)斜口檢測,因?yàn)樵?概率升高樹針對(duì)^樣本返回0到1之間的概率。所述PBT在于2006年3月 2日提交的、序列號(hào)為11/366,722并且標(biāo)題為"Probabilistic Bossting Tree Framework for Learning Discriminative Models (用于學(xué)習(xí)W^別力的t,的概率升高樹框架)"的共同待決的專利申請(qǐng)中被詳細(xì)說明,該專利申請(qǐng)全文并入以 作參考。PBT利用五個(gè)級(jí)別訓(xùn)練,這五個(gè)級(jí)別中的前兩個(gè)級(jí)別被實(shí)施為級(jí)聯(lián)。圖6圖解說明示出基本LV中心檢測方法的功能灘圖。輸入圖像^f只602 以3讓體素^fjf率來調(diào)整大小。LV中心檢測在圖像^^只604中f柳3D哈爾 特征。所述哈爾特征在通過以樣本位置為中心的虛線所示的、大小為31X31 X31個(gè)體素的框內(nèi)被選擇。檢測結(jié)果是圍繞真正的中心隨606的小斑±刺本 素。最佳的400個(gè)位置被保留用于進(jìn)一斜啊古,而其余的錢貝做舍棄。這一級(jí)別的i啊古指示,所有真正的中'iMffl均在這400個(gè)^j^位置中。該方法夂m置的搜索空間從50X50X60=150000減少到400,這減少了大于300的量級(jí)。 第二分類器在位置和方向(x, e )的6維空間中工作。該空間被限制到值(x,9 ),針對(duì)該值(x, e),位置x在由所述^a檢測器獲得的400個(gè)候選物中,并且因此該6維空間已經(jīng)被縮小了 300多倍。圖7是其中發(fā)現(xiàn)了戶;M隨的方向的方法的功能灘圖。要針對(duì)其找到方向的位置艦中心檢測方 fefe確定,該方法得到一串檢測到的中心702。 LV方 向檢測4柳3D曲率特征來檢測方向704。 ^MT征被計(jì)算為大小為24 X 24X 24個(gè)體素的框內(nèi)的特定體素位置,被平移和鄉(xiāng)虔轉(zhuǎn)樣本的^1和方向。在戶腿 框之內(nèi),戶腿^g在9X9X9的點(diǎn)陣上被組纟尸應(yīng)來,因此有其中齢十算特征的 729個(gè)不同的位置。在這雖置的齡位置處,有梯度、最小和最大曲率、主 方向和^IR娜的71種不同的組合(斜B、乘積、商、反三角函數(shù)等等)。這 給出729X71=51759 ,征。此外,存:^H個(gè),3mm、 6mm和12 mm, 以這些尺度來計(jì)算這醜征,從而獲得總共大約150000偉征。正數(shù)和負(fù)數(shù) 豐雌擇為健x絲自第一階段的400個(gè)fi魏物中。最佳的50個(gè)》魏物^ W 被保留用于進(jìn)一^iff古706。出現(xiàn)的重要問題是如何獲得樣本與真實(shí)瞎況之間的有意義的距離。誕巨離 將被用于產(chǎn)生所述正數(shù)和負(fù)數(shù),因?yàn)槟切┐_實(shí),于真實(shí)情況的樣本應(yīng)當(dāng)被視 為正數(shù),而那離出某個(gè)閾值的樣本貝提負(fù)數(shù)。為了計(jì)算距真實(shí)情況的距離,^樣本(x,e)被增加由所述訓(xùn)練數(shù)據(jù)的統(tǒng) 計(jì)數(shù)字獲得的平均尺度V j柳得到的相似變換7Mx, 6 , So),獲得,被改變 的平均形狀。所述平均形狀在對(duì)98個(gè)訓(xùn)練形狀執(zhí)行普羅克拉斯提斯 (Procrustes)分析時(shí)獲得。因此,在相應(yīng)的尺度被改變的平均微之間的點(diǎn)到 點(diǎn)的平均距離為兩個(gè)樣本之間的距離。戶脫正數(shù) 擇為具有最多為6mm的距離,而戶腿負(fù)數(shù)超少為15mm 的距離處。由戶;^檢測器的輸出,最佳的50個(gè)候選物&e)被保持,而其余 的麟艦舍棄。搜索空間的維數(shù)再次被增加,以增加lv尺度。相似變換r=(x, e, s泡于9維空間中,但是前6維(x, 0 )被限制為僅僅取由上一階段獲得的50個(gè)值。相同的特征樣本庫如在lv方向檢測階段中那稱劍OT,而今的不同點(diǎn)在于,對(duì) 于針樣農(nóng)x, e, s),其中這醜征被計(jì)算的膨見在為& e , 4/3s)。在這個(gè)階段之后選擇單個(gè)織物。相似的對(duì)去可,細(xì)于檢測左心房(la)。為了在2D中檢測ia直到相似 變換,搜索5維空間健(x^y)、方向e和尺度(s,a)(鵬和縱橫比)。使 用msl方法,對(duì)三個(gè)分類器進(jìn)行訓(xùn)練。第一分類親皮訓(xùn)練來檢測ia隨。因?yàn)槌暡〝?shù)據(jù)中的LA在大小上展示出很;^度的^性,所以也以小、中 和大三個(gè)皿估計(jì)非常粗略的大小。最佳的iooo個(gè)候選物被保留用 —步 處理。第二分類:^皮訓(xùn)練彩十對(duì)旨f^^物推斷LA方向和一個(gè)尺度參數(shù)。然 后,最佳的iooo個(gè)候選物被保留用于進(jìn)一步處理。最后的分類辦皮訓(xùn)練來針 對(duì)1000個(gè)l魏物中的每一個(gè)推斷縱橫比,并且最佳的20個(gè)^i!)的平均值樹艮 告為檢測結(jié)果。MSL魏用的方法并且可棚于醫(yī)學(xué)成像中的多個(gè)具有挑戰(zhàn)性的2D和3D X^m檢測和分割任務(wù)。圖8示出應(yīng)用MSL在X射線圖像中檢測導(dǎo)管尖端(802)、 在腹部CT中檢測回盲瓣(804)和肝臟(806)、 ^g聲波圖像中檢測心室(808) 以及在MRI中檢測心室(810)。已經(jīng)說明了用于在高維空間中檢測,的系辦Q方法的實(shí)施方式,但是應(yīng) 注意,本領(lǐng)域技術(shù)人員可以根據(jù)上述教導(dǎo)進(jìn)行修改和變型。因此,應(yīng)WS所 公開的本發(fā)明的特定實(shí)施方式中可進(jìn)行改變,這些改變?cè)谌缬伤綑?quán)利要求所 定義的本發(fā)明的范圍和精神之內(nèi)。因此,已經(jīng)按專利法的要求詳細(xì)并具體地描 述了本發(fā)明,所要求保護(hù)的和需要專利證書保護(hù)的內(nèi)容在隨附的權(quán)利要求中被
權(quán)利要求
1. 一種用于在高維圖像空間中檢測對(duì)象的方法,其包括接收對(duì)象的三維圖像;在對(duì)象中心位置的邊緣空間中訓(xùn)練第一分類器,其產(chǎn)生預(yù)定數(shù)目的候選對(duì)象中心位置;訓(xùn)練第二分類器來從預(yù)定數(shù)目的候選對(duì)象中心位置中識(shí)別潛在的對(duì)象中心位置和方向并維持所述候選對(duì)象中心位置的子集;訓(xùn)練第三分類器來從所述候選對(duì)象中心位置的子集中識(shí)別所述對(duì)象中心的潛在的位置、方向和尺度;以及識(shí)別對(duì)象的單個(gè)候選對(duì)象姿態(tài)。
2、 如權(quán)利要求l所述的方法,其中,1頓在戶腐圖像中被二7娜樣的3D 哈爾特W臓第—分類器進(jìn)CT練。
3、 如權(quán)利要求2所述的方法,其中,使用概率升高樹來訓(xùn)練所述3D哈爾特征。
4、 如權(quán)利要求1所述的方法,其中,《頓曲率特征棘戶脫第二分類器 謝刊條。
5、 如權(quán)利要求4所述的方法,其中,戶腐第二分類驗(yàn)健和方向的六 維空間中工作。
6、 如權(quán)利要求1所述的方法,其中,戶脫第三分類驗(yàn)健、方向和尺 度的九維空間中被訓(xùn)練。
7、 如權(quán)利要求1所述的方法,其中,所艦象為左心室。
8、 如權(quán)利要求l所述的方法,其中,所艦象為左心房。
9、 如權(quán)利要求7戶腿的方法,其中,戶腿3D圖像為3D計(jì)對(duì)幾斷層掃描圖像。
10、 一種用于在高維圖像空間中檢測贈(zèng)的系統(tǒng),其包括 用于捕W^的三維圖像的采集設(shè)備;接ilW象的所捕獲的三維圖像的處理器,所述處理器對(duì)每幅圖像執(zhí)行下述 歩驟^tm中心位置的邊緣空間訓(xùn)練第一分類器,其產(chǎn)生預(yù)定數(shù)目的候選訓(xùn)練第二分類器來從戶腿預(yù)定數(shù)目的候艦象中^必置中識(shí)別潛在的贈(zèng)中《,和方向并維持戶;M^^tm中^vlig的子集訓(xùn)練第三分類器來從戶脫候艦象中心位置的子集中識(shí)別戶; ^t^的潛在的位置、方向和尺度;以及 識(shí)別鄉(xiāng)的單^flM^姿態(tài);以及用于顯示所檢測到的對(duì)象的顯示器。
11、 如權(quán)利要求10戶脫的系統(tǒng),其中,j頓在戶脫圖像中被二次抽樣的3D哈爾特艦?zāi)牭谝环诸惼鬟M(jìn),練。
12、 如權(quán)利要求11所述的系統(tǒng),其中,4柳概率升高樹來訓(xùn)練所述3D 哈爾特征。
13、 如權(quán)利要求io戶脫的系統(tǒng),其中,4頓曲率特征艦戶;Mm二分類器進(jìn)ffl職。
14、 如權(quán)利要求13戶脫的系統(tǒng),其中,戶腿第二分類驗(yàn)^S和方向的 六維空間中工作。
15、 如權(quán)利要求10戶腿的系統(tǒng),其中,0f^第三分類器在位置、方向和 尺度的九維空間中被訓(xùn)練。
16、 如權(quán)利要求10戶腿的系統(tǒng),其中,戶;Mx^為左心室。
17、 如權(quán)利要求10戶脫的系統(tǒng),其中,鄉(xiāng)為左心房。
18、 如權(quán)利要求16戶脫的系統(tǒng),其中,戶脫3D圖像為3D if^t幾斷層掃描圖像。
全文摘要
公開了一種用于在高維圖像空間中檢測對(duì)象的系統(tǒng)和方法。接收對(duì)象的三維圖像。在對(duì)象中心位置的邊緣空間內(nèi)訓(xùn)練第一分類器,其產(chǎn)生預(yù)定數(shù)目的候選對(duì)象中心位置。訓(xùn)練第二分類器來從所述預(yù)定數(shù)目的候選對(duì)象中心位置中識(shí)別潛在的對(duì)象中心位置和方向并維持所述候選對(duì)象中心位置的子集。訓(xùn)練第三分類器來從所述候選對(duì)象中心位置的子集中識(shí)別所述對(duì)象中心的潛在的位置、方向和尺度。識(shí)別出對(duì)象的單個(gè)候選對(duì)象姿態(tài)。
文檔編號(hào)G06K9/62GK101261735SQ20071019444
公開日2008年9月10日 申請(qǐng)日期2007年9月28日 優(yōu)先權(quán)日2006年9月28日
發(fā)明者A·巴布, B·喬治斯庫, D·科馬尼丘, J·楊, Y·鄭 申請(qǐng)人:美國西門子醫(yī)療解決公司