本發(fā)明涉及磁共振成像,具體而言涉及利用神經(jīng)網(wǎng)絡處理磁共振圖像。
背景技術:
1、近年來,神經(jīng)網(wǎng)絡已被用于重建、過濾或校正磁共振圖像。該方法的優(yōu)點是神經(jīng)網(wǎng)絡速度非???,并且它們可以被訓練為執(zhí)行復雜的圖像和重建任務。使用神經(jīng)網(wǎng)絡的一個缺點是神經(jīng)網(wǎng)絡會向圖像中添加不真實的結構。在文獻中,這被稱為幻覺。本文中使用虛假結構(artificial?structure)和幻覺作為同義詞。磁共振圖像中存在虛假結構或幻覺可能會產(chǎn)生負面影響,因為檢查磁共振圖像的醫(yī)師可能會看到與實際對象不同的解剖特征。
2、美國專利申請公布us2020/0249300公開了根據(jù)加速磁共振成像(mm)數(shù)據(jù)來重建磁共振圖像。在一個實施例中,重建磁共振(mr)圖像的方法包括:根據(jù)欠采樣的k空間數(shù)據(jù)來估計多組線圈靈敏度圖,所述欠采樣的k空間數(shù)據(jù)是由多線圈射頻(rf)接收器陣列采集的;使用所述欠采樣的k空間數(shù)據(jù)和估計的多組線圈靈敏度圖來重建多幅初始圖像;利用經(jīng)訓練的深度神經(jīng)網(wǎng)絡,使用初始圖像和所述多組線圈靈敏度圖來迭代地重建多幅圖像以生成多幅最終圖像,所述多幅最終圖像中的每幅最終圖像對應于所述多組靈敏度圖中的不同組;并組合從所述經(jīng)訓練的深度神經(jīng)網(wǎng)絡輸出的多個最終圖像以生成所述mr圖像。
技術實現(xiàn)思路
1、本發(fā)明在獨立權利要求中提供了一種醫(yī)學系統(tǒng)、一種計算機程序產(chǎn)品和一種方法。在從屬權利要求中給出了實施例。
2、實施例可以提供一種通過使用圖像處理模塊來檢測磁共振圖像中的虛假結構的方法,所述圖像處理模塊包括圖像處理神經(jīng)網(wǎng)絡部分,所述圖像處理神經(jīng)網(wǎng)絡部分接收磁共振數(shù)據(jù)并且作為響應而輸出經(jīng)校正的磁共振圖像。所述圖像處理神經(jīng)網(wǎng)絡部分是根據(jù)選定(例如磁共振)圖像的真實(ground?truth)圖像集合進行訓練的。此外,所述圖像處理模塊包括虛假結構檢測部分,所述虛假結構檢測部分響應于所述磁共振數(shù)據(jù)被輸入到所述圖像處理神經(jīng)網(wǎng)絡中而輸出虛假結構數(shù)據(jù)。這些虛假結構數(shù)據(jù)表示接收器磁共振數(shù)據(jù)與聚合的真實信息的關系的一個或多個方面。所述接收器磁共振數(shù)據(jù)表示需要校正的損壞圖像。校正是由圖像處理神經(jīng)網(wǎng)絡部分進行的,所述圖像處理神經(jīng)網(wǎng)絡部分是基于所選擇的圖像的特定真實數(shù)據(jù)集來訓練的。所述虛假結構預測部分返回表示虛假結構(例如,幻覺)的可能性的信息。為此,所述虛假結構部分基于聚合的真實情況而被訓練,所述聚合真實情況表示更全局的圖像集的特定方面(與形成圖像處理神經(jīng)網(wǎng)絡部分的真實情況的已知圖像集相比)。因此,圖像處理網(wǎng)絡一方面可以在其第一輸出部返回與圖像處理神經(jīng)網(wǎng)絡部分已經(jīng)訓練過的真實數(shù)據(jù)匹配的經(jīng)校正的磁共振圖像,并且另一方面在其第二輸出部還返回表示接收到的磁共振數(shù)據(jù)的與聚合的真實數(shù)據(jù)的關系方面的數(shù)據(jù)。因此,圖像處理模塊可以在由圖像處理神經(jīng)網(wǎng)絡部分和虛假結構部分聯(lián)合返回的校正圖像中在與由已知圖像的訓練數(shù)據(jù)集形成的真實情況的緊密對應性以及在一些方面與聚合的真實情況的適當校正之間進行平衡。還需要注意的是,圖像處理神經(jīng)網(wǎng)絡和虛假結構預測網(wǎng)絡可以在已知圖像以及聚合真實情況的基礎上進行聯(lián)合訓練。下面描述圖像處理模塊的多種實現(xiàn)方式。值得注意的是,聚合真實情況可以由參考磁共振圖像形成,這些參考磁共振圖像可以是模板圖像或圖集圖像,這些圖像集合比已知圖像的訓練數(shù)據(jù)集要廣泛得多。接收器磁共振(輸入)數(shù)據(jù)的一個方面與聚合真實情況的關系可能與差異圖的統(tǒng)計量度有關,也可能與分割解剖結構之間的體積比數(shù)據(jù)的比較有關。針對圖像處理神經(jīng)網(wǎng)絡部分的真實情況可以在運行該醫(yī)學系統(tǒng)的醫(yī)學機構中選擇,或者由推薦患者進行磁共振成像檢查的特定放射科醫(yī)師或放射科醫(yī)師團隊選擇。
3、在一個方面中,本發(fā)明提供了一種醫(yī)學系統(tǒng),其包括存儲器,所述存儲器存儲機器機器可執(zhí)行指令和圖像處理模塊。圖像處理模塊也可以是機器可執(zhí)行代碼或指令。圖像處理模塊包括圖像處理神經(jīng)網(wǎng)絡部分和虛假結構預測部分。圖像處理模塊包括用于接收磁共振數(shù)據(jù)的輸入。
4、本文中所使用磁共振數(shù)據(jù)包含磁共振圖像或可用于重建磁共振圖像的k空間數(shù)據(jù)。因此,圖像處理模塊要么被配置為接收k空間數(shù)據(jù),要么被配置為接收磁共振圖像作為輸入。當圖像處理模塊接收到k空間數(shù)據(jù)時,圖像處理模塊根據(jù)k空間數(shù)據(jù)重建磁共振圖像。當磁共振數(shù)據(jù)為磁共振圖像時,圖像處理模塊用于對該磁共振圖像執(zhí)行一些圖像處理任務。例如,這可以是噪音消除、偽影消除、運動減少或其他類似的任務。
5、所述圖像處理神經(jīng)網(wǎng)絡包括第一輸出部,所述第一輸出部配置為響應于在輸入部處接收磁共振數(shù)據(jù)而輸出經(jīng)校正的磁共振圖像。所述虛假結構預測部分包括第二輸出部,所述第二輸出部被配置為輸出描述經(jīng)校正的磁共振圖像中的虛假結構的可能性的虛假結構數(shù)據(jù)。本文中使用的虛假結構涵蓋經(jīng)校正的磁共振圖像中的由圖像處理神經(jīng)網(wǎng)絡部分虛假地添加的解剖結構或特征。磁共振圖像中的虛假結構在文獻中也通常被稱為幻覺。使用神經(jīng)網(wǎng)絡從k空間數(shù)據(jù)構建磁共振圖像或執(zhí)行各種圖像處理任務(例如去除偽影或噪聲)已經(jīng)很成熟。然而,一個常見的技術問題是,人們無法檢查神經(jīng)網(wǎng)絡并了解它有哪些局限性,以及它是否會提供真實的數(shù)據(jù)或哪些數(shù)據(jù)已被改變并且其中存在所謂的幻覺。
6、虛假結構預測部分的加入提供了一種在經(jīng)校正的磁共振圖像中識別可能存在的虛假結構或幻覺的方法。例如,當醫(yī)師或其他醫(yī)學專業(yè)人員正在檢查經(jīng)校正的磁共振圖像并且想要知道經(jīng)校正的磁共振圖像的哪些部分可能有錯誤或可能是錯的時,這可能很有用。這也可以用作控制功能。例如,如果使用圖像處理模塊從原始k空間數(shù)據(jù)重建圖像,則可以使用不同的神經(jīng)網(wǎng)絡甚至算法方法來重建經(jīng)校正的磁共振圖像,從而避免磁共振圖像中出現(xiàn)虛假結構或幻覺的可能性。
7、所述醫(yī)學系統(tǒng)還包括計算系統(tǒng)。機器可執(zhí)行指令的運行使計算系統(tǒng)接收磁共振數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)響應于將磁共振數(shù)據(jù)輸入到圖像處理模塊的輸入部而在第一輸出部接收經(jīng)校正的磁共振圖像并且在所述第二輸出部接收所述虛假結構數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)取決于虛假結構數(shù)據(jù)滿足預定準則而提供警告信號。
8、例如,如果所述人工數(shù)據(jù)結構滿足所述預定準則,則可以提供所述警告信號。在不同示例中,所述警告信號可以采取不同的形式。在一個示例中,所述警告信號可以是聲音或觸覺警告。在其他示例中,所述警告信號可以是由連接到醫(yī)學系統(tǒng)的顯示器呈現(xiàn)的警告。在其他示例中,所述警告信號可以是熱圖或概率圖,其指示經(jīng)校正的磁共振圖像中的哪些位置可能具有虛假結構或幻覺結構。
9、所述醫(yī)學系統(tǒng)可以被并入不同類型的系統(tǒng)中。在一個示例中,所述醫(yī)學系統(tǒng)可以是將k空間數(shù)據(jù)處理成磁共振圖像或處理磁共振圖像的獨立系統(tǒng)。例如,它可能位于服務器上,或者可以作為web服務位于遠程。在另一個示例中,所述機器可執(zhí)行指令和圖像處理模塊被并入用于重建磁共振圖像的算法或圖像處理模塊中。在又一些示例中,所述醫(yī)學系統(tǒng)可以結合或者被并入諸如磁共振成像系統(tǒng)的醫(yī)學成像系統(tǒng)中。
10、在另一實施例中,所述虛假結構數(shù)據(jù)包括用于將經(jīng)校正的磁共振圖像與參考磁共振圖像進行匹配的模板匹配參數(shù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)使用模板匹配參數(shù)計算參考磁共振圖像與經(jīng)校正的磁共振圖像之間的圖像差異圖。例如,可以對經(jīng)校正的磁共振圖像進行變形或變換,使得它與參考磁共振圖像相匹配,反之亦然。然后,圖像差異圖可能關注兩幅圖像的個體像素或體素,并計算它們之間的差異。在一些示例中,圖像差異圖可能被進一步處理。
11、例如,可以對圖像差異圖進行閾值處理,以便僅配準超過特定值或者在特定鄰域內(nèi)的差異。計算圖像差異圖可能還涉及對經(jīng)校正的磁共振圖像進行一些預處理。例如,可以確定參考磁共振圖像的對比度,也可以確定經(jīng)校正的磁共振圖像的對比度,并且然后在計算圖像差異圖之前調整其中一幅圖像或另一幅圖像,使得它們具有相同的對比度。
12、所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)通過確定所述圖像差異圖是否超過預定的統(tǒng)計量度來通過算法確定圖像差異圖是否滿足預定準則。如果所述圖像差異圖滿足預定準則,則發(fā)出警告信號。如前所述,預定統(tǒng)計量度可以是閾值處理過程,以查看是否存在高于特定差異的體素。還可以采用額外的統(tǒng)計準則。例如,不同的體素數(shù)量也可以是用于確定是否提供警告信號的標準或準則。預定準則還可能涉及觀察高于預定閾值的體素團簇如何被分組在一起。例如,如果可能有一個或兩個孤立的體素,則這可能不會觸發(fā)警告信號,但如果存在也超過閾值的超過特定尺寸的區(qū)域,則在一些示例中這可能會觸發(fā)警告信號。
13、在不同的示例中,模板匹配參數(shù)可能不同。例如,在一種情況下,它可能是三維變形場,其定義兩幅圖像之間的每個像素或體素的偏移。模板匹配參數(shù)還可以表示基于識別兩幅圖像中的標志的低維偏移,其然后可用于執(zhí)行變換過程。
14、該實施例可能是有益的,因為在許多情況下難以確定磁共振圖像中是否存在幻覺。因此,將經(jīng)校正的磁共振圖像與參考磁共振圖像進行比較可以提供一種非常有效和客觀的方法來評估圖像是否存在虛假結構或幻覺。
15、在另一個實施例中,機器可執(zhí)行指令的運行還使計算系統(tǒng)接收描述對象的對象元數(shù)據(jù)并且使用對象元數(shù)據(jù)從模板數(shù)據(jù)庫中選擇參考磁共振圖像。例如,可以使用年齡、性別和其他詳細信息來選擇特定的參考磁共振圖像。這可能具有以下優(yōu)點:參考磁共振圖像更接近對象的解剖結構。
16、在另一個實施例中,所述存儲器還包括圖像生成神經(jīng)網(wǎng)絡,所述圖像生成神經(jīng)網(wǎng)絡被配置為響應于接收所述磁共振數(shù)據(jù)來生成所述參考磁共振圖像。例如,虛假結構預測部分和圖像處理神經(jīng)網(wǎng)絡部分都被實現(xiàn)為神經(jīng)網(wǎng)絡。例如,可以使用(如在生成式對抗網(wǎng)絡概念中的)利用對抗損失項訓練的自動編碼器或圖像生成器來生成參考磁共振圖像。
17、在一個示例中,僅對象元數(shù)據(jù)被用作針對圖像生成神經(jīng)網(wǎng)絡的輸入。在這種情況下,可以使用具有正常解剖結構的對象來訓練圖像生成神經(jīng)網(wǎng)絡。
18、在另一個實施例中,虛假結構預測部分被實現(xiàn)為模板匹配算法。該實施例可能是有益的,因為圖像處理神經(jīng)網(wǎng)絡部分和虛假結構預測部分可以是代碼或程序的兩個單獨的可執(zhí)行組。所述虛假結構預測部分例如可以將所產(chǎn)生的經(jīng)校正的磁共振圖像作為輸入,并且然后使用算法來確定模板匹配參數(shù)。
19、在另一個實施例中,所述虛假結構數(shù)據(jù)包括定義多個預定義解剖結構的三維分割掩模。例如,所述虛假結構預測部分可以對經(jīng)校正的磁共振圖像進行分割以確定三維分割掩模。這可以使用傳統(tǒng)的神經(jīng)網(wǎng)絡或分割算法(例如可變形形狀算法)來完成。所述機器可執(zhí)行指令還使所述計算系統(tǒng)接收描述多個預定義解剖結構之間的一個或多個比率的預定體積比數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)根據(jù)所述虛假結構數(shù)據(jù)來計算描述多個預定義解剖結構之間的一個或多個比率的測量體積比數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)通過將所述預定體積比數(shù)據(jù)與所述測量體積比數(shù)據(jù)進行比較來確定是否滿足預定準則。
20、在該實施例中,可以對經(jīng)校正的磁共振圖像進行分割以確定這些不同的三維分割掩模。然后,可以計算這些不同體積之間的各種比率,并且可以將這些比率與預定體積比數(shù)據(jù)進行比較。如果經(jīng)校正的磁共振圖像中存在虛假結構或者幻覺,那么很有可能通過預定體積比數(shù)據(jù)與測量體積比數(shù)據(jù)之間的差異中的不平衡來檢測此。
21、分割可以通過多種方式進行。例如,它可以作為單個神經(jīng)網(wǎng)絡,其具有y-net網(wǎng)絡,可以產(chǎn)生經(jīng)校正的磁共振圖像和虛假結構數(shù)據(jù)兩者。圖像處理模塊可以是單獨的神經(jīng)網(wǎng)絡,并且虛假結構預測部分也可以是單獨的程序或可執(zhí)行代碼。例如,虛假結構預測部分可以是分割算法,也可以作為單獨的神經(jīng)網(wǎng)絡來實現(xiàn)。該實施例還具有將經(jīng)校正的磁共振圖像與解剖結構的實際或實時參考數(shù)據(jù)進行比較的優(yōu)點。這對于檢測虛假結構或幻覺可能非常有效。
22、在另一個實施例中,機器可執(zhí)行指令的運行還使計算系統(tǒng)接收對象元數(shù)據(jù)。機器可執(zhí)行指令的運行還使計算系統(tǒng)使用對象元數(shù)據(jù)來從體積比數(shù)據(jù)庫中選擇預定體積比數(shù)據(jù)。這可能特別有效,因為各種體積比可以例如針對描述對象(例如年齡和性別)的各種參數(shù)微調。
23、在另一個實施例中,虛假結構預測部分被實現(xiàn)為圖像分割算法。例如,它可以是用于執(zhí)行圖像分割的經(jīng)過訓練的傳統(tǒng)神經(jīng)網(wǎng)絡,或者它可以是諸如可變形模型的算法分割算法。
24、在另一個實施例中,虛假結構預測部分被實現(xiàn)為神經(jīng)網(wǎng)絡。虛假結構預測部分被配置為接收經(jīng)校正的磁共振圖像作為輸入。這既適用于模板匹配實施例,也適用于使用三維分割掩模的實施例。例如,作為幾個示例,神經(jīng)網(wǎng)絡可以實現(xiàn)為resnet神經(jīng)網(wǎng)絡或u-net神經(jīng)網(wǎng)絡。例如,可以通過收集磁共振圖像,然后手動標記模板匹配參數(shù)和分割來訓練虛假結構預測部分。然后,如果虛假結構預測部分是卷積神經(jīng)網(wǎng)絡,則可以使用該訓練數(shù)據(jù)(例如,使用深度學習技術)來訓練虛假結構預測部分。
25、在另一個實施例中,虛假結構預測部分被實現(xiàn)為神經(jīng)網(wǎng)絡。輸出的虛假結構數(shù)據(jù)是描述經(jīng)校正的磁共振圖像中虛假結構可能性的空間相關的概率圖。在該實施例中,直接輸出該空間相關的概率圖。有幾種不同的方法可以實現(xiàn)此。在一種情況下,虛假結構預測部分和圖像處理神經(jīng)網(wǎng)絡部分可以一起實現(xiàn)為單個神經(jīng)網(wǎng)絡,例如下面描述的y-net神經(jīng)網(wǎng)絡。在另一個示例中,虛假結構預測部分和圖像處理神經(jīng)網(wǎng)絡部分被實現(xiàn)為兩個單獨的神經(jīng)網(wǎng)絡。例如,這兩個神經(jīng)網(wǎng)絡可能是兩個單獨的u-net神經(jīng)網(wǎng)絡。
26、在另一實施例中,圖像處理神經(jīng)網(wǎng)絡是y-net神經(jīng)網(wǎng)絡。y-net神經(jīng)網(wǎng)絡由u-net神經(jīng)網(wǎng)絡結構形成,其被配置為響應于接收磁共振數(shù)據(jù)而在第一輸出部輸出經(jīng)校正的磁共振圖像。y-net還包括解碼分支,所述解碼分支被配置為響應于接收磁共振數(shù)據(jù)而在第二輸出部處輸出描述所述經(jīng)校正的磁共振圖像中的虛假結構的虛假結構數(shù)據(jù)。所述解碼分支被連接到u-net神經(jīng)網(wǎng)絡結構。u-net神經(jīng)網(wǎng)絡結構包括圖像處理神經(jīng)網(wǎng)絡部分。所述解碼分支包括虛假結構預測部分。
27、本文所使用的y-net神經(jīng)網(wǎng)絡包含具有額外的解碼分支的u-net神經(jīng)網(wǎng)絡。該實施例可能是有益的,因為向u-net添加額外的解碼分支可能是檢測由u-net神經(jīng)網(wǎng)絡結構生成的幻覺的有效方法。y-net神經(jīng)網(wǎng)絡的使用可以用于以上描述的多個實施例。例如,解碼分支可以用于輸出模板匹配參數(shù)。在這種情況下,可以使用具有已知磁共振數(shù)據(jù)輸入的數(shù)據(jù)(圖像或k空間數(shù)據(jù))來訓練u-net,并且然后真實數(shù)據(jù)可以是經(jīng)校正的磁共振圖像和適當?shù)哪0迤ヅ鋮?shù)。
28、y-net網(wǎng)絡對于具有三維分割掩模的實施例也可能有用。在這種情況下,解碼分支對經(jīng)校正的磁共振圖像進行分割或者預測分割。在這種情況下,訓練數(shù)據(jù)可以是已知的磁共振數(shù)據(jù)(同樣,要么在圖像中要么在k空間中),與具有經(jīng)校正的磁共振圖像和參考分割掩模的真實數(shù)據(jù)配對,并且可以使用深度學習來訓練y-net神經(jīng)網(wǎng)絡。同樣,y-net可用于非常有效地使用解碼分支來直接生成空間相關的概率圖。例如,這可以通過再次在k空間或圖像空間中采集磁共振數(shù)據(jù)并使用u-net部分生成經(jīng)校正的磁共振圖像來實現(xiàn)。模板數(shù)據(jù)或人類可以瀏覽并識別圖像中包含幻覺的區(qū)域,并且這可以被用作真實數(shù)據(jù)。然后可以使用深度學習再次訓練y-net。
29、在另一個實施例中,磁共振數(shù)據(jù)描述對象的大腦。該實施例可能特別有效,因為神經(jīng)解剖結構的結構或正常結構在個體之間非常一致。例如,使用參考磁共振圖像或體積數(shù)據(jù)可能因此非常準確地預測經(jīng)校正的磁共振圖像中的幻覺結構。
30、在另一個實施例中,u-net神經(jīng)網(wǎng)絡結構包括最低分辨率卷積層。解碼分支被連接到最低分辨率卷積層。該實施例可能特別有益,因為盡管最低分辨率卷積層的分辨率通常低于經(jīng)校正的磁共振圖像,但它仍然包含能夠準確描述幻覺結構可能位于何處的數(shù)據(jù)。在這種情況下,它可能有助于預測模板匹配參數(shù)、體積比,或者甚至直接輸出空間相關的概率圖。
31、在另一實施例中,所述磁共振數(shù)據(jù)是圖像數(shù)據(jù)。在這種情況下,所述磁共振數(shù)據(jù)是已經(jīng)被重建的磁共振圖像。經(jīng)校正的磁共振圖像則為磁共振數(shù)據(jù)的校正。
32、在另一個實施例中,圖像處理模塊被并入磁共振成像重建算法中,所述算法被配置為響應于接收k空間數(shù)據(jù)而重建臨床磁共振圖像。所述磁共振數(shù)據(jù)是在臨床磁共振圖像重建過程中根據(jù)k空間數(shù)據(jù)計算出的中間磁共振圖像。該實施例可能特別有益,因為當神經(jīng)網(wǎng)絡被并入到傳統(tǒng)的磁共振成像重建算法中時,它可以提供更可信的手段。
33、其一個示例是使用圖像處理模塊作為在壓縮感測算法中使用的去噪濾波器。在壓縮感測算法中,存在在數(shù)據(jù)一致性步驟之前使用的去噪濾波器。然后可以使用警告信號重新觸發(fā)數(shù)據(jù)采集,或者可以使用它來改變磁共振成像重建算法的操作。例如,如果可能存在大量幻覺,那么算法可以切換到使用傳統(tǒng)的算法噪聲濾波器,而不是基于神經(jīng)網(wǎng)絡的噪聲濾波。這可能有助于增強臨床磁共振圖像的準確性,并且不太可能包含不真實或幻覺偽影。
34、在另一實施例中,磁共振數(shù)據(jù)是k空間數(shù)據(jù)。在這種情況下,圖像處理模塊將該k空間數(shù)據(jù)作為輸入并輸出已經(jīng)被校正的磁共振圖像。其結構可以采取多種不同的形式。在一種情況下,圖像處理神經(jīng)網(wǎng)絡部分可以執(zhí)行完整重建,并且虛假結構預測部分可以是完全分離的。例如,輸出的圖像用于模板匹配或具有應用于其的分割。在其他情況下,可以訓練y-net結構來接收k空間數(shù)據(jù),并且然后輸出經(jīng)校正的磁共振圖像和虛假結構預測部分。
35、在另一個實施例中,所述醫(yī)學成像系統(tǒng)還包括磁共振成像系統(tǒng)。該存儲器還包括脈沖序列命令,所述脈沖序列命令被配置為控制磁共振成像系統(tǒng)來采集磁共振數(shù)據(jù),使得其根據(jù)磁共振成像協(xié)議描述成像區(qū)域。在該示例中,采集磁共振數(shù)據(jù)可以有兩種含義。在一種情況下,它可能意味著僅采集k空間數(shù)據(jù)。當圖像處理模塊直接從k空間數(shù)據(jù)重建經(jīng)校正的磁共振圖像時,是這種情況。磁共振數(shù)據(jù)可以采取的另一種解讀是,磁共振數(shù)據(jù)是磁共振圖像,其中,脈沖序列命令控制磁共振成像系統(tǒng)采集k空間數(shù)據(jù),然后由計算系統(tǒng)將其重建為磁共振數(shù)據(jù)。機器可執(zhí)行指令的運行還使計算系統(tǒng)控制磁共振成像系統(tǒng)采集磁共振數(shù)據(jù)。如前所述,這可能還包括圖像重建。
36、在另一個實施例中,圖像處理神經(jīng)網(wǎng)絡部分被配置為執(zhí)行噪聲消除。
37、在另一個實施例中,神經(jīng)網(wǎng)絡部分被配置為執(zhí)行偽影校正。
38、在另一個實施例中,神經(jīng)網(wǎng)絡部分被配置為執(zhí)行運動校正。
39、在另一個實施例中,神經(jīng)網(wǎng)絡部分被配置為執(zhí)行超分辨率。
40、在另一個實施例中,圖像處理神經(jīng)網(wǎng)絡部分被配置為執(zhí)行去模糊。
41、在另一個實施例中,圖像處理神經(jīng)網(wǎng)絡部分被配置為執(zhí)行上述圖像處理技術的組合。
42、在另一方面中,本發(fā)明提供了一種計算機程序產(chǎn)品,所述計算機程序產(chǎn)品包括機器可執(zhí)行指令和圖像處理模塊,所述圖像處理模塊也可以是用于由計算系統(tǒng)運行的機器可執(zhí)行指令。圖像處理模塊包括圖像處理神經(jīng)網(wǎng)絡部分和虛假結構預測部分。圖像處理模塊包括用于接收磁共振數(shù)據(jù)的輸入。所述圖像處理神經(jīng)網(wǎng)絡部分包括第一輸出部,所述第一輸出部配置為響應于在輸入部處接收磁共振數(shù)據(jù)而輸出經(jīng)校正的磁共振圖像。所述虛假結構預測部分包括第二輸出部,所述第二輸出部被配置為輸出描述經(jīng)校正的磁共振圖像中的虛假結構的可能性的虛假結構數(shù)據(jù)。
43、機器可執(zhí)行指令的運行使計算系統(tǒng)接收磁共振數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)響應于將磁共振數(shù)據(jù)輸入到圖像處理模塊的輸入部而進行以下兩項操作:在第一輸出部接收經(jīng)校正的磁共振圖像并且在所述第二輸出部接收所述虛假結構數(shù)據(jù)。所述機器可執(zhí)行指令的運行還使所述計算系統(tǒng)取決于虛假結構數(shù)據(jù)滿足預定準則而提供警告信號。
44、在另一方面中,本發(fā)明提供了一種醫(yī)學成像方法。所述方法包括接收磁共振數(shù)據(jù)。再次,根據(jù)具體示例,磁共振數(shù)據(jù)可以是k空間數(shù)據(jù),也可以是磁共振圖像。該方法還包括響應于將磁共振數(shù)據(jù)輸入到圖像處理模塊的輸入部,在圖像處理模塊的第一輸出部接收經(jīng)校正的磁共振圖像,并在圖像處理模塊的第二輸出部接收虛假結構數(shù)據(jù)。所述虛假結構數(shù)據(jù)描述經(jīng)校正的磁共振圖像中虛假結構的可能性。圖像處理模塊包括圖像處理神經(jīng)網(wǎng)絡部分和虛假結構預測部分。所述圖像處理模塊包括配置為接收磁共振數(shù)據(jù)的輸入部。所述圖像處理神經(jīng)網(wǎng)絡包括第一輸出部,所述第一輸出部配置為響應于在輸入部處接收磁共振數(shù)據(jù)而輸出經(jīng)校正的磁共振圖像。所述虛假結構預測部分包括配置為輸出虛假結構數(shù)據(jù)的第二輸出部。所述方法還包括根據(jù)滿足預定準則的虛假結構數(shù)據(jù)來提供警告信號。
45、應該理解,可發(fā)組合本發(fā)明的一個或多個前述實施例,只要組合后的實施例不相互排斥即可。
46、如本領域技術人員將認識到的,本發(fā)明的若干方面可以實現(xiàn)為裝置、方法或計算機程序產(chǎn)品。因此,本發(fā)明的各方面可采取完全硬件實施例,完全軟件實施例(包括固件,駐留軟件,微代碼等),或者組合了軟件和硬件方面的實施例的形式,其可以在本文統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外,本發(fā)明的各個方面可以采取實現(xiàn)在一個或多個計算機可讀介質中的計算機程序產(chǎn)品的形式,所述一個或多個計算機可讀介質具有實現(xiàn)在其上的計算機可執(zhí)行代碼。
47、可以使用一個或多個計算機可讀介質的任何組合。所述計算機可讀介質可以是計算機可讀信號介質或者計算機可讀存儲介質。如在本文中使用的“計算機可讀存儲介質”包括任何有形存儲介質,其可以存儲能夠由計算設備的處理器或計算系統(tǒng)執(zhí)行的指令。可以將所述計算機可讀存儲介質稱為“計算機可讀非瞬態(tài)存儲介質”。所述計算機可讀存儲介質也可以被稱為有形計算機可讀介質。在一些實施例中,計算機可讀存儲介質還可以能夠存儲數(shù)據(jù),所述數(shù)據(jù)能夠被所述計算設備的計算系統(tǒng)訪問。計算機可讀存儲介質的范例包括,但不限于:軟盤、磁硬盤驅動器、固態(tài)硬盤、閃速存儲器、usb拇指驅動器、隨機存取存儲器(ram)、只讀存儲器(rom)、光盤、磁光盤、以及計算系統(tǒng)的寄存器文件。光盤的范例包括壓縮光盤(cd)和數(shù)字多用光盤(dvd),例如cd-rom、cd-rw、cd-r、dvd-rom、dvd-rw或dvd-r盤。術語計算機可讀存儲介質還指代能夠由所述計算機設備經(jīng)由網(wǎng)絡或通信鏈路訪問的各種類型的記錄介質。例如,可以經(jīng)由調制解調器、經(jīng)由互聯(lián)網(wǎng)或經(jīng)由局域網(wǎng)絡來取回數(shù)據(jù)。體現(xiàn)在計算機可讀介質上的計算機可執(zhí)行代碼可使用任何合適的介質來傳輸,包括但不限于無線、有線、光纜、rf等,或上述各項的任何適當?shù)慕M合。
48、計算機可讀信號介質可以包括具有實現(xiàn)在其中的例如在基帶內(nèi)或者作為載波的一部分的計算機可執(zhí)行代碼的傳播的數(shù)據(jù)信號。這樣的傳播信號可以采取多種形式中的任一種,包括但不限于,電磁的、光學的、或者它們的任意合適的組合。計算機可讀信號介質可以是任何計算機可讀介質,其不是計算機可讀存儲介質并且其能夠傳送、傳播或傳輸程序用于由指令運行系統(tǒng)、裝置或設備使用或者與其結合使用。
49、“計算機存儲器”或“存儲器”是計算機可讀存儲介質的范例。計算機存儲器是計算系統(tǒng)可以直接訪問的任何存儲器?!坝嬎銠C存儲設備”或“存儲設備”是計算機可讀存儲介質的另一范例。計算機存儲設備是任何非易失性計算機可讀存儲介質。在一些實施例中,計算機存儲設備也可以是計算機存儲器,或反之亦然。
50、用在本文中的“計算系統(tǒng)”涵蓋能夠執(zhí)行程序或機器可執(zhí)行指令或計算機可執(zhí)行代碼的電子部件。對包含“計算系統(tǒng)”示例的計算系統(tǒng)的引用應被解釋為可能包含一個以上的計算系統(tǒng)或處理核心。計算系統(tǒng)例如可以是多核處理器。計算系統(tǒng)也可以指單個計算機系統(tǒng)內(nèi)或分布在多個計算機系統(tǒng)中的計算系統(tǒng)的集合。術語計算系統(tǒng)也應被解釋為可能指計算設備的集合或網(wǎng)絡,每個計算設備均包括處理器或多個計算系統(tǒng)。機器可執(zhí)行代碼或指令可以由多個計算系統(tǒng)或處理器執(zhí)行,這些計算系統(tǒng)或處理器可以在同一計算設備內(nèi),或者甚至可以分布在多個計算設備上。
51、機器可執(zhí)行指令或計算機可執(zhí)行代碼可以包括使處理器或其他計算系統(tǒng)執(zhí)行本發(fā)明的一個方面的指令或程序。用于執(zhí)行針對本發(fā)明的各方面的操作的計算機可執(zhí)行代碼可以以一種或多種編程語言(包括諸如java、smalltalk、c++等的面向對象的編程語言以及諸如“c”編程語言或類似編程語言的常規(guī)過程編程語言)的任何組合來編寫并且被編譯為機器可執(zhí)行指令。在一些情況下,所述計算機可執(zhí)行代碼可以以高級語言的形式或者以預編譯形式并且結合在飛行中生成機器可執(zhí)行指令的解釋器來使用。在其他情況下,機器可執(zhí)行指令或計算機可執(zhí)行代碼可以是針對可編程邏輯門陣列的編程的形式。
52、所述計算機可執(zhí)行代碼可以作為單機軟件包全部地在所述用戶的計算機上、部分地在用戶的計算機上、部分地在用戶的計算機上并且部分地在遠程計算機上、或者全部地在所述遠程計算機或服務器上運行。在后者的場景中,所述遠程計算機可以通過任何類型的網(wǎng)絡(包括局域網(wǎng)(lan)或廣域網(wǎng)(wan))或者可以對外部計算機做出的連接(例如,使用因特網(wǎng)服務提供商通過因特網(wǎng))而被連接到用戶的計算機。
53、本發(fā)明的各方面參考根據(jù)本發(fā)明的實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖圖示和/或框圖得以描述。應該理解,流程圖、圖示和/或框圖的每個框或框的一部分能夠在適用時通過以計算機可執(zhí)行代碼的形式的計算機程序指令來實施。還應當理解的是,當不相互排斥時,在不同的流程圖、圖示和/或框圖中塊的組合可以被組合。這些計算機程序指令可以被提供到通用計算機、專用計算機的存儲器或者其他可編程數(shù)據(jù)處理裝置以生產(chǎn)機器,使得經(jīng)由計算機的存儲器或其他可編程數(shù)據(jù)處理裝置運行的指令創(chuàng)建用于實施流程圖和/或框圖的一個或多個框中指定的功能/動作的單元。
54、這些機器可執(zhí)行指令或計算機程序指令還可以被存儲在計算機可讀介質中,其能夠引導計算機、其他可編程數(shù)據(jù)處理裝置或其他設備以特定的方式工作,使得被存儲在所述計算機可讀介質中的所述指令產(chǎn)生包括實施在流程圖和/或一個或多個框圖框中所指定的功能/動作的指令的制品。
55、所述機器可執(zhí)行指令或計算機程序指令還可以被加載到計算機、其他可編程數(shù)據(jù)處理裝置或其他設備上以令一系列操作步驟在計算機、其他可編程裝置或其他設備上執(zhí)行以產(chǎn)生計算機實施的過程,使得在計算機或其他可編程裝置上運行的指令提供用于實施在流程圖和/或一個或多個框圖框中所指定的功能/動作的過程。
56、如在本文中所使用的“用戶接口”是允許用戶或操作者與計算機或計算機系統(tǒng)進行交互的接口。“用戶接口”還可以被稱為“人機接口設備”。用戶接口可以向操作者提供信息或數(shù)據(jù)和/或接收來自操作者的信息或數(shù)據(jù)。用戶接口可使來自操作者的輸入能夠被計算機接收,并且可以將輸出從計算機提供給用戶。換言之,用戶接口可以允許操作者控制或操縱計算機,并且該接口可以允許計算機指示操作者的控制或操縱的效果。數(shù)據(jù)或信息在顯示器或圖形用戶接口上的顯示是向操作者提供信息的范例。通過鍵盤、鼠標、跟蹤球、觸摸板、指點桿、圖形輸入板、操縱桿、游戲板、網(wǎng)絡相機、頭盔、踏板、有線手套、遙控器以及加速度計接收數(shù)據(jù)都是實現(xiàn)從操作者接收信息或數(shù)據(jù)的用戶接口部件的范例。
57、如在本文中所使用的“硬件接口”涵蓋使得計算機系統(tǒng)的計算系統(tǒng)能夠與外部計算設備和/或裝置進行交互或者對其進行控制的接口。硬件接口可允許計算系統(tǒng)將控制信號或指令發(fā)送給外部計算設備和/或裝置。硬件接口也可以使計算系統(tǒng)與外部計算設備和/或裝置交換數(shù)據(jù)。硬件接口的范例包括,但不限于:通用串行總線、ieee?1394端口、并行端口、ieee?1284端口、串行端口、rs-232端口、ieee-488端口、藍牙連接、無線局域網(wǎng)連接、tcp/ip連接、以太網(wǎng)連接、控制電壓接口、midi接口、模擬輸入接口和數(shù)字輸入接口。
58、本文中使用的“顯示器”或“顯示設備”涵蓋適于顯示圖像或數(shù)據(jù)的輸出設備或用戶接口。顯示器可以輸出視覺、音頻和觸覺數(shù)據(jù)。顯示器的示例包括但不限于:計算機監(jiān)視器、電視屏幕、觸摸屏、觸覺電子顯示屏、盲文屏幕、陰極射線管(crt)、存儲管、雙穩(wěn)態(tài)顯示器、電子紙、向量顯示器、平板顯示器、真空熒光顯示器(vf)、發(fā)光二極管(led)顯示器、電致發(fā)光顯示器(eld)、等離子顯示面板(pdp)、液晶顯示器(lcd)、有機發(fā)光二極管顯示器(oled)、投影機和頭戴式顯示器。
59、k空間數(shù)據(jù)在本文中被定義為使用在磁共振成像掃描期間通過磁共振裝置的天線對由原子自旋發(fā)射的射頻信號的所記錄的測量結果。
60、磁共振成像(mri)圖像或mr圖像在本文中被定義為包含在k空間數(shù)據(jù)內(nèi)的解剖數(shù)據(jù)的經(jīng)重建的二維或三維可視化。這種可視化可使用計算機來執(zhí)行。