本發(fā)明涉及深度學(xué)習(xí)與醫(yī)學(xué)圖像配準的交叉，具體為一種基于自注意力的局部互相關(guān)增強心臟配準方法。

背景技術(shù)：

1、根據(jù)世界衛(wèi)生組織的最新統(tǒng)計數(shù)據(jù)，心血管疾病已經(jīng)構(gòu)成對人類健康的威脅，在中國，cvd的患病率和死亡率呈上升趨勢，患者總數(shù)已超過5億，這一數(shù)字超過了其他疾病，如腫瘤，cvd在居民疾病死亡構(gòu)成中占比超過40％，意味著在每五例死亡案例中，有兩例是由心血管疾病引起的，心臟作為維持生命的關(guān)鍵器官，其內(nèi)部結(jié)構(gòu)的變化，如心肌肥厚和心腔擴大，會顯著增加心臟的負擔(dān)，從而對生命構(gòu)成威脅，因此，深入研究心臟的生理和病理特性，實現(xiàn)早期無創(chuàng)診斷，對于預(yù)防和治療心血管疾病至關(guān)重要，mri和pet已廣泛應(yīng)用于心臟疾病的檢測和診斷，其中mri可以提供心臟高分辨率的結(jié)構(gòu)信息，pet可以實現(xiàn)心肌活性、血流灌注和代謝的定量評估，將這兩種不同模態(tài)的影像進行配準，是心臟醫(yī)學(xué)分析領(lǐng)域的重要任務(wù)，通過將不同模態(tài)影像整合在統(tǒng)一的基準上，可以融合更豐富的影像語義信息，更全面的把握患者的疾病情況。

2、目前現(xiàn)有的心臟配準算法使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大部分是卷積神經(jīng)網(wǎng)絡(luò)，但是cnn的局部感受野限制了其捕捉長距離依賴關(guān)系的能力，心臟結(jié)構(gòu)的配準需要考慮心室壁、心腔以及心臟與其他器官的相對位置關(guān)系，這些特征往往涉及全局的空間信息，而標準的cnn通常難以捕捉，同時，心臟在正常生理過程中是不斷進行運動和變化的，因此使用cnn不足以處理心臟在跳動周期中的動態(tài)變化，心臟的這種動態(tài)性需要模型能夠捕捉到隨時間變化的形變模式，這要求網(wǎng)絡(luò)能夠處理多模態(tài)數(shù)據(jù)并理解其時間依賴性；而且，現(xiàn)有技術(shù)大多數(shù)是監(jiān)督學(xué)習(xí)或者無監(jiān)督學(xué)習(xí)，對于心臟配準任務(wù)來說，監(jiān)督學(xué)習(xí)需要大量的數(shù)據(jù)標注，即配準的形變參數(shù)，這種標注是耗時且價格昂貴的；無監(jiān)督學(xué)習(xí)雖然不需要任何標注，但是這種方法在心臟特征學(xué)習(xí)過程中面臨時間長且效率較低的問題，此外，由于缺乏標注信息，無監(jiān)督學(xué)習(xí)的結(jié)果難以進行量化評估；并且，現(xiàn)有技術(shù)的配準方法無法保持心臟影像在變換過程中的原始微分特性和拓撲特征，會導(dǎo)致配準圖像出現(xiàn)不合理的折疊，與人體器官的實際生物力學(xué)特性不符；現(xiàn)有技術(shù)中用位移場的梯度作為光滑約束可以提高配準的平滑度，但這種方法對圖像中的所有變形施加相同的限制，沒有區(qū)分大變形和小變形區(qū)域，導(dǎo)致對大位移區(qū)域的變形約束過于嚴格，無法適應(yīng)其實際所需的變化，而心臟器官的收縮、膨脹過程會產(chǎn)生較大的變形。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于自注意力的局部互相關(guān)增強心臟配準方法，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于自注意力的局部互相關(guān)增強心臟配準方法，包括以下步驟：

3、s1、圖像采集：獲取心臟mr影像，pet影像作為樣本數(shù)據(jù)，同時對mr、pet影像的心臟進行標注；

4、s2、圖像預(yù)處理：通過重采樣、裁剪、歸一化和去噪對圖像進行處理；

5、s3、模型構(gòu)建：結(jié)合卷積網(wǎng)絡(luò)cnn和transformer的模型結(jié)構(gòu)；

6、s4、模型訓(xùn)練：訓(xùn)練方法使用半監(jiān)督學(xué)習(xí)，使用固定圖像和移動圖像的標簽輔助訓(xùn)練神經(jīng)網(wǎng)絡(luò)；

7、s5、模型評估與測試：在獨立的測試集上評估模型的性能，對模型的參數(shù)進行調(diào)整。

8、優(yōu)選的，所述s1中，需要對mr、pet影像的心臟進行標注，獲得對應(yīng)的心臟標簽，然后將標注后的樣本數(shù)據(jù)分成訓(xùn)練集和測試集。

9、優(yōu)選的，所述s2中，重采樣是指統(tǒng)一分辨率，通過b樣條插值到分辨率1mm×1mm×1mm，所述s2中，裁剪是指將心臟影像裁剪到感興趣的區(qū)域，裁剪后的圖像尺寸為256x256像素。

10、優(yōu)選的，所述s2中，歸一化是指將圖像強度歸一化到范圍[0,1]，所述s2中，去噪是指利用中值濾波對圖像進行去噪。

11、優(yōu)選的，所述s3中，網(wǎng)絡(luò)模型包含4個卷積塊，1個視覺編碼塊，4個上采樣塊和一個生成塊，所述網(wǎng)絡(luò)模型，輸入的是心臟mr影像和心臟pet影像，分別作為固定影像和移動影像，網(wǎng)絡(luò)的輸出是位移場，將位移場作用于移動圖像，所述網(wǎng)絡(luò)模型整體使用unet編碼器-解碼器結(jié)構(gòu)。

12、優(yōu)選的，所述解碼器可以將心臟影像信息與位置信息結(jié)合，中間的跳躍連接將編碼器的深層特征與解碼器的淺層特征相結(jié)合，所述卷積塊的結(jié)構(gòu)為一層卷積層連接一層leakyrelu和實例歸一化層，再連接一層卷積層連接一層leakyrelu和實例歸一化層，最后接入一層最大池化層，所述最大池化層用于降低特征圖的空間維度。

13、優(yōu)選的，所述視覺編碼塊由一個分割層，一個embedding層、12個transformer和一個卷積塊組成，所述上采樣塊包含上采樣層、拼接層、卷積層、leaklyrelu和實例歸一化。

14、優(yōu)選的，所述卷積層可以從心臟影像中提取局部特征，所述leakyrelu激活函數(shù)提供非線性映射，所述實例歸一化對每個輸入圖像的每個通道進行歸一化。

15、優(yōu)選的，所述卷積塊將特征圖輸入分割層，所述特征圖進入前需要進行分塊和embedding處理，所述分割層將特征圖分成多個小塊后輸入embedding層，所述小塊分塊為8×8像素大小，所述embedding層有一層線性映射層和一層位置編碼層，其中線性映射層使用1d卷積，所述位置編碼層epos是一個可學(xué)習(xí)的參數(shù)矩陣，大小為n×d，n是圖像小塊的個數(shù)，d是維度，即252維，每個小塊的嵌入向量v與其對應(yīng)的位置編碼相加后得到小塊的最終表示：v＝v0+epos，其中v0是通過線性映射層得到的嵌入，經(jīng)過線性映射和位置編碼處理得到的向量送入transformer模塊進行深層次的特征提取和變換，所述transformer模塊由自注意力機制和層歸一化組成。

16、優(yōu)選的，所述s4中，需要使用固定圖像和移動圖像的標簽輔助訓(xùn)練神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)訓(xùn)練epoch輪數(shù)設(shè)置為1000輪，使用adamw優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.0001，同時采用reducelronplateau學(xué)習(xí)率自動衰減，patience參數(shù)設(shè)置為30次，當(dāng)loss在連續(xù)30個epoch中均未下降時，則學(xué)習(xí)率自動減小為原來的1/10。

17、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

18、1.本發(fā)明通過設(shè)置網(wǎng)絡(luò)模型，本發(fā)明使用cnn結(jié)合transformer，cnn整體使用unet結(jié)構(gòu)，結(jié)合transformer后模型能夠同時關(guān)注心臟圖像的細節(jié)和整體結(jié)構(gòu)，從而理解心臟的復(fù)雜變形；同時，transformer的自注意力機制能夠跨越長距離捕捉不同區(qū)域間的關(guān)聯(lián)，幫助模型學(xué)習(xí)心臟在跳動周期中的復(fù)雜運動；將二者結(jié)合還可以為網(wǎng)絡(luò)提供更好的適應(yīng)性以應(yīng)對不同患者心臟結(jié)構(gòu)的變異性；

19、2.本發(fā)明通過在網(wǎng)絡(luò)模型中使用半監(jiān)督學(xué)習(xí)，利用心臟圖像的分割標簽提供心臟的先驗信息，指導(dǎo)模型的配準過程，提高配準質(zhì)量，同時分割標簽提供了心臟影像不同解剖結(jié)構(gòu)的精確信息，幫助模型對齊配準前后的心臟影像信息，增強了模型對局部上下文信息的建模，增強了模型對心臟局部特征的理解，并且分割標簽用于計算最終的loss，還可以幫助模型生成更平滑的變形場，使結(jié)構(gòu)更加符合解剖學(xué)原理。

20、3.本發(fā)明通過設(shè)置基于位移場的光滑約束函數(shù)，通過對位移場進行池化，計算位移場與池化后位移場之間的l2-范數(shù)正則化損失，得到平滑位移場，新的光滑約束損失能保證心臟影像在變形過程中的拓撲特征，減少了模型生成折疊結(jié)構(gòu)和不符合生物學(xué)的結(jié)果。