本發(fā)明涉及醫(yī)學圖像融合，具體是指一種基于多模態(tài)的消化道腫瘤圖像融合方法。

背景技術(shù)：

1、消化道腫瘤是全球范圍內(nèi)常見且致命的癌癥類型之一，早期診斷和準確分期對于提高患者的生存率至關(guān)重要，然而，單一模態(tài)的影像技術(shù)往往難以全面反映腫瘤的復雜性和異質(zhì)性，多模態(tài)圖像融合方法通過結(jié)合不同影像技術(shù)的優(yōu)勢，提供更全面和準確的腫瘤信息，通過融合這些多模態(tài)圖像，可以更準確地評估腫瘤的大小、位置、浸潤深度及其與周圍組織的關(guān)系，從而提高診斷的準確性和治療的效果，然而，現(xiàn)有的多模態(tài)的消化道腫瘤圖像融合方法，存在單一模態(tài)特征信息提取不充分的問題，存在使用卷積神經(jīng)網(wǎng)絡時丟失全局紋理信息的問題。

技術(shù)實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了一種基于多模態(tài)的消化道腫瘤圖像融合方法，具體為針對消化道腫瘤的mr圖像和pet圖像進行融合，針對單一模態(tài)特征信息提取不充分的問題，本發(fā)明針對mr圖像和pet圖像各自的特點，對mr圖像的頻域特征和空間域特征進行提取和融合，對pet圖像的亮度特征和灰度特征進行提取和融合，確保了對圖像信息的全面捕捉；針對使用卷積神經(jīng)網(wǎng)絡時丟失全局紋理信息的問題，本發(fā)明利用殘差連接在輸出特征處理時融合了輸入特征的原始信息，同時在特征融合過程中利用交叉自注意力機制確保全局和局部特征的有效融合，從而減輕了信息丟失的問題。

2、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供了一種基于多模態(tài)的消化道腫瘤圖像融合方法，具體的步驟如下：

3、步驟s1：獲得消化道腫瘤的mr圖像和pet圖像；

4、步驟s2：分別提取mr圖像的頻域特征和空間域特征，將頻域特征和空間域特征進行融合操作，得到mr特征；

5、步驟s3：分別提取pet圖像的亮度特征和灰度特征，將亮度特征和灰度特征進行融合操作，得到pet特征；

6、步驟s4：將mr特征和pet特征通過交叉自注意力機制進行融合，得到融合特征；

7、步驟s5：利用一個卷積模塊對融合特征進行處理，得到融合圖像。

8、進一步地，所述步驟s2具體包括：

9、步驟s21：提取mr圖像的頻域特征：對mr圖像進行二維離散傅里葉變換，將每個像素轉(zhuǎn)換為由實部和虛部構(gòu)成的復數(shù)，通過對復數(shù)的計算得到圖像的幅度和相位，構(gòu)成頻域特征，具體的公式如下所述：

10、二維離散傅里葉變換的公式如下所述：

11、;

12、其中，表示二維離散傅里葉變換結(jié)果，和為頻率變量，和為空間域變量，為mr圖像中元素的像素值，和分別為圖像最大行數(shù)和最大列數(shù)，；

13、幅度的計算公式如下所述：

14、<mi>|</mi><mi>f(u,v)</mi><mi>|=</mi><msup><mrow><mi>[</mi><msup><mi>r(u,v)</mi><mn>2</mn></msup><mo>+</mo><msup><mi>i(u,v)</mi><mn>2</mn></msup><mi>]</mi></mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></msup>;

15、其中，表示的實部，表示的虛部；

16、相位的計算公式如下所述：

17、<mi>?(u,v)</mi><mi>=arctan[</mi><mfrac><mi>i(u,v)</mi><mi>r(u,v)</mi></mfrac><mi>]</mi>;

18、其中，表示相位；

19、步驟s22：提取消化道腫瘤的mr圖像的空間域特征，具體的步驟如下所述：

20、步驟s221：分別利用拉普拉斯算子和sobel算子對mr圖像的邊緣特征進行提取，得到拉普拉斯邊緣特征和sobel邊緣特征；

21、步驟s222：定義拉普拉斯權(quán)重和sobel權(quán)重，將拉普拉斯權(quán)重與拉普拉斯邊緣特征相乘，將sobel權(quán)重與sobel邊緣特征相乘，將二者的乘積結(jié)果相加，得到邊緣特征；

22、步驟s223：將mr圖像依次通過一個卷積模塊和三個連續(xù)的殘差連接模塊，得到卷積特征；

23、步驟s224：將卷積特征和邊緣特征進行最大值融合，得到空間域特征，最大值融合的具體公式如下：

24、;

25、其中，表示卷積特征，表示邊緣特征，表示取最大值；

26、步驟s23：分別計算頻域特征和空間域特征的l1正則化項，并利用l1正則化項通過softmax函數(shù)計算出頻域特征和空間域特征的通道維度的特征向量的權(quán)重，繼而求出權(quán)重與對應特征向量的乘積的總和，得到mr特征，具體的公式如下所述：

27、；

28、；

29、其中，表示類別，包括頻域特征和空間域特征兩個類別，表示第個類別的權(quán)重，表示第個類別的特征的通道維度的向量，表示第個類別的特征的通道維度的向量，和分別表示和的l1正則項，表示mr特征。

30、進一步地，所述步驟s3具體包括：

31、步驟s31：提取消化道腫瘤的pet圖像的亮度特征，具體的步驟如下所述：

32、步驟s311：將pet圖像的rgb圖像轉(zhuǎn)換至hsv顏色空間，得到v分量，v分量的計算公式如下所述：

33、

34、其中，表示hsv顏色空間的分量，分別表示pet圖像的通道的值；

35、步驟s312：設置亮度范圍，創(chuàng)建掩膜矩陣，pet圖像中每個像素的v分量在亮度范圍內(nèi)則掩膜矩陣對應的值為1，否則為0；

36、步驟s313：將pet圖像與掩膜矩陣相乘，得到差分圖像；

37、步驟s314：對差分圖像通過一個3×3卷積核進行卷積操作，并將tanh作為激活函數(shù)，得到pet圖像的亮度特征；

38、步驟s32：將pet圖像轉(zhuǎn)換為灰度圖像，將灰度圖像依次通過一個卷積模塊和三個連續(xù)的殘差連接模塊，得到灰度特征，灰度圖像轉(zhuǎn)換公式如下所述：

39、;

40、其中，表示灰度值；

41、步驟s33：分別計算亮度特征和灰度特征的l1正則化項，并利用l1正則化項通過softmax函數(shù)計算出亮度特征和灰度特征的通道維度的特征向量的權(quán)重，并繼而求出權(quán)重與對應特征向量的乘積的總和，得到pet特征。

42、進一步地，所述步驟s4具體包括：

43、步驟s41：分別獲得mr特征的查詢向量、鍵向量和值向量，分別獲得pet特征的查詢向量、鍵向量和值向量；

44、步驟s42：計算mr特征的查詢向量與pet特征的鍵向量的注意力得分，將注意力得分經(jīng)過softmax函數(shù)后與pet特征的值向量相乘，得到第一注意力值，該過程的公式具體如下所述：

45、;

46、其中，為第一注意力值，為softmax函數(shù)，為mr特征的查詢向量，為pet特征的鍵向量的轉(zhuǎn)置矩陣，為維度，為pet特征的值向量；

47、步驟s43：計算pet特征的查詢向量與mr特征的鍵向量的注意力得分，將注意力得分經(jīng)過softmax函數(shù)后與mr特征的值向量相乘，得到第二注意力值，該過程的公式具體如下所述：

48、;

49、其中，為第二注意力值，為pet特征的查詢向量，為mr特征的鍵向量的轉(zhuǎn)置矩陣，為mr特征的值向量；

50、步驟s44：對第一注意力值和第二注意力值進行連接運算，得到融合特征。

51、所述的殘差連接模塊，包括輸入特征、四個稠密連接塊、獨立卷積核和輸出特征：其中每個稠密連接塊由個卷積核、leaky?relu和一個連接層構(gòu)成，四個稠密連接塊依次連接且卷積核個數(shù)依次為6、6、6、4；每個稠密連接塊的連接層對leaky?relu的輸出結(jié)果、輸入特征和該稠密連接塊之前的稠密連接塊的連接層進行連接運算；輸入特征與獨立卷積核的輸出結(jié)果進行加法運算，得到輸出特征。

52、所述的卷積模塊包含一個3×3卷積核、leaky?relu和一個3×3卷積核，每個部分依次連接。

53、采用上述方案本發(fā)明取得的有益成果如下：

54、（1）針對mr圖像特征信息提取不充分的問題，本發(fā)明通過二維離散傅里葉變換提取mr圖像的頻域特征，捕捉圖像中的全局信息和周期性特征，同時利用拉普拉斯算子和sobel算子提取mr圖像的邊緣特征，并通過卷積模塊和殘差連接模塊進一步提取卷積特征，綜合得到空間域特征。

55、（2）針對pet圖像特征信息提取不充分的問題，本發(fā)明通過對pet圖像進行hsv顏色空間轉(zhuǎn)換，提取亮度特征，增強了圖像的對比度和細節(jié)，同時將pet圖像轉(zhuǎn)換為灰度圖像，并通過卷積模塊和殘差連接模塊提取灰度特征，捕捉圖像中的細節(jié)和紋理信息。

56、（3）針對使用卷積神經(jīng)網(wǎng)絡時丟失全局紋理信息的問題，本發(fā)明利用殘差連接在輸出特征處理時融合了輸入特征的原始信息，同時在特征融合過程中利用交叉自注意力機制確保全局和局部特征的有效融合，從而減輕了信息丟失的問題。