本公開涉及醫(yī)學檢測，具體涉及了一種基于影像與病理交互網絡的腫瘤療效預測方法及系統(tǒng)。

背景技術：

1、肺癌是全球范圍內發(fā)病率和死亡率最高的癌癥，其中非小細胞肺癌（non-smallcell?lung?cancer，nsclc）是肺癌的主要類型，約75%的nsclc在首次診斷時已處于晚期。放射治療和化學治療是晚期nsclc患者最主要的治療方式，但療效較差，2013-2019年間五年生存率低于25.4%。免疫檢查點抑制劑（immune?checkpoint?inhibitors，icis）治療是最常用的免疫治療方案，在晚期nsclc的治療中取得了突破性的進展。但由于腫瘤的異質性及腫瘤免疫微環(huán)境的復雜性，icis治療的總體有效率較低。在治療前預測nsclc患者的icis療效可以篩選出icis潛在獲益人群，避免無效治療，降低不良反應的風險。因此，如何實現(xiàn)免疫治療的療效預測對于nsclc患者的治療方式選擇至關重要。

2、治療前的ct影像和病理圖像可以從不同的維度體現(xiàn)患者的生物學特征，基于ct影像和病理多模態(tài)數(shù)據(jù)構建人工智能模型在肺癌診斷和療效預測中表現(xiàn)出巨大潛力。ct能夠提供腫瘤的宏觀結構信息，比如大小、形態(tài)和空間異質性，基于醫(yī)學影像的智能分析模型是肺癌預后預測的有效工具。病理圖像呈現(xiàn)的是細胞形態(tài)、腫瘤微環(huán)境以及特異性蛋白表達信息，人工智能研究發(fā)現(xiàn)這些病理微觀信息與腫瘤的預后有關。近期研究將醫(yī)學影像上腫瘤區(qū)域的全局宏觀信息與病理圖像上的局部微觀信息相結合，在癌癥預后預測方面取得了更好的性能。然而，此類方法通常僅簡單地將兩者特征組合在一起進行聯(lián)合建模，尚未有研究有效整合影像與病理的模態(tài)間交互信息用于構建nsclc免疫治療的療效預測模型。

技術實現(xiàn)思路

1、針對上述缺陷，本公開提出了一種基于影像與病理交互網絡的腫瘤療效預測方法及系統(tǒng)，通過學習ct影像與he染色病理模態(tài)間的宏觀與微觀交互信息，表征個體化的生物學特征，從而在術前預測免疫治療療效，提高療效預測的精度和準確率。

2、為了實現(xiàn)上述目的，本公開采用如下技術方案：

3、本公開第一方面提供了一種基于影像與病理交互網絡的腫瘤療效預測方法，包括以下步驟：

4、對獲取的影像數(shù)據(jù)和病理圖像進行特征提取，獲得影像特征矩陣和病理特征矩陣；

5、基于影像特征矩陣和病理特征矩陣構建影像與病理交互網絡，提取影像特征和病理特征之間的交互信息；

6、將影像特征和病理特征之間的交互信息與多模態(tài)特征進行聯(lián)合，輸出療效預測結果；

7、定義損失函數(shù)，優(yōu)化模型參數(shù)，獲得訓練好的療效預測模型。

8、作為進一步的實現(xiàn)方式，影像與病理交互網絡包括靜態(tài)交互網絡和動態(tài)交互網絡，分別用來提取影像特征和病理特征之間的靜態(tài)交互信息和動態(tài)交互信息。

9、作為進一步的實現(xiàn)方式，動態(tài)交互網絡在模型訓練過程中根據(jù)預測結果動態(tài)優(yōu)化，靜態(tài)交互網絡不隨模型訓練而改變。

10、作為進一步的實現(xiàn)方式，利用pearson相關系數(shù)矩陣表征影像特征與病理特征之間的靜態(tài)交互網絡，利用transformer的自注意力網絡表征影像特征與病理特征之間的動態(tài)交互網絡。

11、作為進一步的實現(xiàn)方式，將影像特征和病理特征之間的交互信息與多模態(tài)特征進行聯(lián)合，輸出療效預測結果，具體為：

12、通過transformer將ct影像、病理圖像以及臨床信息所表達的腫瘤宏觀全局特征、細胞形態(tài)與微環(huán)境特征以及個體化診療數(shù)據(jù)進行融合，并聯(lián)合影像特征和病理特征之間的交互信息，聯(lián)合后的信息通過線性層轉變?yōu)榀熜ьA測結果。

13、作為進一步的實現(xiàn)方式，所述多模態(tài)特征包括影像特征、病理特征以及臨床特征，分別提供宏觀、微觀及臨床信息。

14、作為進一步的實現(xiàn)方式，在對影像數(shù)據(jù)和病理圖像進行特征提取之前，還包括對影像數(shù)據(jù)和病理圖像進行預處理。

15、本公開第二方面提供了一種基于影像與病理交互網絡的腫瘤療效預測系統(tǒng)，包括：

16、特征提取模塊，被配置為：對獲取的影像數(shù)據(jù)和病理圖像進行特征提取，獲得影像特征矩陣和病理特征矩陣；

17、交互信息提取模塊，被配置為：基于影像特征矩陣和病理特征矩陣構建影像與病理交互網絡，提取影像特征和病理特征之間的交互信息；

18、聯(lián)合預測模塊，被配置為：將影像特征和病理特征之間的交互信息與多模態(tài)特征進行聯(lián)合，輸出療效預測結果；

19、模型訓練模塊，被配置為：定義損失函數(shù)，優(yōu)化模型參數(shù)，獲得訓練好的療效預測模型。

20、本公開第三方面提供了一種介質，其上存儲有程序，該程序被處理器執(zhí)行時實現(xiàn)本公開第一方面所述的一種基于影像與病理交互網絡的腫瘤療效預測方法中的步驟。

21、本公開第四方面提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，所述處理器執(zhí)行所述程序時實現(xiàn)本公開第一方面所述的一種基于影像與病理交互網絡的腫瘤療效預測方法中的步驟。

22、與現(xiàn)有技術相比，本公開的有益效果為：

23、本公開提出的基于影像與病理交互網絡的腫瘤療效預測方法及系統(tǒng)，采用靜態(tài)交互網絡與動態(tài)交互網絡相結合的方式，通過pearson相關系數(shù)矩陣表征影像特征與病理特征之間的靜態(tài)交互信息，通過transformer的自注意力網絡表征影像特征與病理特征之間的動態(tài)交互信息，并將靜態(tài)及動態(tài)交互信息通過transformer進行進一步地融合，構建“影像與病理交互網絡”，用于表征模態(tài)間的交互關系。然后，通過transformer網絡融合三種模態(tài)中宏觀、微觀及臨床特征以及“影像-病理交互網絡”信息，構建多模態(tài)療效預測模型，用于免疫治療療效的預測，使模型在預測方面取得了更好的性能，提高了預測的精度和準確率。

24、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術特征：

1.基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，包括以下步驟：

2.如權利要求1中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，影像與病理交互網絡包括靜態(tài)交互網絡和動態(tài)交互網絡，分別用來提取影像特征和病理特征之間的靜態(tài)交互信息和動態(tài)交互信息。

3.如權利要求2中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，動態(tài)交互網絡在模型訓練過程中根據(jù)預測結果動態(tài)優(yōu)化，靜態(tài)交互網絡不隨模型訓練而改變。

4.如權利要求2中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，利用pearson相關系數(shù)矩陣表征影像特征與病理特征之間的靜態(tài)交互網絡，利用transformer的自注意力網絡表征影像特征與病理特征之間的動態(tài)交互網絡。

5.如權利要求1中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，將影像特征和病理特征之間的交互信息與多模態(tài)特征進行聯(lián)合，輸出療效預測結果，具體為：

6.如權利要求1中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，所述多模態(tài)特征包括影像特征、病理特征以及臨床特征，分別提供宏觀、微觀及臨床信息。

7.如權利要求1中所述的基于影像與病理交互網絡的腫瘤療效預測方法，其特征在于，在對影像數(shù)據(jù)和病理圖像進行特征提取之前，還包括對影像數(shù)據(jù)和病理圖像進行預處理。

8.基于影像與病理交互網絡的腫瘤療效預測系統(tǒng)，其特征在于，包括：

9.一種介質，其上存儲有程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權利要求1-7任一項所述的基于影像與病理交互網絡的腫瘤療效預測方法中的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1-7任一項所述的基于影像與病理交互網絡的腫瘤療效預測方法中的步驟。

技術總結
本發(fā)明屬于醫(yī)學檢測技術領域，提供了一種基于影像與病理交互網絡的腫瘤療效預測方法及系統(tǒng)，包括對獲取的影像數(shù)據(jù)和病理圖像進行特征提取，獲得影像特征矩陣和病理特征矩陣；基于影像特征矩陣和病理特征矩陣構建影像與病理交互網絡，提取影像特征和病理特征之間的交互信息；將影像特征和病理特征之間的交互信息與多模態(tài)特征進行聯(lián)合，輸出療效預測結果；定義損失函數(shù)，優(yōu)化模型參數(shù)，獲得訓練好的療效預測模型。本發(fā)明通過學習CT影像與HE染色病理模態(tài)間的宏觀與微觀交互信息，表征個體化的生物學特征，從而在術前預測個體治療療效，為腫瘤患者的臨床治療決策提供指導。

技術研發(fā)人員：石磊,石麗婷,林乘廷,許梨梨,黃詩洋,俞越
受保護的技術使用者：浙江省腫瘤醫(yī)院
技術研發(fā)日：
技術公布日：2024/10/21