本發(fā)明屬于醫(yī)學(xué)影像處理和生物信息數(shù)據(jù)分析領(lǐng)域，尤其涉及一種結(jié)合多模態(tài)大數(shù)據(jù)的深度學(xué)習(xí)醫(yī)學(xué)圖像處理分類系統(tǒng)。

背景技術(shù)：

1、早期識別疾病對于減少患者發(fā)病和全因死亡風(fēng)險具有重要意義，眼底圖像作為發(fā)現(xiàn)微血管病變的窗口，對未來疾病風(fēng)險的預(yù)測至關(guān)重要。在當(dāng)前的醫(yī)療實踐中，深度學(xué)習(xí)模型已經(jīng)成為醫(yī)學(xué)圖像處理和生物信息分析的重要工具，目前已有先進的深度學(xué)習(xí)方法基于橫斷面眼底圖像進行診斷分類，但缺乏基于隊列人群眼底圖像的早期風(fēng)險識別分類，特別是對醫(yī)學(xué)圖像紋理特征及生物標(biāo)志物數(shù)據(jù)的綜合利用的預(yù)測模型。通過深度學(xué)習(xí)模型的應(yīng)用，醫(yī)生和研究人員能夠更準(zhǔn)確地分析醫(yī)學(xué)圖像，識別疾病跡象和異常，從而幫助進行早期診斷和治療規(guī)劃。

2、現(xiàn)有的圖像提取紋理技術(shù)：

3、(1)灰度共生矩陣：以往的相關(guān)研究中采用灰度共生矩陣法提取的紋理特征參數(shù)較少，這對于根據(jù)肺部ct圖像紋理特征診斷早期肺癌還遠遠不夠。

4、(2)contourlet變換

5、contourlet變換的基本思想是首先用一個類似小波的多尺度分解捕捉邊緣奇異點,再根據(jù)方向信息將位置相近的奇異點匯集成輪廓段。contourlet變換的基函數(shù)分布于多尺度、多方向上，少量系數(shù)即可有效地捕捉圖像中的邊緣輪廓，但具有會產(chǎn)生人造紋理這一缺陷。

6、(3)非下采樣雙樹復(fù)輪廓波變換(nsdtct)

7、nsdtct變換由雙樹復(fù)小波(dtcwt)和非下采樣方向濾波器(nsdfb)這兩部分相結(jié)合而成。具體操作是先對圖像進行dtcwt分解得到雙樹結(jié)構(gòu)子帶，再對每一層的6個不同方向的高頻子帶分別采用二維nsdfb操作，則均可得到2的整數(shù)冪次個方向子帶。

8、nsdtct的實質(zhì)是采用dtcwt中的雙樹分解結(jié)構(gòu)替代nsct(非下采樣輪廓波變換)中的非下采樣金字塔濾波器結(jié)構(gòu)，由4個可分離二維小波變換系數(shù)的和與差并行計算得到二維dtcwt的6個方向系數(shù)，這使得二維dtcwt兼具了移不變性和方向選擇性即當(dāng)圖像經(jīng)過二維dtcwt分解時有2個低頻子帶和6個高頻子帶產(chǎn)生。從而實現(xiàn)用6個不同方向的高頻分量取代原來的1個高頻分量，能捕捉原圖像豐富的細節(jié)和紋理信息。nsdtct能更稀疏地表示原圖像，對于變換域圖像融合算法，變換越稀疏，能量函數(shù)就能更好地表示圖像的清晰度，從而得到的融合圖像質(zhì)量更高。該過程能在多個尺度多個方向上對圖像進行描述，具有高度方向選擇性、平移不變性、各向異性的優(yōu)點，可以提取高維度精細圖像紋理特征，并解決圖像非結(jié)構(gòu)化問題。

9、現(xiàn)有常用的分類預(yù)測模型：

10、(1)基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的模型：cnn在醫(yī)學(xué)圖像分析中廣泛應(yīng)用于圖像分類、物體識別、目標(biāo)檢測等任務(wù)，通過模仿人類的視覺系統(tǒng)來記錄和學(xué)習(xí)圖形特征，從而達到對圖形最有效的識別效果。cnn的基本結(jié)構(gòu)主要結(jié)構(gòu)包括卷積層、池化層和全連接層，卷積層通過卷積核對圖像進行卷積計算，池化層通過池化操作對特征圖進行下采樣，最后通過全連接層進行分類或回歸。cnn具有較強的圖像特征提取能力，能有效地抽取圖像的空間信息，同時也具有較高的計算效率和模型的通用性，可以應(yīng)用于不同的圖像分類任務(wù)，盡管這些模型在圖像分類任務(wù)上展現(xiàn)出有效性，但它們主要關(guān)注局部特征，有時可能忽視了圖像的全局信息，限制了在處理復(fù)雜醫(yī)學(xué)圖像時的性能，且缺乏對其他生物標(biāo)志物指標(biāo)的考慮。

11、(2)cox比例風(fēng)險深度神經(jīng)網(wǎng)絡(luò)(deep-cox)

12、深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法為疾病風(fēng)險的精準(zhǔn)預(yù)測提供了新的選擇。faraggi-simon等人將生存分析和神經(jīng)網(wǎng)絡(luò)相結(jié)合構(gòu)建預(yù)測模型，既考慮非線性關(guān)系，又能夠?qū)︻A(yù)測工具進行可視化，開發(fā)了單個隱藏層網(wǎng)絡(luò)預(yù)測個體結(jié)局風(fēng)險，對調(diào)整的cox偏似然函數(shù)進行調(diào)整優(yōu)化，通過網(wǎng)絡(luò)取代了

13、

14、式中，θ為網(wǎng)絡(luò)權(quán)重，x為協(xié)變量集合，為單節(jié)點輸出概率，ne＝1是可觀察事件的患者人數(shù)，λ是正則化參數(shù)。

15、deep-cox模型是基于cox比例風(fēng)險的多層感知器，傳統(tǒng)cox比例風(fēng)險模型包含一個相對危險函數(shù)的對數(shù)線性回歸，將協(xié)變量與患者生存聯(lián)系起來。deep-cox模型用多層感知器代替cph對數(shù)線性回歸來估計危險函數(shù)的非線性特性，因此有可能在生存預(yù)測中取得更好的性能。deep-cox是一個可配置的前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入是基線預(yù)測器。網(wǎng)絡(luò)通過幾個具有指定權(quán)重的隱藏層傳播輸入數(shù)據(jù)。隱藏層包括批歸一化、非線性整流線性單元(relu)激活、全連接層和dropout層。最后一層是單個節(jié)點，它進行線性組合以生成最終輸出。這些超參數(shù)在訓(xùn)練時間、模型收斂速度和預(yù)測精度等方面影響deep-cox模型的性能。因此，超參數(shù)的優(yōu)化對模型訓(xùn)練至關(guān)重要。使用網(wǎng)格搜索方法確定網(wǎng)絡(luò)的超參數(shù)(包括隱藏層數(shù)、每層節(jié)點數(shù)、初始學(xué)習(xí)率、學(xué)習(xí)率衰減和輟學(xué)率)，根據(jù)預(yù)測性能和訓(xùn)練時間成本確定超參數(shù)的設(shè)置。最后，提出的deep-cox感知器由輸入層(節(jié)點數(shù)量等于所選特征的數(shù)量)、隱藏層(包括批處理歸一化、relu激活、32節(jié)點完全連接和dropout層)和輸出層組成。

16、基于深度學(xué)習(xí)的cox模型(deep-cox)在測試集中auc達到0.9以上。但目前deep-cox模型僅利用基線個體數(shù)據(jù)對結(jié)局風(fēng)險進行預(yù)測，沒有考慮個體協(xié)變量隨訪過程中的動態(tài)變化。

17、因此，需要考慮上述現(xiàn)有技術(shù)的優(yōu)點，并克服其不足，對深度學(xué)習(xí)建模方法進行改進，提高對醫(yī)學(xué)圖像分類的準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明開發(fā)一種基于深度學(xué)習(xí)的依時醫(yī)學(xué)圖像分析系統(tǒng)，通過結(jié)合生物標(biāo)志物信息及其動態(tài)變化，對醫(yī)學(xué)圖像進行綜合分析和分類。具體地，本發(fā)明提供了一種結(jié)合多模態(tài)大數(shù)據(jù)的深度學(xué)習(xí)醫(yī)學(xué)圖像處理分類系統(tǒng)，包括：

2、圖像采集模塊，用于收集歷史醫(yī)學(xué)圖像；

3、圖像處理模塊，與所述圖像采集模塊連接，用于對所述歷史醫(yī)學(xué)圖像進行處理，獲得目標(biāo)醫(yī)學(xué)圖像；

4、模型構(gòu)建模塊，與所述圖像處理模塊連接，用于構(gòu)建依時deep-cox模型，并基于所述目標(biāo)醫(yī)學(xué)圖像對所述依時deep-cox模型進行訓(xùn)練，獲得目標(biāo)依時deep-cox模型；

5、圖像分類模塊，與所述模型構(gòu)建模塊連接，用于通過所述目標(biāo)依時deep-cox模型對待分類圖像進行處理，獲得分類處理結(jié)果。

6、優(yōu)選地，所述圖像處理模塊包括預(yù)處理單元、特征提取單元；

7、所述預(yù)處理單元用于對歷史醫(yī)學(xué)圖像進行圖像感興趣區(qū)域獲取、圖像標(biāo)準(zhǔn)化、去噪以及對比度調(diào)整處理；

8、所述特征提取單元用于基于非下采樣雙樹復(fù)輪廓變換進行特征提取，獲得圖像特征。

9、優(yōu)選地，所述圖像特征包括但不限于形狀特征、紋理特征以及邊緣特征。

10、優(yōu)選地，所述系統(tǒng)還包括分別與圖像處理模塊和圖像分類模塊連接的多模態(tài)大數(shù)據(jù)降維模塊；

11、所述多模態(tài)大數(shù)據(jù)降維模塊用于整合分類獲得的多模態(tài)大數(shù)據(jù)，采用自適應(yīng)組加權(quán)彈性網(wǎng)進行超高維大數(shù)據(jù)降維，篩選獲得早期發(fā)生的、全面的風(fēng)險因素。

12、優(yōu)選地，采用所述自適應(yīng)組加權(quán)彈性網(wǎng)進行超高維大數(shù)據(jù)降維的過程包括：

13、根據(jù)生物標(biāo)志物特性將特征分組，考慮組間和組內(nèi)特點，施加特征不同的懲罰進行特征篩選；

14、基于所述自適應(yīng)組加權(quán)彈性網(wǎng)對協(xié)變量進行標(biāo)準(zhǔn)化，公式表達式為：

15、

16、假設(shè)將特征分為g組，每一個特征屬于其中一組，令為第g組所有特征索引的集合，其中g(shù)＝1,…,g；同時令為組內(nèi)懲罰權(quán)重因子，模型參數(shù)通過帶有懲罰的log似然函數(shù)進行估計，公式表達式為：

17、

18、式中，指觀測到的數(shù)據(jù)的似然函數(shù)，為全局懲罰參數(shù)；λ'g被視為懲罰因子。

19、優(yōu)選地，構(gòu)建所述依時deep-cox模型的過程包括

20、基于提取的圖像特征和多模態(tài)生物標(biāo)志物信息，對現(xiàn)有的deep-cox風(fēng)險預(yù)測模型進行改進，考慮多隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并嵌入依時網(wǎng)絡(luò)模塊，獲得所述依時deep-cox模型。

21、優(yōu)選地，所述目標(biāo)依時deep-cox模型將非線性cox比例風(fēng)險損失函數(shù)加入若干個隱藏層，在多層deep-cox模型輸入和參數(shù)優(yōu)化基礎(chǔ)上，考慮重復(fù)測量協(xié)變量隨時間變化，在協(xié)變量集和xi中加入時間t因素，增加依時函數(shù)模塊，考慮個體重復(fù)測量數(shù)據(jù)依時協(xié)方差結(jié)構(gòu)cov(xt)i，通過網(wǎng)絡(luò)取代

22、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點和技術(shù)效果：

23、本發(fā)明利用深度學(xué)習(xí)技術(shù)，通過結(jié)合紋理特征提取和深度學(xué)習(xí)模型，實現(xiàn)了對醫(yī)學(xué)圖像及生物標(biāo)志物數(shù)據(jù)的高效處理與分析。

24、本發(fā)明聯(lián)合圖像與多模態(tài)生物標(biāo)志物構(gòu)建深度學(xué)習(xí)模型，在訓(xùn)練過程中，利用nadtct提取圖像精細特征，利用自適應(yīng)組彈性網(wǎng)對高維數(shù)據(jù)進行降維，最終納入依時deep-cox模型，構(gòu)建圖像聯(lián)合多模態(tài)生物標(biāo)志物的醫(yī)學(xué)圖像處理及分類系統(tǒng)，不但可以考慮協(xié)變量的動態(tài)變化，還可以對特定結(jié)局事件發(fā)生時間及發(fā)生風(fēng)險進行早期精準(zhǔn)識別，提高模型預(yù)測準(zhǔn)確性。