本發(fā)明涉及醫(yī)學(xué)圖像處理，具體涉及一種基于權(quán)重遷移的深度融合網(wǎng)絡(luò)的食管疾病圖像分類方法。

背景技術(shù)：

1、食管癌(esophageal?cancer,ec)是起源于食管粘膜上皮的惡性腫瘤，病理類型包括鱗癌、腺癌等，是常見(jiàn)消化道惡性腫瘤之一。2018年全球食管癌發(fā)病率在惡性腫瘤中居第7位(6.3/100000)，死亡率居第6位(5.5/100000)。同年，我國(guó)食管癌發(fā)病率(13.9/100000)和死亡率(12.7/100000)在惡性腫瘤中分別居第5位和第4位，新發(fā)病例和死亡病例分別占全球總數(shù)的53.7％和55.7％。我國(guó)是食管癌發(fā)病率最高的國(guó)家，因此，快速攻克食管癌發(fā)病機(jī)制，實(shí)現(xiàn)早診早治，降低食管癌死亡率和發(fā)病率是科研工作者的終極目標(biāo)。

2、食管癌患者早期主要臨床癥狀相對(duì)并不特異，發(fā)現(xiàn)困難，因此95％患者在就診時(shí)，疾病已經(jīng)進(jìn)展到中晚期，盡管采用綜合手術(shù)治療，五年生存率僅15-20％。是生存率最低的癌癥之一，生存率低有兩個(gè)原因。首先，腫瘤侵入食管黏膜下淋巴引流，早期易發(fā)生轉(zhuǎn)移。其次，患者往往在病情進(jìn)展前才表現(xiàn)出明顯癥狀。這兩個(gè)因素共同導(dǎo)致預(yù)后不良。食管癌一般早期癥狀就是食管炎和巴雷特食管炎(barrett食管炎，簡(jiǎn)稱be)，be是一種疾病，其中正常排列在食管下部的鱗狀細(xì)胞被帶有杯狀細(xì)胞的柱狀細(xì)胞取代，它通常歸因于長(zhǎng)期的胃食管反流病(gerd)，be是由食管炎引發(fā)的，食管炎和be被認(rèn)為是ec食管癌的前兆，食管炎可導(dǎo)致各種細(xì)胞的形成，這些細(xì)胞會(huì)導(dǎo)致基因突變，最終可能導(dǎo)致癌癥，被診斷為be的患者患腺癌的風(fēng)險(xiǎn)是正常人的30到400倍，臨床研究表明，被診斷為ec的患者的前景在很大程度上受腫瘤分期的影響。晚期ec患者的五年生存率不到20％，而早期ec患者的五年生存率超過(guò)90％。類似研究表明，be是ec的預(yù)測(cè)因素之一，早期正確診斷可以提高ec治療的成功率。食管疾病是高齡人群的易發(fā)病，通常通過(guò)內(nèi)窺鏡檢查。在過(guò)去的幾十年里，降低食管腺癌死亡率的主要方法是通過(guò)內(nèi)窺鏡篩查有慢性胃食管反流病(gerd)癥狀的個(gè)體，以確定他們是否患有be。

3、傳統(tǒng)胃鏡篩查是食管癌早期診斷的主要途徑，但因其診斷的侵入性和價(jià)格昂貴仍然限制了其在無(wú)癥狀人群篩查中的應(yīng)用。并且，內(nèi)窺鏡檢查在許多情況下可能導(dǎo)致誤診，因?yàn)楹茈y區(qū)分上胃(賁門)的柱狀粘膜和下食管的化生上皮。此外，食管柱狀上皮活檢中缺少杯狀細(xì)胞，食管柔韌且結(jié)構(gòu)復(fù)雜，醫(yī)生檢查它往往需要大量的時(shí)間和經(jīng)驗(yàn)，經(jīng)驗(yàn)不足的內(nèi)鏡醫(yī)師可能會(huì)發(fā)現(xiàn)檢查過(guò)程很困難，通過(guò)目視檢查評(píng)估內(nèi)鏡圖像取決于個(gè)人意見(jiàn)，可重復(fù)性較低，這可能會(huì)導(dǎo)致誤診。如圖1所示，為食管炎和barrett食管炎(be)的內(nèi)窺鏡視圖對(duì)比圖，左邊兩幅為食管炎圖片，右邊兩幅為barrett食管炎圖片。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種基于權(quán)重遷移的深度融合網(wǎng)絡(luò)的食管疾病圖像分類方法

2、為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：

3、基于權(quán)重遷移的深度融合網(wǎng)絡(luò)的食管疾病圖像分類方法，包含以下步驟：

4、1)數(shù)據(jù)集準(zhǔn)備

5、從多個(gè)數(shù)據(jù)庫(kù)中收集食管炎圖像和巴雷特食管炎圖像；

6、2)數(shù)據(jù)預(yù)處理

7、將收集到的數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，并將數(shù)據(jù)集內(nèi)的圖像進(jìn)行數(shù)據(jù)增強(qiáng)，數(shù)據(jù)增強(qiáng)操作包括縮放、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)，將所有圖像縮放至224×224像素；

8、3)網(wǎng)絡(luò)模型導(dǎo)入數(shù)據(jù)集內(nèi)進(jìn)行訓(xùn)練

9、創(chuàng)建ry_rnet50網(wǎng)絡(luò)模型，在ry_rnet50網(wǎng)絡(luò)模型的基礎(chǔ)模塊中convt模塊由12個(gè)conv4_x模塊組成，基礎(chǔ)模塊形成后輸入至通道注意力機(jī)制中，并與基礎(chǔ)模塊的輸出拼接在一起；

10、在maxpool層之后添加了flatten層，將多維的輸出變?yōu)橐痪S，然后輸入到密集層“dense_1024”中，在“dense_1024”之后使用dropout層(rate＝0.4)隨機(jī)停用參數(shù)，最后輸入到密集層，密集層使用線性激活函數(shù)，并使用l2正則化；

11、同時(shí)，用鉸鏈損失函數(shù)參與訓(xùn)練過(guò)程，鉸鏈損失函數(shù)由下式給出：

12、losshinge(y)＝max(0,1-y’y)

13、其中y表示正確的類別，y'表示預(yù)測(cè)輸出；

14、在數(shù)據(jù)集上訓(xùn)練時(shí)組合ry_rnet50網(wǎng)絡(luò)模型和vgg16網(wǎng)絡(luò)模型，凍結(jié)兩個(gè)網(wǎng)絡(luò)模型中的低層權(quán)重，訓(xùn)練高層權(quán)重；

15、4)網(wǎng)絡(luò)模型的融合

16、建立神經(jīng)網(wǎng)絡(luò)模型(dfy-net模型)，神經(jīng)網(wǎng)絡(luò)模型模型從ry_rnet50網(wǎng)絡(luò)模型和vgg16網(wǎng)絡(luò)模型的“dense_1024”層提取扁平化的特征向量，再將ry_rnet50網(wǎng)絡(luò)模型和vgg16網(wǎng)絡(luò)模型的輸出行向量連接起來(lái)形成連接層，連接層生成2048維的向量，然后傳遞到批標(biāo)準(zhǔn)化層(batch?normalization層)進(jìn)行歸一化，

17、然后輸入到第一個(gè)密集層(dense層)，該層使用relu激活函數(shù)，

18、最后輸入到第二個(gè)密集層(dense層)，該層的激活函數(shù)為linear線性，并使用l2正則化，整個(gè)訓(xùn)練過(guò)程使用鉸鏈損失函數(shù)(hinge?loss函數(shù))；

19、5)得出食管炎圖像和巴雷特食管炎圖像分類結(jié)果的模型性能評(píng)估

20、通過(guò)神經(jīng)網(wǎng)絡(luò)模型得到混淆矩陣，混淆矩陣上表示了在測(cè)試集上食管炎圖像和巴雷特食管炎圖像的分類結(jié)果。

21、進(jìn)一步的，在數(shù)據(jù)集準(zhǔn)備時(shí)，從視頻庫(kù)中剪裁圖像至640×480像素。

22、進(jìn)一步的，測(cè)試數(shù)據(jù)集占整個(gè)數(shù)據(jù)集的20％，驗(yàn)證數(shù)據(jù)集占整個(gè)數(shù)據(jù)集的10％，訓(xùn)練數(shù)據(jù)集占整個(gè)數(shù)據(jù)集的70％，其中從70％的訓(xùn)練數(shù)據(jù)集中提取30％的圖像進(jìn)行數(shù)據(jù)增強(qiáng)。

23、進(jìn)一步的，在數(shù)據(jù)集預(yù)處理時(shí)，隨機(jī)旋轉(zhuǎn)角度為45°、135°、225°。

24、進(jìn)一步的，在網(wǎng)絡(luò)模型的融合后、結(jié)果分析之前還需要進(jìn)行實(shí)驗(yàn)驗(yàn)證來(lái)分類圖像，在實(shí)驗(yàn)驗(yàn)證時(shí)分為兩個(gè)階段：

25、第一階段是使用網(wǎng)絡(luò)庫(kù)中“imagedatagenerator”api進(jìn)行數(shù)據(jù)預(yù)處理訓(xùn)練，在訓(xùn)練過(guò)程中會(huì)發(fā)生隨機(jī)圖像變換，并將這種圖形變換訓(xùn)練集反饋給ry_rnet50網(wǎng)絡(luò)模型，選擇使用最接近的圖像像素值進(jìn)行填充，所有圖像都以224×224像素大小輸入ry_rnet50網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)，

26、第二階段是建立卷積神經(jīng)網(wǎng)絡(luò)(cnn)模型進(jìn)行性能評(píng)估，評(píng)估指標(biāo)由真陽(yáng)性(tp)、真陰性(tn)、假陽(yáng)性(fp)、假陰性(fn)四個(gè)指標(biāo)構(gòu)成，通過(guò)四個(gè)指標(biāo)評(píng)估精確度(accuracy)、準(zhǔn)確度(precision)、召回率(recall)、f分?jǐn)?shù)(fscore)，它們由以下公式得出：

27、

28、其中，精確度表示預(yù)測(cè)陽(yáng)性結(jié)果的精確度，準(zhǔn)確度表示總體預(yù)測(cè)精確度，召回率是指在實(shí)際陽(yáng)性實(shí)例中被歸類為陽(yáng)性實(shí)例的概率，f分?jǐn)?shù)從召回率和精確度方面評(píng)估分類性能。

29、本發(fā)明與現(xiàn)有技術(shù)相比的有益效果是：我們參考““deepcervix：一種基于深度學(xué)習(xí)的使用混合深度特征融合技術(shù)對(duì)宮頸細(xì)胞進(jìn)行分類的框架”，計(jì)算機(jī)生物學(xué)和醫(yī)學(xué)，第136卷，第104649頁(yè)，2021年”中介紹的hdff技術(shù)，并基于權(quán)重遷移方法提出了一種深度融合網(wǎng)絡(luò)，即神經(jīng)網(wǎng)絡(luò)模型(dfy-net模型)。神經(jīng)網(wǎng)絡(luò)模型的初始模型(ry_rnet50和vgg16[28])經(jīng)過(guò)微調(diào)，然后在我們組合的數(shù)據(jù)集上進(jìn)行訓(xùn)練，頂層使用svm支持向量機(jī)代替經(jīng)典的softmax分類器來(lái)對(duì)食管疾病進(jìn)行分類，支持向量機(jī)分類器模型性能更穩(wěn)定，不僅如此，我們使用grad-cam技術(shù)生成熱力圖來(lái)提升分類結(jié)果的可解釋性。本研究可為內(nèi)鏡醫(yī)師的診斷提供客觀參考，有助于提高食管疾病的診斷準(zhǔn)確性，并在預(yù)防食管癌方面發(fā)揮重要作用。

30、我們使用較少的數(shù)據(jù)集便能根據(jù)以上方法高準(zhǔn)確率的分類出食管炎圖像和巴雷特食管炎圖像，幫助醫(yī)生快速的分類疾病圖像。我們還利用了數(shù)據(jù)增強(qiáng)的方法，行之有效的提高數(shù)據(jù)集的分類準(zhǔn)確率，從而解決數(shù)據(jù)不平衡的問(wèn)題。

31、我們利用權(quán)重遷移的方式來(lái)解決訓(xùn)練數(shù)據(jù)稀缺的問(wèn)題，不需要從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)模型，可以顯著減少對(duì)訓(xùn)練數(shù)據(jù)的要求和訓(xùn)練時(shí)間。兩個(gè)基礎(chǔ)網(wǎng)絡(luò)使用了tenso?rflow官方訓(xùn)練好的模型權(quán)重。預(yù)訓(xùn)練模型在imagenet數(shù)據(jù)集上進(jìn)行了額外訓(xùn)練，該數(shù)據(jù)集是一份包含1000個(gè)類別的320多萬(wàn)張圖像的綜合匯編。凍結(jié)層的選擇是實(shí)驗(yàn)性的，首先考慮凍結(jié)經(jīng)典模型的三分之二的層數(shù)，而讓高層參與訓(xùn)練過(guò)程，然后逐漸增加或減少凍結(jié)層數(shù)，直至模型達(dá)到最優(yōu)分類性能。