本發(fā)明涉及深度學(xué)習(xí)和軟件開(kāi)發(fā)領(lǐng)域，具體設(shè)計(jì)一種基于跨模態(tài)技術(shù)的肺部x光診斷報(bào)告自動(dòng)生成平臺(tái)及其使用方法。

背景技術(shù)：

0、技術(shù)背景

1、醫(yī)學(xué)影像報(bào)告是醫(yī)學(xué)影像的文本描述，通常由放射科醫(yī)生提供，是醫(yī)生之間溝通的重要方式。在臨床上，這種對(duì)醫(yī)學(xué)影像的判斷通常由放射科醫(yī)生進(jìn)行。放射科醫(yī)生通常需要提供大量相關(guān)醫(yī)學(xué)發(fā)現(xiàn)的報(bào)告來(lái)支持他的判斷。然而，這種對(duì)醫(yī)學(xué)影像的解釋需要大量的臨床經(jīng)驗(yàn)積累，而由于目前臨床放射科醫(yī)生數(shù)量不足，尤其是經(jīng)驗(yàn)豐富的專家短缺，且由于醫(yī)學(xué)影像的解釋僅依靠醫(yī)生的專業(yè)技能與經(jīng)驗(yàn)，存在主觀分析偏差，容易導(dǎo)致誤測(cè)。此外，由于患者數(shù)量眾多，以及經(jīng)驗(yàn)豐富的放射科醫(yī)生的短缺，一個(gè)放射科醫(yī)生可能每天要進(jìn)行幾十個(gè)有時(shí)甚至上百個(gè)醫(yī)學(xué)影像檢查然后寫(xiě)出對(duì)應(yīng)的報(bào)告，這使得放射科醫(yī)生工作負(fù)荷極大，影響其閱片效率與準(zhǔn)確性。因此，能夠自動(dòng)生成高質(zhì)量的醫(yī)學(xué)影像報(bào)告極具研究意義。醫(yī)學(xué)影像報(bào)告自動(dòng)生成，是指通過(guò)影像學(xué)、醫(yī)學(xué)圖像處理技術(shù)與自然語(yǔ)言處理技術(shù)，結(jié)合計(jì)算機(jī)的分析與計(jì)算，發(fā)現(xiàn)與定位病灶，并通過(guò)文字報(bào)告進(jìn)行描述，輔助醫(yī)生閱片的過(guò)程。近年來(lái)，隨著人工智能技術(shù)的發(fā)展，尤其是以卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neuralnetworks,cnn)與自然語(yǔ)言處理(neural?language?processing,nlp)技術(shù)為代表的深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)領(lǐng)域的發(fā)展與應(yīng)用，極大的推動(dòng)了深度學(xué)習(xí)在醫(yī)學(xué)報(bào)告自動(dòng)生成領(lǐng)域的發(fā)展。目前，現(xiàn)有的醫(yī)學(xué)報(bào)告自動(dòng)生成的工作主要聚焦于這種以cnn為編碼器、以rnn為解碼器的編碼器-解碼器的框架。盡管當(dāng)前以這種編碼器-解碼器結(jié)構(gòu)為框架的模型在醫(yī)學(xué)報(bào)告自動(dòng)生成領(lǐng)域已獲得了較為顯著的成功，然而現(xiàn)有的醫(yī)學(xué)報(bào)告自動(dòng)生成算法對(duì)構(gòu)建精準(zhǔn)的長(zhǎng)文本生成系統(tǒng)仍面臨著極大的挑戰(zhàn)，存在巨大的研究空間。這類方法可以生成段落式的描述性報(bào)告，但是文字描述的準(zhǔn)確率通常較低，不符合相關(guān)影像的解釋；此外，在生成的報(bào)告中存在部分無(wú)意義重復(fù)性單詞，使得語(yǔ)句不連貫。

2、然而跨模態(tài)檢索是指利用不同的數(shù)據(jù)模式按條件進(jìn)行數(shù)據(jù)搜索的任務(wù)，以最大限度地減少查找相關(guān)內(nèi)容所需的時(shí)間。在醫(yī)學(xué)報(bào)告生成任務(wù)中，由于醫(yī)學(xué)影像的圖像特征與醫(yī)學(xué)報(bào)告的文本特征差異較大，因此許多工作利用跨模態(tài)檢索技術(shù)以實(shí)現(xiàn)特征融合，從而得到更為準(zhǔn)確的醫(yī)學(xué)信息表示。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明基于跨模態(tài)在醫(yī)學(xué)圖片診斷報(bào)告生成的優(yōu)勢(shì)，提供一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)。本發(fā)明通過(guò)djang框架集成了兩個(gè)基于跨模態(tài)的肺部x光片報(bào)告自動(dòng)生成模型以及一個(gè)基于跨模態(tài)的疾病種類分析模型。這個(gè)平臺(tái)通通過(guò)上傳肺部x光片，經(jīng)過(guò)已經(jīng)訓(xùn)練好的模型之后會(huì)生成診斷報(bào)告或者疾病分?jǐn)?shù)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、s1：登錄平臺(tái)，通過(guò)url地址，訪問(wèn)我們搭建的平臺(tái)；

4、s2：選擇模型，分別是兩個(gè)報(bào)告生成模型r2gencmn和xpronet以及一個(gè)疾病分析模型medclip。這三個(gè)模型都是之前已經(jīng)訓(xùn)練出來(lái)的深度學(xué)習(xí)模型；

5、s3：上傳數(shù)據(jù)，對(duì)于生成報(bào)告模型r2gencmn需要上傳一張正面的肺部x光片圖和一張側(cè)面的x光片圖。對(duì)于生成報(bào)告模型xpronet需要上傳一張正面的肺部x光片圖和一張側(cè)面的x光片圖以外，還需要選擇疾病種類標(biāo)簽。對(duì)于疾病分析模型medclip則只需要上傳一張正面的x光片圖即可。

6、s4:結(jié)果返回，通過(guò)django獲取到圖片數(shù)據(jù)之后，傳輸給后端的經(jīng)過(guò)預(yù)訓(xùn)練好的模型，得到診斷報(bào)告或者疾病分?jǐn)?shù)，然后再返回給前端界面給用戶進(jìn)行展示如圖6-8所示。

7、本發(fā)明的有益效果是：提供了一個(gè)可供專業(yè)或者非專業(yè)人士進(jìn)行肺部x光片診斷的平臺(tái)，并且繼承了三個(gè)基于目前較為流行和準(zhǔn)確的跨模態(tài)的醫(yī)學(xué)報(bào)告自動(dòng)生成技術(shù)，使得診斷的結(jié)果更加具有說(shuō)服力。

技術(shù)特征：

1.一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1中所示的一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)，其特征在于s1中，登錄平臺(tái)的具體方法為：我們首先通過(guò)python終端啟動(dòng)我們的服務(wù)，然后在瀏覽器上輸入我們的url地址訪問(wèn)我們的平臺(tái)。

3.根據(jù)權(quán)利要求1中所示的一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)，其特征在于s2中，選擇模型的具體方法為：我們將預(yù)訓(xùn)練好的三個(gè)模型兩個(gè)報(bào)告生成模型r2gencmn和xpronet以及一個(gè)疾病分析模型medclip都集成到基于django后端中，選擇不同的模型的時(shí)候會(huì)將數(shù)據(jù)傳入不同的預(yù)訓(xùn)練模型中，得到不同的輸出結(jié)果。關(guān)于具體的訓(xùn)練過(guò)程，我們使用iu-xray數(shù)據(jù)集來(lái)進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求1中所示的一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)，其特征在于s3中，上傳數(shù)據(jù)的具體方法為：對(duì)于生成報(bào)告模型r2gencmn需要上傳一張正面的肺部x光片圖和一張側(cè)面的x光片圖。對(duì)于生成報(bào)告模型xpronet需要上傳一張正面的肺部x光片圖和一張側(cè)面的x光片圖以外，還需要選擇疾病種類標(biāo)簽。對(duì)于疾病分析模型medclip則只需要上傳一張正面的x光片圖即可。

5.根據(jù)權(quán)利要求1中所示的一種基于跨模態(tài)技術(shù)的肺部x光片診斷報(bào)告自動(dòng)生成平臺(tái)，其特征在于s4中，結(jié)果返回的具體方法為：通過(guò)django獲取到圖片數(shù)據(jù)之后，傳輸給后端的經(jīng)過(guò)預(yù)訓(xùn)練好的模型，得到診斷報(bào)告或者疾病分?jǐn)?shù)，然后再返回給前端界面給用戶進(jìn)行展示。

技術(shù)總結(jié)
本發(fā)明展示了一種基于跨模態(tài)技術(shù)的肺部X光片診斷報(bào)告自動(dòng)生成平臺(tái)，該平臺(tái)基于Django框架構(gòu)建，實(shí)現(xiàn)了前后端分離，并通過(guò)以下步驟進(jìn)行操作：S1：用戶登錄；S2：模型選擇；S3：數(shù)據(jù)上傳；S4：結(jié)果反饋。此平臺(tái)在選擇模型階段提供了三種針對(duì)肺部X光片的跨模態(tài)模型：R2GenCMN生成診斷報(bào)告模型、XPRONET診斷與標(biāo)注模型以及MedCLIP疾病分析模型。用戶根據(jù)選擇的模型上傳不同的數(shù)據(jù)：R2GenCMN模型需要正面和側(cè)面的X光圖像來(lái)生成診斷報(bào)告；XPRONET模型除了要求上傳X光片的正側(cè)面圖像外，還需附帶疾病標(biāo)簽以生成詳細(xì)的診斷報(bào)告；MedCLIP模型僅需要正面的X光圖像即可分析出各種疾病的可能性得分。該平臺(tái)為醫(yī)療專業(yè)人士及非專業(yè)用戶提供了一種高效、便捷的肺部X光診斷手段。

技術(shù)研發(fā)人員：陳真誠(chéng),趙朝渝,許贏龍
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21