本技術涉及人工智能的語義通信，尤其涉及一種生成式圖像語義通信方法、系統(tǒng)、計算機設備及存儲介質(zhì)。

背景技術：

1、隨著深度學習技術的廣泛應用和不斷發(fā)展，一種被稱為語義通信的新型智能傳輸范式正逐漸嶄露頭角，其中基于向量量化的語義通信(vector?quantization-basedsemantic?communication)技術表現(xiàn)出了獨特的潛力。該方法能夠?qū)φZ義特征進行量化編碼，生成一系列緊湊而高效的索引表征，從而提高通信系統(tǒng)的傳輸效率。通常情況下，接收端可以通過預先建立的可學習碼本，利用接收到的索引重新構(gòu)建中間語義特征。最后通過對重構(gòu)的語義特征進行解碼便可以還原出原始數(shù)據(jù)或與任務相關的信息了。

2、然而，申請人發(fā)現(xiàn)，雖然傳統(tǒng)的向量量化技術在圖像語義通信系統(tǒng)中取得了較成功的傳輸效率提升，但面臨著碼本(codebook)設計和數(shù)字星座圖調(diào)制之間的矛盾。具體表現(xiàn)為，傳統(tǒng)碼本需要較寬的索引范圍，而數(shù)字星座圖調(diào)制卻偏向于調(diào)制少量的離散狀態(tài)。此外，向量量化技術存在碼本的局部索引和其背后的編碼向量語義不匹配問題，具體表現(xiàn)為相鄰位置的語義向量的語義距離(例如用歐式距離度量)可能相當大，這不利于通信系統(tǒng)對信道噪聲的魯棒性，由此可見，傳統(tǒng)的向量量化技術應用在圖像語義通信系統(tǒng)中存在降低對信道噪聲的魯棒性的問題。

技術實現(xiàn)思路

1、本技術實施例的目的在于提出一種生成式圖像語義通信方法、系統(tǒng)、計算機設備及存儲介質(zhì)，以解決傳統(tǒng)的向量量化技術應用在圖像語義通信系統(tǒng)中存在降低對信道噪聲的魯棒性的問題。

2、為了解決上述技術問題，本技術實施例提供一種生成式圖像語義通信方法，采用了如下所述的技術方案：

3、發(fā)送終端接收待傳輸?shù)脑紙D像；

4、所述發(fā)送終端將所述原始圖像輸入至訓練好的編碼器進行編碼操作，得到連續(xù)隱特征；

5、所述發(fā)送終端根據(jù)訓練好的切分量化模型對所述連續(xù)隱特征進行編碼切分量化操作，得到索引表征序列，其中，所述訓練好的切分量化模型由基于殘差向量量化的多頭八進制碼本量化器構(gòu)成；

6、所述發(fā)送終端根據(jù)物理信道將所述索引表征序列傳輸至接收終端；

7、所述接收終端接收與所述索引表征序列相對應的受噪索引表征序列，并根據(jù)所述訓練好的切分量化模型對所述受噪索引表征序列進行量化特征召回操作，得到受噪量化特征；

8、所述接收終端根據(jù)降噪模塊對所述受噪量化特征進行去噪操作，得到降噪量化特征，其中，所述降噪模塊是以swintransfomer為基本模塊搭建的；

9、所述接收終端根據(jù)所述訓練好的切分量化模型對所述降噪量化特征進行特征再量化操作，得到待解碼量化特征；

10、所述接收終端將所述待解碼量化特征輸入至訓練好的解碼器進行解碼操作，得到重建圖像。

11、進一步地，在所述發(fā)送終端接收待傳輸?shù)脑紙D像的步驟之前，還包括下述步驟：

12、獲取訓練圖像數(shù)據(jù)集i；

13、將所述訓練圖像數(shù)據(jù)集i輸入至初始編碼器進行訓練編碼操作，得到訓練連續(xù)隱特征

14、將所述訓練連續(xù)隱特征輸入至初始切分量化模型的若干個單級切分量化模型進行訓練多級殘差量化操作，得到若干個單級匯總殘差量化特征

15、匯總所述若干干個單級匯總殘差量化特征得到訓練待解碼量化特征

16、將所述訓練待解碼量化特征zq輸入至初始解碼器進行訓練解碼操作，得到訓練重建圖像；

17、調(diào)用定義好的初始切分量化模型損失函數(shù)，并根據(jù)所述初始切分量化模型損失函數(shù)、所述訓練圖像數(shù)據(jù)集以及所述訓練重建圖像對所述初始切分量化模型進行參數(shù)優(yōu)化操作，得到所述訓練好的切分量化模型。

18、進一步地，所述將所述訓練連續(xù)隱特征輸入至初始切分量化模型的若干個單級切分量化模型進行訓練多級殘差量化操作，得到若干個單級匯總殘差量化特征的步驟，具體包括下述步驟：

19、判斷當前的單級切分量化模型的等級d是否為1；

20、若所述當前的單級切分量化模型的等級d為1，則將所述訓練連續(xù)隱特征作為初始殘差量化特征r0，將所述初始殘差量化特征r0沿通道維度進行等長切分為p份，并將切分后的初始殘差量化特征r0輸入至所述當前的單級切分量化模型進行量化操作，得到第一級切分量化模型的單級匯總殘差量化特征其中，p為大于零的整數(shù)；

21、若所述當前的單級切分量化模型的等級d不為1，則將等級為d-2的切分量化模型的匯總殘差量化特征rd-2以及等級為d-1的切分量化模型輸出的單級匯總殘差量化特征相減，得到等級為d-1的切分量化模型的殘差量化特征rd-1，將所述等級為d-1的切分量化模型的殘差量化特征rd-1沿通道維度進行等長切分為p份，并將切分后的殘差量化特征rd-1輸入至所述當前的單級切分量化模型進行量化操作，得到所述當前的單級切分量化模型的單級匯總殘差量化特征

22、進一步地，所述訓練多級殘差量化操作還得到等價索引表征sd，所述將所述訓練連續(xù)隱特征輸入至初始切分量化模型的若干個單級切分量化模型進行訓練多級殘差量化操作，得到若干個單級匯總殘差量化特征的步驟，具體包括下述步驟：

23、定義所述訓練連續(xù)隱特征z為所述初始切分量化模型的殘差向量量化的初始殘差特征r0；

24、根據(jù)殘差向量算法生成每個層級的殘差輸出，其中，所述殘差輸出表示為：

25、

26、其中，moc(d)(·)表示第d層的單級多頭八進制碼本量化器。

27、進一步地，所述單級多頭八進制碼本量化器的實現(xiàn)過程包括下述步驟：

28、將所述連續(xù)隱特征沿通道維度進行等長切分為p份，得到切分后的訓練連續(xù)隱特征其中，p為大于零的整數(shù)；

29、將所述切分后的訓練連續(xù)隱特征分別輸入至所述多頭八進制碼本量化器的碼本進行量化操作，得到若干個單頭量化特征ed,p和單頭等價索引表征sd,p；

30、將所述若干個單頭量化特征ed,p和單頭等價索引表征sd,p沿所述通道維度進行拼接操作，得到所述單級匯總殘差量化特征和等價索引表征sd。

31、進一步地，所述定義好的初始損失函數(shù)lvq表示為：

32、

33、其中，conv(·)表示1×1卷積用于特征對齊，表示vgg19模型，γ為預設參數(shù)，l`vq(e,g,c)表示為：

34、

35、其中，sg[·]表示梯度阻斷操作。

36、進一步地，在所述發(fā)送終端根據(jù)訓練好的切分量化模型對所述待傳輸連續(xù)隱特征進行編碼切分量化操作的步驟之后，還得到未經(jīng)信道噪聲污染的量化特征zq，所述降噪模塊基于降噪模塊損失函數(shù)進行監(jiān)督學習，所述降噪模塊損失函數(shù)lnr表示為：

37、

38、其中，ψ(·)表示對給定輸入特征進行一維展平的gram矩陣操作，α為預設參數(shù)，zq表示所述未經(jīng)信道噪聲污染的量化特征，所述未經(jīng)信道噪聲污染的量化特征用于作為基準真值。

39、為了解決上述技術問題，本技術實施例還提供一種生成式圖像語義通信系統(tǒng)，所述系統(tǒng)包括：發(fā)送終端以及接收終端，所述發(fā)送終端包括：圖像接收模塊、編碼操作模塊、切分量化模塊以及信道傳輸模塊，所述接收終端包括：量化特征召回模塊、去噪操作模塊、特征再量化模塊以及解碼模塊，其中：

40、所述圖像接收模塊，用于接收待傳輸?shù)脑紙D像；

41、所述編碼操作模塊，用于將所述原始圖像輸入至訓練好的編碼器進行編碼操作，得到待傳輸連續(xù)隱特征；

42、所述切分量化模塊，用于根據(jù)訓練好的切分量化模型對所述待傳輸連續(xù)隱特征進行編碼切分量化操作，得到索引表征序列，其中，所述訓練好的切分量化模型由基于殘差向量量化的多頭八進制碼本量化器構(gòu)成；

43、所述信道傳輸模塊，用于根據(jù)物理信道將所述索引表征序列傳輸至接收終端；

44、所述量化特征召回模塊，用于接收與所述索引表征序列相對應的受噪索引表征序列，并根據(jù)所述訓練好的切分量化模型對所述受噪索引表征序列進行量化特征召回操作，得到受噪量化特征；

45、所述去噪操作模塊，用于根據(jù)降噪模塊對所述受噪量化特征進行去噪操作，得到降噪量化特征，其中，所述降噪模塊是以swintransfomer為基本模塊搭建的；

46、所述特征再量化模塊，用于根據(jù)所述訓練好的切分量化模型對所述降噪量化特征進行特征再量化操作，得到待解碼量化特征；

47、所述解碼模塊，用于將所述待解碼量化特征輸入至訓練好的解碼器進行解碼操作，得到重建圖像。

48、進一步地，所述系統(tǒng)還包括：

49、訓練圖像獲取模塊，用于獲取訓練圖像數(shù)據(jù)集i；

50、訓練編碼操作模塊，用于將所述訓練圖像數(shù)據(jù)集i輸入至初始編碼器進行訓練編碼操作，得到訓練連續(xù)隱特征

51、訓練單級量化切分模塊，用于將所述訓練連續(xù)隱特征輸入至初始切分量化模型的若干個單級切分量化模型進行訓練多級殘差量化操作，得到若干個單級匯總殘差量化特征和等價索引表征sd；

52、特征匯總模塊，用于匯總所述若干干個單級匯總殘差量化特征得到訓練待解碼量化特征

53、訓練解碼模塊，用于將所述訓練待解碼量化特征zq輸入至初始解碼器進行訓練解碼操作，得到訓練重建圖像；

54、參數(shù)優(yōu)化模塊，用于調(diào)用定義好的初始切分量化模型損失函數(shù)，并根據(jù)所述初始切分量化模型損失函數(shù)、所述訓練圖像數(shù)據(jù)集以及所述訓練重建圖像對所述初始切分量化模型進行參數(shù)優(yōu)化操作，得到所述訓練好的切分量化模型。

55、為了解決上述技術問題，本技術實施例還提供一種計算機設備，采用了如下所述的技術方案：

56、包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執(zhí)行所述計算機可讀指令時實現(xiàn)如上所述的生成式圖像語義通信方法的步驟。

57、為了解決上述技術問題，本技術實施例還提供一種計算機可讀存儲介質(zhì)，采用了如下所述的技術方案：

58、所述計算機可讀存儲介質(zhì)上存儲有計算機可讀指令，所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如上所述的生成式圖像語義通信方法的步驟。

59、本技術提供了一種生成式圖像語義通信方法，包括：發(fā)送終端接收待傳輸?shù)脑紙D像；所述發(fā)送終端將所述原始圖像輸入至訓練好的編碼器進行編碼操作，得到連續(xù)隱特征；所述發(fā)送終端根據(jù)訓練好的切分量化模型對所述連續(xù)隱特征進行編碼切分量化操作，得到索引表征序列，其中，所述訓練好的切分量化模型由基于殘差向量量化的多頭八進制碼本量化器構(gòu)成；所述發(fā)送終端根據(jù)物理信道將所述索引表征序列傳輸至接收終端；所述接收終端接收與所述索引表征序列相對應的受噪索引表征序列，并根據(jù)所述訓練好的切分量化模型對所述受噪索引表征序列進行量化特征召回操作，得到受噪量化特征；所述接收終端根據(jù)降噪模塊對所述受噪量化特征進行去噪操作，得到降噪量化特征，其中，所述降噪模塊是以swintransfomer為基本模塊搭建的；所述接收終端根據(jù)所述訓練好的切分量化模型對所述降噪量化特征進行特征再量化操作，得到待解碼量化特征；所述接收終端將所述待解碼量化特征輸入至訓練好的解碼器進行解碼操作，得到重建圖像。與現(xiàn)有技術相比，本技術針對數(shù)字星座圖調(diào)制過程偏向使用少狀態(tài)的先驗，特別設計并提出了一種名為八進制(moc)的量化器，以提升向量量化技術和數(shù)字調(diào)制過程之間的兼容性，另外，本發(fā)明引入了雙階段的模型訓練方式，在階段一，本發(fā)明首先在不包含任何信道噪聲的情況下進行模型訓練，以獲取能夠高效表征圖像的編解碼器和多層級碼本，并將它們作為階段二的高質(zhì)量的語義知識庫，在階段二，本發(fā)明引入信道仿真，并在接收端引入降噪模塊(nrb)用于生成去噪版本的語義特征，這一過程顯著提升了通信系統(tǒng)在惡劣信道條件(較小信噪比)下的圖像生成質(zhì)量。