本發(fā)明涉及多模態(tài)推薦，具體涉及一種基于多視角跨模態(tài)語義對齊的多模態(tài)推薦方法及系統(tǒng)。

背景技術：

1、推薦系統(tǒng)在當今世界占據著極其重要的地位，在電子商務網站、社交媒體網站、門戶網站等各類內容消費平臺上，對用戶對于物品的偏好進行預測能夠極大地提高網站的利用率，同時對于提高用戶的體驗也具有促進作用。同時，隨著網絡的不斷發(fā)達，利用包含文字、圖片、視頻、音頻等各類多媒體信息也能夠從不同程度上吸引目標用戶。不同用戶通過各類多媒體信息能夠展現出不同的喜好，并做出不同的交互行為。利用這類多模態(tài)輔助信息促進推薦系統(tǒng)的推薦表現，這類推薦任務統(tǒng)稱為多模態(tài)推薦。

2、利用多模態(tài)輔助信息作為補充知識以提高推薦系統(tǒng)的性能已經顯示出良好的前景，并得到了廣泛的應用。為了探索用戶交互行為內部蘊藏的多模態(tài)內容傳播模式，多模態(tài)推薦系統(tǒng)通過挖掘多媒體特征中的潛在語義信息來提高協同過濾性能，基于內容消費記錄揭示內容傳播模式和用戶交互偏好。因此，研究多模態(tài)內容和用戶偏好之間的關系仍然是多模態(tài)推薦的一個基本挑戰(zhàn)。

3、為了彌補協同交互建模和多媒體信息擴散模式之間的差距，人們提出了各種多模態(tài)推薦方法。早期的嘗試旨在將視覺信息納入矩陣分解(例如，vbpr[1]和acf[2])，以便在交互記錄和物品多模態(tài)內容之間建立聯系。隨著圖神經網絡(graph?neural?network,gnn)的普及，基于gnn的多模態(tài)推薦通過將多模態(tài)特征與用戶/物品表示(用戶、物品的id嵌入向量)相結合，在探索高階交互依賴關系方面具有顯著優(yōu)勢，成為主流解決方案。例如，mmgcn[3]和grcn[4]指定了模態(tài)表示、擴散和聚合范式，以細化傳播范式。隨后的研究(例如，lattice[5]和freedom[6])使用輔助的物品-物品圖深入研究了物品之間的相互依賴關系。為了進一步挖掘模態(tài)相關性，采用自監(jiān)督學習作為數據增強方法來增強模態(tài)感知推薦性能。

4、雖然現有的多模態(tài)推薦模型通過將多媒體特征納入實體(用戶/物品)的表示嵌入中取得了令人印象深刻的性能，但這些方法將多模態(tài)信息作為固定的輸入源，主要側重于傳播有限容量的多模態(tài)信息。因此，他們忽略了包含在多模態(tài)信息本身的大量知識，導致性能的有限改進。具體來說，大多數模型通常依賴于預訓練的視覺模型(例如，resnet[7]或vit[8])和語言模型(例如，bert[9])來分別獲得視覺和文本表示。然而，這種對訪問多模態(tài)表示的依賴可能會阻礙推薦模型性能的增強：(1)首先，多模態(tài)本身的語義信息沒有被充分利用，而是粗略地作為一個整體進行特征提取，導致對上下文信息的利用不夠充分，從而限制了多模態(tài)建模的潛力。以amazon-review數據集為例，文本描述包含各種元數據，包括類別、品牌、價格等。當前典型的多模態(tài)推薦處理方式忽略了細粒度特征細節(jié)，直接將數據輸入到預訓練的語言模型中，使用生成的嵌入作為多模態(tài)推薦模型的特征向量。這種模態(tài)信息建模忽略了細粒度的域特征，并可能在下游訓練過程中引入噪聲信號。(2)其次，多模態(tài)之間的語義差距導致各個單模態(tài)特征之間的碎片化和語義分離。具體而言，現有的多模態(tài)推薦方法往往單獨處理每個單模態(tài)表示，而沒有考慮不同模態(tài)表示之間存在的語義差距。這種沒有跨模態(tài)聯合分析的單模態(tài)處理不能充分挖掘大量的可用知識，從而限制了性能的提高。盡管許多多模態(tài)推薦模型都在努力解決表示不一致的問題，但多模態(tài)表示的不統(tǒng)一輸入直接阻礙了下游推薦模型的性能。

技術實現思路

1、鑒于以上問題，本發(fā)明提出一種基于多視角跨模態(tài)語義對齊的多模態(tài)推薦方法及系統(tǒng)，以力圖解決或者至少緩解上面存在的至少一個問題。

2、根據本發(fā)明的一方面，提出一種基于多視角跨模態(tài)語義對齊的多模態(tài)推薦方法，該方法包括以下步驟：

3、提取訓練數據的用戶信息、物品信息、用戶-物品交互信息和多模態(tài)輔助信息，所述多模態(tài)輔助信息包括文本模態(tài)和視覺模態(tài)；

4、對所述多模態(tài)輔助信息進行處理，獲取包含多模態(tài)嵌入文本表示和視覺表示的語義信息；

5、將用戶信息、物品信息、用戶-物品交互信息和所述語義信息輸入多模態(tài)神經網絡模型中進行訓練；

6、利用訓練好的多模態(tài)神經網絡模型進行多模態(tài)推薦。

7、進一步地，所述對多模態(tài)輔助信息進行處理包括：

8、對所述文本模態(tài)進行分割，劃分為多個通道，獲得多個單通道文本表示；

9、對多個單通道文本表示分別進行編碼，獲得多個單通道文本編碼；

10、對視覺模態(tài)對應的視覺表示進行編碼，獲得編碼后的視覺表示向量；

11、計算每個單通道文本編碼和視覺表示向量的相似度；

12、基于所述相似度將多個單通道文本編碼進行集成，獲取集成后的文本編碼向量；

13、所述集成后的文本編碼向量和所述編碼后的視覺表示向量組成語義信息。

14、進一步地，利用基于對比語言圖像預訓練模型完成對單通道文本表示和視覺表示的編碼。

15、進一步地，按照下述公式計算每個單通道文本編碼和視覺表示向量的相似度

16、

17、其中，表示第i個物品第j個通道的單通道文本編碼，t表示文本模態(tài)；表示編碼后的視覺表示向量；τ表示溫度系數，用于平衡向量表示的大??；c表示多個通道總數；sim(·,·)表示相似度計算。

18、進一步地，使用余弦相似度函數完成所述相似度計算。

19、進一步地，基于所述相似度，利用自注意力操作將多個單通道文本編碼進行集成：

20、

21、其中，表示集成后的文本編碼向量。

22、根據本發(fā)明的另一方面，提出一種基于多視角跨模態(tài)語義對齊的多模態(tài)推薦系統(tǒng)，該系統(tǒng)包括：

23、信息提取模塊，其配置成提取訓練數據的用戶信息、物品信息、用戶-物品交互信息和多模態(tài)輔助信息，所述多模態(tài)輔助信息包括文本模態(tài)和視覺模態(tài)；

24、多模態(tài)輔助信息處理模塊，其配置成對所述多模態(tài)輔助信息進行處理，獲取包含多模態(tài)嵌入文本表示和視覺表示的語義信息；

25、模型訓練模塊，其配置成將用戶信息、物品信息、用戶-物品交互信息和所述語義信息輸入多模態(tài)神經網絡模型中進行訓練；

26、推薦模塊，其配置成利用訓練好的多模態(tài)神經網絡模型進行多模態(tài)推薦。

27、進一步地，所述多模態(tài)輔助信息處理模塊中對多模態(tài)輔助信息進行處理包括：

28、對所述文本模態(tài)進行分割，劃分為多個通道，獲得多個單通道文本表示；

29、對多個單通道文本表示分別進行編碼，獲得多個單通道文本編碼；

30、對視覺模態(tài)對應的視覺表示進行編碼，獲得編碼后的視覺表示向量；

31、計算每個單通道文本編碼和視覺表示向量的相似度；

32、基于所述相似度將多個單通道文本編碼進行集成，獲取集成后的文本編碼向量；

33、所述集成后的文本編碼向量和所述編碼后的視覺表示向量組成語義信息。

34、進一步地，所述多模態(tài)輔助信息處理模塊中利用基于對比語言圖像預訓練模型完成對單通道文本表示和視覺表示的編碼。

35、進一步地，所述多模態(tài)輔助信息處理模塊中按照下述公式計算每個單通道文本編碼和視覺表示向量的相似度

36、

37、其中，表示第i個物品第j個通道的單通道文本編碼，t表示文本模態(tài)；表示編碼后的視覺表示向量；τ表示溫度系數，用于平衡向量表示的大小；c表示多個通道總數；sim(·,·)表示相似度計算；

38、基于所述相似度，利用自注意力操作將多個單通道文本編碼進行集成：其中，表示集成后的文本編碼向量。

39、本發(fā)明的有益技術效果是：

40、本發(fā)明提出了一種基于多視角跨模態(tài)語義對齊的多模態(tài)推薦方法及系統(tǒng)，提出了一種對比語言圖像預訓練-clip加強的多模態(tài)推薦框-cliper，在來自多個視角的跨模態(tài)表示之間建立了連接，并將模態(tài)感知表示與語義相似度系數在多模態(tài)推薦中有機結合，將clip納入多模態(tài)推薦問題并利用其跨模態(tài)對齊能力以解決模態(tài)間語義鴻溝問題，提出了一種通過多視角語義建模的細粒度模態(tài)語義對齊方法；此外，還將每個特定視角的表示與相似度度量系數結合起來；cliper增強框架以即插即用的方式與現有的多模態(tài)推薦模型無縫集成。實驗結果證明了本發(fā)明所提出的cliper框架的優(yōu)越性和有效性。