本技術涉及數(shù)據(jù)處理，特別是涉及一種可解釋性分析方法、裝置、電子設備及計算機可讀存儲介質。

背景技術：

1、目前，可以將視覺模型通過橋接層接入語言模型，從而得到能夠處理圖像模態(tài)數(shù)據(jù)和文本模態(tài)數(shù)據(jù)的多模態(tài)模型。其中，橋接層用于對齊圖像模態(tài)數(shù)據(jù)對應的特征和文本模態(tài)數(shù)據(jù)對應的特征。

2、近年來，越來越多的學者對多模態(tài)模型的決策依據(jù)進行了研究，從計算機視覺中分析圖像和文本在匹配過程中的關注區(qū)域。但是現(xiàn)有的計算機視角的可解釋性方法多是針對傳統(tǒng)深度卷積分類模型設計的，不適合應用在多模態(tài)模型上。

技術實現(xiàn)思路

1、本技術至少提供一種可解釋性分析方法、裝置、電子設備及計算機可讀存儲介質。

2、本技術第一方面提供了一種可解釋性分析方法，包括：

3、獲取樣本圖像以及樣本圖像對應的樣本描述文本；樣本圖像包括多個圖像塊；樣本描述文本包括多個子文本；各圖像塊和各子文本分別在各通道維度上均具有對應的中間特征信息；

4、基于樣本圖像和樣本描述文本，確定樣本圖像與樣本描述文本之間對應的圖文相似度；

5、基于圖文相似度以及各局部信息在各通道維度上的中間特征信息，生成各局部信息的關注程度量化值；

6、基于各局部信息的關注程度量化值生成整體信息的可視化信息；其中，局部信息是由整體信息分割得到；當樣本圖像作為整體信息時，圖像塊作為局部信息；當樣本描述文本作為整體信息時，子文本作為局部信息。

7、因此，本實施例提供的可解釋性分析方法，通過樣本圖像中各圖像塊的中間特征信息、樣本描述文本中各子文本的中間特征信息，確定各圖像塊的關注程度量化值、各子文本的關注程度量化值，進而生成樣本圖像、樣本描述文本分別對應的可視化信息，以便于對多模態(tài)模型中圖像和文本在匹配過程中的推理匹配結果的關注區(qū)域進行顯示，更進一步有助于探索多模態(tài)模型的優(yōu)勢和劣勢。

8、在一些實施例中，基于圖文相似度以及各圖像塊的中間特征信息，生成各圖像塊的關注程度量化值，包括：

9、基于同一通道維度上的各局部信息的中間特征信息，生成通道維度上整體信息的中間特征信息；

10、基于整體信息在各通道維度的中間特征信息以及圖文相似度，確定各通道維度的通道權重；

11、基于局部信息的中間特征信息以及各通道維度的通道權重，得到各局部信息的關注程度量化值。

12、在一些實施例中，基于圖文相似度以及各局部信息在各通道維度上的中間特征信息，生成各局部信息的關注程度量化值，包括：

13、將各局部信息的中間特征信息經過類別嵌入矩陣進行映射，得到各局部信息的空間權重；

14、基于局部信息的中間特征信息、局部信息的空間權重以及各通道維度的通道權重，得到各局部信息的關注程度量化值。

15、因此，本實施例中通過局部信息在各通道維度的中間特征信息生成各通道維度的通道權重、各圖像塊和/或子文本的空間權重，再根據(jù)通道權重、空間權重雙重權重對局部圖像的中間特征信息進行處理，確定各局部信息的關注程度量化值，以便于提高局部圖像之間的相對重要程度。

16、在一些實施例中，基于整體信息在各通道維度的中間特征信息以及圖文相似度，確定各通道維度的通道權重，包括：

17、基于圖文相似度對整體信息在各通道維度的中間特征信息進行二階求導，得到各通道維度的通道權重。

18、因此，本實施例中通過圖文相似度對各通道維度的中間特征信息進行二階求導，可以提高各通道維度的通道權重的準確性。

19、在一些實施例中，將各局部信息的中間特征信息經過類別嵌入矩陣進行映射，得到各局部信息的空間權重，包括：

20、將各局部信息的中間特征信息經過類別嵌入矩陣進行映射，得到各局部信息分別對應的查詢矩陣、鍵矩陣和值矩陣；

21、基于局部信息對應的查詢矩陣和鍵矩陣的乘積，得到局部信息的初始空間權重；

22、將各局部信息的初始空間權重進行歸一化處理，得到各局部信息的空間權重。

23、因此，相比于現(xiàn)有的基于softmax確定局部信息的空間權重，本實施例中將局部信息對應的查詢矩陣和鍵矩陣的乘積作為局部信息的空間權重，以便于確定各局部信息與查詢矩陣的相關程度，以便于后續(xù)生成順滑的可視性信息。

24、在一些實施例中，基于局部信息的中間特征信息、局部信息的空間權重以及各通道維度的通道權重，得到各局部信息的關注程度量化值，包括：

25、基于局部信息對應的中間特征信息和空間權重、通道權重的乘積，確定通道維度的特征信息；

26、基于局部信息在各通道維度的特征信息的加和，得到局部信息的關注程度量化值。

27、因此，本實施例中通過根據(jù)圖像塊/子文本的中間特征信息、空間權重以及通道權重的乘積確定通道維度的特征信息，再根據(jù)各通道維度的特征信息的加和得到局部信息的關注程度量化值，提高圖像塊/子文本的關注程度量化值的準確性。

28、在一些實施例中，基于局部信息的中間特征信息、局部信息的空間權重以及各通道維度的通道權重，得到各局部信息的關注程度量化值，還包括：

29、將各局部信息的關注程度量化值進行歸一化處理。

30、因此，本實施例中通過將各圖像塊/子文本的關注程度量化值進行歸一化，使得各圖像塊/子文本之間重要程度的梯度更加平滑，以便于后續(xù)生成順滑的可視性信息。

31、在一些實施例中，基于各局部信息的關注程度量化值生成整體信息的可視化信息，包括：

32、基于各局部信息的關注程度量化值生成整體信息的特征熱圖；

33、將整體信息的特征熱圖和整體信息進行對齊疊加處理，得到整體信息的解釋熱圖。

34、因此，本實施例中根據(jù)各圖像塊/子文本的關注程度量化值生成整體信息對應的特征熱圖，并將特征熱圖與樣本圖像/樣本描述文本進行位置對齊疊加，進而顯示樣本圖像、樣本描述文本匹配過程中的關注區(qū)域。

35、在基于樣本圖像和樣本描述文本，確定樣本圖像與樣本描述文本之間對應的圖文相似度，包括：

36、將樣本圖像和樣本描述文本出入多模態(tài)模型中；多模態(tài)模型包括多個圖像編碼模塊、多個文本編碼模塊、第一全連接層、第二全連接層；

37、采用多個圖像編碼模塊依次對各圖像塊進行特征提取，得到各圖像塊的子特征圖；最后一個圖像編碼模塊輸出的各圖像塊的子特征圖作為圖像塊的中間特征信息；

38、基于各圖像塊的子特征圖，得到樣本圖像的特征圖；

39、采用第一全連接層基于各圖像編碼模塊提取的特征圖，得到樣本圖像的圖像特征信息；

40、采用多個文本編碼模塊依次對各子文本進行特征提取，得到各子文本的子特征數(shù)據(jù)；最后一個文本編碼模塊輸出的各子文本的子特征數(shù)據(jù)作為子文本的中間特征信息；

41、基于各子文本的子特征數(shù)據(jù)，得到樣本描述文本的特征數(shù)據(jù)；

42、采用第二全連接層基于各文本編碼模塊提取的特征數(shù)據(jù)，得到樣本描述文本的文本特征信息；

43、基于樣本圖像的圖像特征信息和樣本描述文本的文本特征信息之間的余弦相似度，得到樣本圖像和樣本描述文本之間對應的圖文相似度。

44、因此，本實施例中通過多模態(tài)模型中的圖像編碼模塊和第一全連接層生成樣本圖像的圖像特征信息，通過文本編碼模塊和第二全連接層生成樣本描述文本的文本特征信息，進而基于圖像特征信息和文本特征信息之間的余弦相似度確定圖文相似度，提高圖文相似度的準確性；且將最后一個文本編碼模塊輸出的各子文本的子特征數(shù)據(jù)作為子文本的中間特征信息，將最后一個圖像編碼模塊輸出的各圖像塊的子特征圖作為圖像塊的中間特征信息，由于最后一個圖像編碼模塊/文本編碼模塊輸出的特征信息具有更深層次的語義信息，可以提高樣本圖像/樣本描述文本的可視性信息準確性。

45、本技術第二方面提供了一種可解釋性分析裝置，包括：

46、獲取模塊，用于獲取樣本圖像以及樣本圖像對應的樣本描述文本；樣本圖像包括多個圖像塊；樣本描述文本包括多個子文本；各圖像塊和各子文本分別在各通道維度上均具有對應的中間特征信息；

47、處理模塊，用于基于樣本圖像和樣本描述文本，確定樣本圖像與樣本描述文本之間對應的圖文相似度；

48、分析模塊，用于基于圖文相似度以及各局部信息在各通道維度上的中間特征信息，生成各局部信息的關注程度量化值；

49、生成模塊，用于基于各局部信息的關注程度量化值生成整體信息的可視化信息；其中，局部信息是由整體信息分割得到；當樣本圖像作為整體信息時，圖像塊作為局部信息；當樣本描述文本作為整體信息時，子文本作為局部信息。

50、本技術第三方面提供了一種電子設備，包括相互耦接的存儲器和處理器，處理器用于執(zhí)行存儲器中存儲的程序指令，以實現(xiàn)上述第一方面中的可解釋性分析方法中的步驟。

51、本技術第四方面提供了一種計算機可讀存儲介質，其上存儲有程序指令，程序指令被處理器執(zhí)行時實現(xiàn)上述第一方面中的可解釋性分析方法中的步驟。

52、上述第二方面至第四方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。

53、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，而非限制本技術。