本申請涉及人工智能，特別是指一種圖像分類方法、裝置及可讀存儲介質(zhì)。

背景技術(shù)：

1、基于大量人工標(biāo)注的有標(biāo)簽圖像訓(xùn)練多模態(tài)基礎(chǔ)模型是目前的主流方法，基于這種有監(jiān)督訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，域外(out-domain)泛化能力較差，當(dāng)分類標(biāo)準(zhǔn)發(fā)生改變時(shí)，如對商品廣告的界定范圍改變，會(huì)導(dǎo)致分類準(zhǔn)確率降低，要想使模型適應(yīng)新的標(biāo)準(zhǔn)，需要重新執(zhí)行數(shù)據(jù)收集與訓(xùn)練過程，而該數(shù)據(jù)收集與訓(xùn)練過程需要獲取大量人工標(biāo)注圖像，從而需要付出巨大的時(shí)間和人力成本，因此，在分類標(biāo)準(zhǔn)變化發(fā)生變化時(shí)，現(xiàn)有多模態(tài)基礎(chǔ)模型難以快速地與分類標(biāo)準(zhǔn)相適配。

技術(shù)實(shí)現(xiàn)思路

1、本申請的目的是提供一種圖像分類方法、裝置及可讀存儲介質(zhì)，以解決在分類標(biāo)準(zhǔn)變化發(fā)生變化時(shí)，現(xiàn)有多模態(tài)基礎(chǔ)模型難以快速地與分類標(biāo)準(zhǔn)相適配的問題。

2、本申請實(shí)施例提供了一種圖像分類方法，包括：

3、將待分類圖像和第一文本輸入至多模態(tài)基礎(chǔ)模型，得到所述待分類圖像對應(yīng)的第一圖像特征和所述第一文本對應(yīng)的第一文本特征，所述第一文本用于指示所述待分類圖像的圖像局部信息，且所述多模態(tài)基礎(chǔ)模型具有零樣本分類能力；

4、將所述第一圖像特征和所述第一文本特征輸入至目標(biāo)多層感知機(jī)模型，得到第一預(yù)測結(jié)果，所述第一預(yù)測結(jié)果包括所述目標(biāo)多層感知機(jī)模型預(yù)測的所述待分類圖像屬于n個(gè)預(yù)設(shè)圖像類別的概率，所述目標(biāo)多層感知機(jī)模型用于對第一圖像特征和第一文本特征進(jìn)行特征轉(zhuǎn)換、特征融合以及圖像分類處理，n為大于或等于1的整數(shù)；

5、根據(jù)所述第一預(yù)測結(jié)果，確定所述待分類圖像的圖像類別。

6、可選地，所述將所述第一圖像特征和所述第一文本特征輸入至目標(biāo)多層感知機(jī)模型，得到第一預(yù)測結(jié)果，包括：

7、將所述第一圖像特征輸入至所述目標(biāo)多層感知機(jī)模型的第一多層感知機(jī)，得到第二圖像特征，所述第一多層感知機(jī)用于對圖像特征進(jìn)行特征變換；

8、將所述第一文本特征輸入至所述目標(biāo)多層感知機(jī)模型的第二多層感知機(jī)，得到第二文本特征，所述第二多層感知機(jī)用于對文本特征進(jìn)行特征變換；

9、對所述第二圖像特征和所述第二文本特征進(jìn)行特征融合，得到融合特征；

10、將所述融合特征輸入至所述目標(biāo)多層感知機(jī)模型的第三多層感知機(jī)，得到所述第一預(yù)測結(jié)果，所述第三多層感知機(jī)是用于對融合特征進(jìn)行特征轉(zhuǎn)換和圖像分類處理的多層感知機(jī)。

11、可選地，所述第一文本包括n個(gè)預(yù)設(shè)圖像類別的名稱；

12、根據(jù)所述第一預(yù)測結(jié)果，確定所述待分類圖像的圖像類別，包括：

13、獲取所述第一圖像特征與所述第一文本特征的相似度；

14、根據(jù)所述相似度，確定第二預(yù)測結(jié)果，所述第二預(yù)測結(jié)果包括所述待分類圖像屬于n個(gè)預(yù)設(shè)圖像類別的概率；

15、根據(jù)所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果，確定所述待分類圖像的圖像類別。

16、可選地，根據(jù)所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果，確定所述待分類圖像的圖像類別，包括：

17、對所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果進(jìn)行線性加權(quán)處理，得到所述待分類圖像的圖像類別。

18、可選地，本申請實(shí)施例的方法，還包括：

19、根據(jù)訓(xùn)練數(shù)據(jù)以及損失函數(shù)，對所述目標(biāo)多層感知機(jī)模型的參數(shù)進(jìn)行更新，所述訓(xùn)練數(shù)據(jù)包括多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括圖像特征、文本特征以及圖像類別。

20、本申請實(shí)施例還提供了一種圖像分類裝置，包括：

21、第一獲取模塊，用于將待分類圖像和第一文本輸入至多模態(tài)基礎(chǔ)模型，得到所述待分類圖像對應(yīng)的第一圖像特征和所述第一文本對應(yīng)的第一文本特征，所述第一文本用于指示所述待分類圖像的圖像局部信息，且所述多模態(tài)基礎(chǔ)模型具有零樣本分類能力；

22、第二獲取模塊，用于將所述第一圖像特征和所述第一文本特征輸入至目標(biāo)多層感知機(jī)模型，得到第一預(yù)測結(jié)果，所述第一預(yù)測結(jié)果包括所述目標(biāo)多層感知機(jī)模型預(yù)測的所述待分類圖像屬于n個(gè)預(yù)設(shè)圖像類別的概率，所述目標(biāo)多層感知機(jī)模型用于對第一圖像特征和第一文本特征進(jìn)行特征轉(zhuǎn)換、特征融合以及圖像分類處理，n為大于或等于1的整數(shù)；

23、確定模塊，用于根據(jù)所述第一預(yù)測結(jié)果，確定所述待分類圖像的圖像類別。

24、可選地，所述第二獲取模塊包括：

25、第一確定子模塊，用于將所述第一圖像特征輸入至所述目標(biāo)多層感知機(jī)模型的第一多層感知機(jī)，得到第二圖像特征，所述第一多層感知機(jī)用于對圖像特征進(jìn)行特征變換；

26、第二確定子模塊，用于將所述第一文本特征輸入至所述目標(biāo)多層感知機(jī)模型的第二多層感知機(jī)，得到第二文本特征，所述第二多層感知機(jī)用于對文本特征進(jìn)行特征變換；

27、第三確定子模塊，用于對所述第二圖像特征和所述第二文本特征進(jìn)行特征融合，得到融合特征；

28、第四確定子模塊，用于將所述融合特征輸入至所述目標(biāo)多層感知機(jī)模型的第三多層感知機(jī)，得到所述第一預(yù)測結(jié)果，所述第三多層感知機(jī)是用于對融合特征進(jìn)行特征轉(zhuǎn)換和圖像分類處理的多層感知機(jī)。

29、可選地，所述第一文本包括n個(gè)預(yù)設(shè)圖像類別的名稱；

30、所述確定模塊包括：

31、第一獲取子模塊，用于獲取所述第一圖像特征與所述第一文本特征的相似度；

32、第五確定子模塊，用于根據(jù)所述相似度，確定第二預(yù)測結(jié)果，所述第二預(yù)測結(jié)果包括所述待分類圖像屬于n個(gè)預(yù)設(shè)圖像類別的概率；

33、第六確定子模塊，用于根據(jù)所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果，確定所述待分類圖像的圖像類別。

34、可選地，所述第六確定模塊用于：

35、對所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果進(jìn)行線性加權(quán)處理，得到所述待分類圖像的圖像類別。

36、可選地，本申請實(shí)施例的裝置，還包括：

37、更新模塊，用于根據(jù)訓(xùn)練數(shù)據(jù)以及損失函數(shù)，對所述目標(biāo)多層感知機(jī)模型的參數(shù)進(jìn)行更新，所述訓(xùn)練數(shù)據(jù)包括多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括圖像特征、文本特征以及圖像類別。

38、本申請實(shí)施例還提供了一種圖像分類設(shè)備，包括：收發(fā)器、處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序或指令；所述處理器執(zhí)行所述程序或指令時(shí)實(shí)現(xiàn)如上所述的圖像分類方法。

39、本申請實(shí)施例還提供了一種可讀存儲介質(zhì)，其上存儲有程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的圖像分類方法中的步驟。

40、本申請的上述技術(shù)方案的有益效果如下：

41、本申請實(shí)施例中，通過目標(biāo)多層感知機(jī)模型對多模態(tài)基礎(chǔ)模型輸出的特征進(jìn)行變換處理，以使多模態(tài)基礎(chǔ)模型輸出的特征能夠適用各種不同的分類場景，從而在分類標(biāo)準(zhǔn)發(fā)生變化時(shí)通過該目標(biāo)多層感知機(jī)模型使得圖像分類模型能夠快速地與分類標(biāo)準(zhǔn)相適配。

技術(shù)特征：

1.一種圖像分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述第一圖像特征和所述第一文本特征輸入至目標(biāo)多層感知機(jī)模型，得到第一預(yù)測結(jié)果，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一文本包括n個(gè)預(yù)設(shè)圖像類別的名稱；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述第一預(yù)測結(jié)果和所述第二預(yù)測結(jié)果，確定所述待分類圖像的圖像類別，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

6.一種圖像分類裝置，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二獲取模塊包括：

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第一文本包括n個(gè)預(yù)設(shè)圖像類別的名稱；

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第六確定子模塊用于：

10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

11.一種圖像分類設(shè)備，包括：收發(fā)器、處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序或指令；其特征在于，所述處理器執(zhí)行所述程序或指令時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的圖像分類方法。

12.一種可讀存儲介質(zhì)，其上存儲有程序或指令，其特征在于，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的圖像分類方法中的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N圖像分類方法、裝置及可讀存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域。該圖像分類方法包括：將待分類圖像和第一文本輸入至多模態(tài)基礎(chǔ)模型，得到待分類圖像對應(yīng)的第一圖像特征和第一文本對應(yīng)的第一文本特征，第一文本用于指示所述待分類圖像的圖像局部信息，且多模態(tài)基礎(chǔ)模型具有零樣本分類能力；將第一圖像特征和第一文本特征輸入至目標(biāo)多層感知機(jī)模型，得到第一預(yù)測結(jié)果，第一預(yù)測結(jié)果包括所述目標(biāo)多層感知機(jī)模型預(yù)測的所述待分類圖像屬于N個(gè)預(yù)設(shè)圖像類別的概率，目標(biāo)多層感知機(jī)模型用于對第一圖像特征和第一文本特征進(jìn)行特征轉(zhuǎn)換、特征融合以及圖像分類處理；根據(jù)所述第一預(yù)測結(jié)果，確定所述待分類圖像的圖像類別。

技術(shù)研發(fā)人員：李文強(qiáng),馮俊蘭,張鵬飛
受保護(hù)的技術(shù)使用者：中國移動(dòng)通信有限公司研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21