本技術(shù)涉及人工智能領(lǐng)域，尤其涉及一種預(yù)訓(xùn)練模型的攻擊檢測方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、目前，人工智能模型已經(jīng)在越來越多領(lǐng)域中的復(fù)雜現(xiàn)實世界任務(wù)里展示了其強(qiáng)大的能力，其中包括許多安全關(guān)鍵型的應(yīng)用場景，例如自動駕駛、醫(yī)療診斷、身份驗證等。由于人工智能模型的訓(xùn)練通常會有很高的計算開銷并需要大量數(shù)據(jù)，因此常見的做法是獲取預(yù)訓(xùn)練模型并在用戶的下游任務(wù)上進(jìn)行微調(diào)。

2、而在推薦系統(tǒng)領(lǐng)域，預(yù)訓(xùn)練模型也取得了巨大的進(jìn)步。統(tǒng)一的預(yù)訓(xùn)練推薦模型，可以用于不同的下游推薦任務(wù)。盡管有了這些進(jìn)展，經(jīng)典推薦系統(tǒng)的漏洞也以一種新形式存在于預(yù)訓(xùn)練推薦中，因此預(yù)訓(xùn)練推薦模型的安全性仍未被探索，這可能會威脅到其廣泛的實際應(yīng)用。

3、因此此急需可以檢測預(yù)訓(xùn)練模型中存在攻擊的技術(shù)。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種預(yù)訓(xùn)練模型的攻擊檢測方法、裝置、設(shè)備和存儲介質(zhì)，用于檢測預(yù)訓(xùn)練模型是否存在后門攻擊，從而保證預(yù)訓(xùn)練模型的安全運行。

2、有鑒于此，本技術(shù)一方面提供一種預(yù)訓(xùn)練模型的攻擊檢測方法，包括：根據(jù)應(yīng)用平臺的第一訓(xùn)練樣本集訓(xùn)練得到第一模型；將該應(yīng)用平臺的測試樣本集輸入該第一模型得到該測試樣本集中各個物品的第一指標(biāo)集合，并將該測試樣本集輸入第二模型得到該測試樣本集中各個物品的第二指標(biāo)集合，其中，該第二模型為第三方提供的預(yù)訓(xùn)練模型，該第一指標(biāo)集合和該第二指標(biāo)集合中包括具有相同的指標(biāo)類型；根據(jù)該第一指標(biāo)集合和該第二指標(biāo)集合對該測試樣本集中的各個物品進(jìn)行分類得到至少兩個分類集合，該至少兩個分類集合至少包括正常集合和異常集合；根據(jù)該異常集合確定該第二模型存在異常攻擊。

3、本技術(shù)另一方面提供一種預(yù)訓(xùn)練模型的攻擊檢測裝置，包括：訓(xùn)練模塊，用于根據(jù)應(yīng)用平臺的第一訓(xùn)練樣本集訓(xùn)練得到第一模型；

4、處理模塊，用于將該應(yīng)用平臺的測試樣本集輸入該第一模型得到該測試樣本集中各個物品的第一指標(biāo)集合，并將該測試樣本集輸入第二模型得到該測試樣本集中各個物品的第二指標(biāo)集合，其中，該第二模型為第三方提供的預(yù)訓(xùn)練模型，該第一指標(biāo)集合和該第二指標(biāo)集合中包括具有相同的指標(biāo)類型；

5、聚類模塊，用于根據(jù)該第一指標(biāo)集合和該第二指標(biāo)集合對該測試樣本集中的各個物品進(jìn)行分類得到至少兩個分類集合，該至少兩個分類集合至少包括正常集合和異常集合；

6、該處理模塊，還用于根據(jù)該異常集合確定該第二模型存在異常攻擊。

7、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該聚類模塊，具體用于獲取所第一指標(biāo)集合和該第二指標(biāo)集合中各個相同類型的指標(biāo)之間的差異值，并獲取該差異值的嵌入表示；

8、將該嵌入表示輸入聚類模型得到該測試樣本集中的各個物品的至少兩個分類集合，其中該正常集合的差異值小于該異常集合的差異值。

9、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該聚類模塊，具體用于將該嵌入表示輸入k-means模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合；

10、或者，

11、該聚類模塊，具體用于將該嵌入表示輸入系統(tǒng)聚類模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合；

12、或者，

13、該聚類模塊，具體用于將該嵌入表示輸入基于密度的噪聲應(yīng)用空間聚類(density-based?spatial?clustering?of?applications?with?noise，dbscan)模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合。

14、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該第一指標(biāo)集合和該第二指標(biāo)集合中的指標(biāo)類型包括但不限于hr、ndcg和auc，其中hr用于指示推薦列表中正確推薦的比例，ndcg用于指示推薦列表中推薦物品的相關(guān)性和排序質(zhì)量的度量，auc用于度量二分類模型性能的指標(biāo)。

15、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該第一指標(biāo)集合中的各類指標(biāo)均為平均值，該第二指標(biāo)中的各類指標(biāo)均為平均值。

16、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該裝置還包括獲取模塊，用于獲取第二訓(xùn)練樣本集和推薦模型，該第二訓(xùn)練樣本集為該第三方提供的訓(xùn)練樣本集，該第二訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；獲取該第二訓(xùn)練樣本集中的真實物品對應(yīng)的第一物品集，該第一物品集中每個物品與該真實物品之間的第一相似性度量滿足第一閾值；

17、該處理模塊，還用于利用該第一物品集和該第二訓(xùn)練樣本集中生成第三訓(xùn)練樣本集，該第三訓(xùn)練樣本集中包括由該第一物品集中的物品替換該真實物品生成的虛假行為序列；

18、該訓(xùn)練模塊，還用于利用該第三訓(xùn)練樣本集訓(xùn)練該推薦模型得到該第二模型。

19、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該獲取模塊，還用于獲取第四訓(xùn)練樣本集和初始模型，該第四訓(xùn)練樣本集為該第三方提供的訓(xùn)練樣本集，該第四訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；

20、該訓(xùn)練模塊，還用于利用該第四訓(xùn)練樣本集訓(xùn)練該初始模型得到第三模型；

21、該獲取模塊，還用于獲取第五訓(xùn)練樣本集，該第五訓(xùn)練樣本集為該第三方提供的訓(xùn)練樣本集，該第五訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；

22、該訓(xùn)練模塊，還用于固定該第三模型的網(wǎng)絡(luò)參數(shù)，并利用該第五訓(xùn)練樣本集對該第三模型進(jìn)行提示學(xué)習(xí)得到提示模型，此時該第三模型和該提示模型作為該推薦模型。

23、本技術(shù)另一方面提供一種預(yù)訓(xùn)練模型的攻擊方法，包括：獲取第一訓(xùn)練樣本集和初始模型，該第一訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；獲取該第一訓(xùn)練樣本集中的真實物品對應(yīng)的第一物品集，該第一物品集中每個物品與該真實物品之間的第一相似性度量滿足第一閾值；利用該第一物品集和該第一訓(xùn)練樣本集中生成第二訓(xùn)練樣本集，該第二訓(xùn)練樣本集中包括由該第一物品集中的物品替換該真實物品生成的虛假行為序列；利用該第二訓(xùn)練樣本集訓(xùn)練該初始模型得到預(yù)訓(xùn)練模型。

24、本技術(shù)另一方面提供一種預(yù)訓(xùn)練模型的攻擊裝置，包括：獲取模塊，用于獲取第一訓(xùn)練樣本集和初始模型，該第一訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；獲取該第一訓(xùn)練樣本集中的真實物品對應(yīng)的第一物品集，該第一物品集中每個物品與該真實物品之間的第一相似性度量滿足第一閾值；

25、處理模塊，用于利用該第一物品集和該第一訓(xùn)練樣本集中生成第二訓(xùn)練樣本集，該第二訓(xùn)練樣本集中包括由該第一物品集中的物品替換該真實物品生成的虛假行為序列；

26、訓(xùn)練模塊，用于利用該第二訓(xùn)練樣本集訓(xùn)練該初始模型得到預(yù)訓(xùn)練模型。

27、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該處理模塊，具體用于利用第一隨機(jī)概率確定該第一訓(xùn)練樣本集中的第一真實行為序列是否進(jìn)行物品替換；

28、在確定該第一真實行為序列進(jìn)行物品替換時，從該第一物品集中隨機(jī)選擇一個物品替換該第一真實行為序列對應(yīng)的真實物品生成第一虛假行為序列，并將該第一虛個行為序列歸于該第二訓(xùn)練樣本集；

29、在確定該第一真實行為序列不進(jìn)行物品替換時，將該第一真實行為序列歸于該第二訓(xùn)練樣本集；

30、重復(fù)上述操作，直至遍歷該第一訓(xùn)練樣本集中的真實行為序列得到該第二訓(xùn)練樣本集。

31、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該處理模塊，還用于調(diào)整該第一隨機(jī)概率至第二隨機(jī)概率。

32、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該處理模塊，還用于調(diào)整該第一物品集中每個物品與該真實物品之間的第一相似性度量至第二相似性度量，該第二相似性度量滿足第二閾值。

33、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該獲取模塊，還用于獲取第三訓(xùn)練樣本集和基礎(chǔ)模型，該第三訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；

34、該訓(xùn)練模塊，還用于利用該第三訓(xùn)練樣本集訓(xùn)練該基礎(chǔ)模型得到第一模型；

35、該獲取模塊，還用于獲取第四訓(xùn)練樣本集，該第四訓(xùn)練樣本集包括多個對象的真實行為序列和對應(yīng)的真實物品；

36、該訓(xùn)練模塊，還用于固定該第一模型的網(wǎng)絡(luò)參數(shù)，并利用該第四訓(xùn)練樣本集對該第一模型進(jìn)行提示學(xué)習(xí)得到提示模型，此時該第一模型和該提示模型作為該初始模型。

37、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該訓(xùn)練模塊，還用于根據(jù)應(yīng)用平臺的第五訓(xùn)練樣本集訓(xùn)練得到第二模型；

38、該處理模塊，還用于將該應(yīng)用平臺的測試樣本集輸入該第一模型得到該測試樣本集中各個物品的第一指標(biāo)集合，并將該測試樣本集輸入該預(yù)訓(xùn)練模型得到該測試樣本集中各個物品的第二指標(biāo)集合，該第一指標(biāo)集合和該第二指標(biāo)集合中包括具有相同的指標(biāo)類型；

39、該裝置還包括聚類模塊，用于根據(jù)該第一指標(biāo)集合和該第二指標(biāo)集合對該測試樣本集中的各個物品進(jìn)行分類得到至少兩個分類集合，該至少兩個分類集合至少包括正常集合和異常集合；

40、該處理模塊，還用于根據(jù)該異常集合確定該預(yù)訓(xùn)練模型存在異常攻擊。

41、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該聚類模塊，具體用于獲取所第一指標(biāo)集合和該第二指標(biāo)集合中各個相同類型的指標(biāo)之間的差異值，并獲取該差異值的嵌入表示；

42、將該嵌入表示輸入聚類模型得到該測試樣本集中的各個物品的至少兩個分類集合，其中該正常集合的差異值小于該異常集合的差異值。

43、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該聚類模塊，具體用于將該嵌入表示輸入k-means模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合；

44、或者，

45、該聚類模塊，具體用于將該嵌入表示輸入系統(tǒng)聚類模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合；

46、或者，

47、該聚類模塊，具體用于將該嵌入表示輸入dbscan模型對該測試樣本集中的各個物品進(jìn)行聚類得到該至少兩個分類集合。

48、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該第一指標(biāo)集合和該第二指標(biāo)集合中的指標(biāo)類型包括但不限于hr、ndcg和auc，其中hr用于指示推薦列表中正確推薦的比例，ndcg用于指示推薦列表中推薦物品的相關(guān)性和排序質(zhì)量的度量，auc用于度量二分類模型性能的指標(biāo)。

49、在一種可能的設(shè)計中，在本技術(shù)實施例的另一方面的另一種實現(xiàn)方式中，該第一指標(biāo)集合中的各類指標(biāo)均為平均值，該第二指標(biāo)中的各類指標(biāo)均為平均值。

50、本技術(shù)另一方面提供一種計算機(jī)設(shè)備，包括：存儲器、處理器以及總線系統(tǒng)；

51、其中，存儲器用于存儲程序；

52、處理器用于執(zhí)行存儲器中的程序，處理器用于根據(jù)程序代碼中的指令執(zhí)行上述各方面的方法；

53、總線系統(tǒng)用于連接存儲器以及處理器，以使存儲器以及處理器進(jìn)行通信。

54、本技術(shù)的另一方面提供了一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)中存儲有指令，當(dāng)其在計算機(jī)上運行時，使得計算機(jī)執(zhí)行上述各方面的方法。

55、本技術(shù)的另一個方面，提供了一種計算機(jī)程序產(chǎn)品或計算機(jī)程序，該計算機(jī)程序產(chǎn)品或計算機(jī)程序包括計算機(jī)指令，該計算機(jī)指令存儲在計算機(jī)可讀存儲介質(zhì)中。計算機(jī)設(shè)備的處理器從計算機(jī)可讀存儲介質(zhì)讀取該計算機(jī)指令，處理器執(zhí)行該計算機(jī)指令，使得該計算機(jī)設(shè)備執(zhí)行上述各方面所提供的方法。

56、從以上技術(shù)方案可以看出，本技術(shù)實施例具有以下優(yōu)點：在相同測試樣本集的情況下，統(tǒng)計第一模型和第二模型分別對物品的推薦指標(biāo)；然后再根據(jù)該第一模型和第二模型之間的推薦指標(biāo)的差異對測試樣本集中物品進(jìn)行聚類分析。由于該第一模型為干凈訓(xùn)練樣本集訓(xùn)練得到的干凈模型，因此可以確認(rèn)該第一模型為該測試樣本集下的干凈指標(biāo)，若該第二模型計算得到的推薦指標(biāo)與該第一模型計算得到的推薦指標(biāo)存在較大差異，則說明第二模型存在攻擊，從而實現(xiàn)對該第二模型的攻擊檢測功能。