本發(fā)明屬于拆分學(xué)習(xí)對(duì)抗干擾領(lǐng)域，具體涉及一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法及裝置。

背景技術(shù)：

1、拆分學(xué)習(xí)(split?learning)是一種隱私保護(hù)和數(shù)據(jù)安全的機(jī)器學(xué)習(xí)方法，旨在保持?jǐn)?shù)據(jù)在本地的同時(shí)進(jìn)行模型訓(xùn)練。這種方法允許在不共享原始數(shù)據(jù)的情況下，獲得模型更新。其核心概念是將模型分成兩部分：一個(gè)稱為"用戶"(client)，另一個(gè)稱為"服務(wù)器"(server)。通常來(lái)說(shuō)，用戶掌握模型的前一部分，服務(wù)器掌握模型的后續(xù)部分，以lenet-5模型為例，模型的主干包括兩層卷積層和三層線性層，拆分的方式可以是：用戶只掌握第一層卷積層，服務(wù)器掌握第二層卷積層和后續(xù)的線性層，以此在實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)的同時(shí)，大幅減小用戶的算力負(fù)擔(dān)。

2、拆分學(xué)習(xí)采用數(shù)據(jù)本地化、加密通信和安全計(jì)算的方式，在數(shù)據(jù)隱私保護(hù)方面確實(shí)有一定的優(yōu)勢(shì)，但也存在一些潛在的安全風(fēng)險(xiǎn)；當(dāng)拆分學(xué)習(xí)的模型在受到外部因素干擾時(shí)，其對(duì)應(yīng)的訓(xùn)練結(jié)果難免會(huì)受到影響，使得模型的性能降低；因此在得到拆分學(xué)習(xí)的模型后，有必要對(duì)拆分學(xué)習(xí)的模型進(jìn)行抗干擾測(cè)試。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法及裝置。本發(fā)明要解決的技術(shù)問(wèn)題通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

2、第一方面，本發(fā)明提供了一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，所述方法包括：

3、獲取預(yù)先利用拆分學(xué)習(xí)方法訓(xùn)練得到的初始模型；

4、利用增加參數(shù)擾動(dòng)后的拆分學(xué)習(xí)方法，重新訓(xùn)練得到更新模型；其中，所述增加參數(shù)擾動(dòng)后的拆分學(xué)習(xí)方法在所述拆分學(xué)習(xí)方法的訓(xùn)練過(guò)程中，由擾動(dòng)者偽裝成用戶，在對(duì)訓(xùn)練隊(duì)列中下一個(gè)用戶進(jìn)行參數(shù)共享之前，對(duì)本地模型的參數(shù)進(jìn)行擾動(dòng)處理；

5、利用所述更新模型得到所述初始模型的抗干擾測(cè)試結(jié)果。

6、在本發(fā)明的一個(gè)實(shí)施例中，利用拆分學(xué)習(xí)方法訓(xùn)練得到初始模型的過(guò)程，包括：

7、訓(xùn)練隊(duì)列中的當(dāng)前用戶，基于持有的本地模型對(duì)本地?cái)?shù)據(jù)進(jìn)行處理，得到中間數(shù)據(jù)；

8、服務(wù)器利用持有的當(dāng)前中心模型對(duì)當(dāng)前用戶對(duì)應(yīng)的中間數(shù)據(jù)進(jìn)行運(yùn)算，得到對(duì)應(yīng)的梯度；根據(jù)當(dāng)前用戶對(duì)應(yīng)的梯度對(duì)當(dāng)前中心模型的參數(shù)進(jìn)行更新，更新后的中心模型用于處理下一個(gè)用戶對(duì)應(yīng)的中間數(shù)據(jù)；

9、當(dāng)前用戶根據(jù)對(duì)應(yīng)的梯度，對(duì)當(dāng)前的本地模型的參數(shù)進(jìn)行更新，以完成當(dāng)前用戶與所述服務(wù)器的訓(xùn)練，并將更新后的本地模型的參數(shù)共享至所述訓(xùn)練隊(duì)列中下一個(gè)用戶；

10、在所述訓(xùn)練隊(duì)列中所有用戶分別與所述服務(wù)器進(jìn)行訓(xùn)練后，得到所述初始模型。

11、在本發(fā)明的一個(gè)實(shí)施例中，訓(xùn)練隊(duì)列中的當(dāng)前用戶，基于持有的本地模型對(duì)本地?cái)?shù)據(jù)進(jìn)行處理，得到中間數(shù)據(jù)，包括：

12、若訓(xùn)練隊(duì)列中的當(dāng)前用戶是所述訓(xùn)練隊(duì)列中的第一個(gè)用戶，根據(jù)當(dāng)前用戶持有的本地模型對(duì)本地?cái)?shù)據(jù)進(jìn)行處理，得到中間數(shù)據(jù)；

13、否則，當(dāng)前用戶根據(jù)所述訓(xùn)練隊(duì)列中上一個(gè)用戶共享的本地模型的參數(shù)，對(duì)當(dāng)前用戶持有的本地模型進(jìn)行更新，根據(jù)更新后的本地模型對(duì)所述本地?cái)?shù)據(jù)進(jìn)行處理，得到所述中間數(shù)據(jù)。

14、在本發(fā)明的一個(gè)實(shí)施例中，服務(wù)器利用持有的當(dāng)前中心模型對(duì)當(dāng)前用戶對(duì)應(yīng)的中間數(shù)據(jù)進(jìn)行運(yùn)算，得到對(duì)應(yīng)的梯度，包括：

15、所述服務(wù)器利用持有的當(dāng)前中心模型對(duì)當(dāng)前用戶對(duì)應(yīng)的中間數(shù)據(jù)進(jìn)行前向傳播，計(jì)算得到損失函數(shù)值，根據(jù)所述損失函數(shù)值得到對(duì)應(yīng)的梯度。

16、在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)當(dāng)前用戶對(duì)應(yīng)的梯度對(duì)當(dāng)前中心模型的參數(shù)進(jìn)行更新，包括：

17、所述服務(wù)器利用反向傳播的方式，根據(jù)當(dāng)前用戶對(duì)應(yīng)的梯度對(duì)當(dāng)前中心模型的參數(shù)進(jìn)行更新。

18、在本發(fā)明的一個(gè)實(shí)施例中，由擾動(dòng)者偽裝成用戶，在對(duì)訓(xùn)練隊(duì)列中下一個(gè)用戶進(jìn)行參數(shù)共享之前，對(duì)本地模型的參數(shù)進(jìn)行擾動(dòng)處理的過(guò)程，包括：

19、所述擾動(dòng)者偽裝成所述訓(xùn)練隊(duì)列中的用戶與所述服務(wù)器進(jìn)行訓(xùn)練，在對(duì)當(dāng)前的本地模型的參數(shù)進(jìn)行更新后，利用預(yù)設(shè)干擾函數(shù)對(duì)更新后的本地模型的參數(shù)進(jìn)行擾動(dòng)處理，得到擾動(dòng)后的參數(shù)，并將所述擾動(dòng)后的參數(shù)共享發(fā)送給所述訓(xùn)練隊(duì)列中的下一個(gè)用戶。

20、在本發(fā)明的一個(gè)實(shí)施例中，預(yù)設(shè)干擾函數(shù)的表達(dá)式為mp＝bp-β×f(bp)；其中，mp表示所述擾動(dòng)后的參數(shù)，bp表示所述更新后的本地模型的參數(shù)，β表示擾動(dòng)強(qiáng)度，f(bp)表示擾動(dòng)函數(shù)。

21、在本發(fā)明的一個(gè)實(shí)施例中，擾動(dòng)函數(shù)f(bp)的表達(dá)式為f(bp)＝sign(bp)or?unit(bp)；其中，or表示邏輯運(yùn)算中的或操作，||?||2表示l2范數(shù)。

22、在本發(fā)明的一個(gè)實(shí)施例中，利用所述更新模型得到所述初始模型的抗干擾測(cè)試結(jié)果，包括：

23、將所述更新模型的訓(xùn)練結(jié)果和所述初始模型的訓(xùn)練結(jié)果進(jìn)行對(duì)比，得到所述初始模型的抗干擾測(cè)試結(jié)果。

24、第二方面，本發(fā)明提供了一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試裝置，包括：

25、初始模型獲取模塊，用于利用拆分學(xué)習(xí)方法訓(xùn)練得到初始模型；

26、更新模型獲取模塊，用于利用增加參數(shù)擾動(dòng)后的拆分學(xué)習(xí)方法，重新訓(xùn)練得到更新模型；

27、測(cè)試模塊，用于利用所述更新模型得到所述初始模型的抗干擾測(cè)試結(jié)果。

28、本發(fā)明的有益效果：

29、本發(fā)明所提供的測(cè)試方案中，深入探究參數(shù)共享這一信息交互過(guò)程。利用該信息交互過(guò)程的獨(dú)有特征，將干擾者偽裝成用戶，對(duì)用戶持有的模型中的參數(shù)進(jìn)行擾動(dòng)處理，得到更新模型，利用更新模型得到初始模型的抗干擾測(cè)試結(jié)果；相應(yīng)的實(shí)驗(yàn)結(jié)果表明，本發(fā)明所設(shè)計(jì)的測(cè)試方法對(duì)多個(gè)類型的卷積神經(jīng)網(wǎng)絡(luò)和圖片類數(shù)據(jù)集均適用，且干擾效果顯著，從而提高了初始模型的抗干擾測(cè)試結(jié)果的準(zhǔn)確性。

技術(shù)特征：

1.一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，利用拆分學(xué)習(xí)方法訓(xùn)練得到初始模型的過(guò)程，包括：

3.根據(jù)權(quán)利要求2所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述訓(xùn)練隊(duì)列中的當(dāng)前用戶，基于持有的本地模型對(duì)本地?cái)?shù)據(jù)進(jìn)行處理，得到中間數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求2所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述服務(wù)器利用持有的當(dāng)前中心模型對(duì)當(dāng)前用戶對(duì)應(yīng)的中間數(shù)據(jù)進(jìn)行運(yùn)算，得到對(duì)應(yīng)的梯度，包括：

5.根據(jù)權(quán)利要求2所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述根據(jù)當(dāng)前用戶對(duì)應(yīng)的梯度對(duì)當(dāng)前中心模型的參數(shù)進(jìn)行更新，包括：

6.根據(jù)權(quán)利要求2所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述由擾動(dòng)者偽裝成用戶，在對(duì)訓(xùn)練隊(duì)列中下一個(gè)用戶進(jìn)行參數(shù)共享之前，對(duì)本地模型的參數(shù)進(jìn)行擾動(dòng)處理的過(guò)程，包括：

7.根據(jù)權(quán)利要求6所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述預(yù)設(shè)干擾函數(shù)的表達(dá)式為mp＝bp-β×f(bp)；其中，mp表示所述擾動(dòng)后的參數(shù)，bp表示所述更新后的本地模型的參數(shù)，β表示擾動(dòng)強(qiáng)度，f(bp)表示擾動(dòng)函數(shù)。

8.根據(jù)權(quán)利要求7所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，所述擾動(dòng)函數(shù)f(bp)的表達(dá)式為f(bp)＝sign(bp)or?unit(bp)；其中，or表示邏輯運(yùn)算中的或操作，||?||2表示l2范數(shù)。

9.根據(jù)權(quán)利要求1所述的一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法，其特征在于，利用所述更新模型得到所述初始模型的抗干擾測(cè)試結(jié)果，包括：

10.一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于參數(shù)擾動(dòng)的拆分學(xué)習(xí)模型測(cè)試方法及裝置，所述方法包括：獲取預(yù)先利用拆分學(xué)習(xí)方法訓(xùn)練得到的初始模型；利用增加參數(shù)擾動(dòng)后的拆分學(xué)習(xí)方法，重新訓(xùn)練得到更新模型；其中，增加參數(shù)擾動(dòng)后的拆分學(xué)習(xí)方法在拆分學(xué)習(xí)方法的訓(xùn)練過(guò)程中，由擾動(dòng)者偽裝成用戶，在對(duì)訓(xùn)練隊(duì)列中下一個(gè)用戶進(jìn)行參數(shù)共享之前，對(duì)本地模型的參數(shù)進(jìn)行擾動(dòng)處理；利用更新模型得到初始模型的抗干擾測(cè)試結(jié)果。本發(fā)明深入探究參數(shù)共享的信息交互過(guò)程。利用該信息交互過(guò)程的獨(dú)有特征，將干擾者偽裝成用戶，對(duì)用戶持有的模型中的參數(shù)進(jìn)行擾動(dòng)處理，得到更新模型，將更新模型的訓(xùn)練結(jié)果與初始模型的訓(xùn)練結(jié)果進(jìn)行對(duì)比，得到初始模型的抗干擾測(cè)試結(jié)果。

技術(shù)研發(fā)人員：肖陽(yáng),呂碩,裴慶祺,趙搏文,周路,馮杰
受保護(hù)的技術(shù)使用者：西安電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21