本申請涉及數據處理領域，尤其涉及網絡模型訓練方法、裝置、電子設備與存儲介質。

背景技術：

1、隨著計算機計算和存儲能力的快速發(fā)展，通過機器學習利用大規(guī)模數據來解決問題為科學研究和現實應用帶來了顯著的好處，因此機器學習被越來越多的應用于金融、醫(yī)療保健、商業(yè)等各個領域。為了避免在模型訓練時涉及到用戶隱私的問題，聯邦學習(federated?learning，fl)應運而生。

2、相關技術中，在聯邦學習的加權聚合過程中發(fā)現了全局權重收縮現象，通過額外的訓練集分別學習權重收縮因子和聚合權重。然而在聯邦學習框架中這樣的額外訓練集可能會引發(fā)數據隱私方面的問題，而且在現實應用中很難得到與測試數據分布一致的訓練集來進行訓練，額外訓練集獲取難度較高。

技術實現思路

1、本申請的主要目的在于提供一種網絡模型訓練方法、裝置、電子設備與存儲介質，旨在避免通過額外的訓練集來學習權重收縮因子和聚合權重，從而避免引發(fā)數據隱私方面的問題，以及避免額外訓練集的獲取。所述技術方案如下：

2、第一方面，本申請實施例提供了一種網絡模型訓練方法，包括：

3、向至少兩個客戶端發(fā)送網絡模型的第一全局模型參數，觸發(fā)各所述客戶端基于接收到的所述第一全局模型參數以及本地數據對網絡模型進行訓練，并將訓練后的客戶端模型參數返回至所述服務器，所述本地數據為攜帶有物種類別標識的圖像；

4、對接收到的多個所述客戶端模型參數進行聚合，基于聚合后的第二全局模型參數以及所述第一全局模型參數，確定全局梯度值；

5、獲取預設超參數以及全局學習率；

6、基于所述第一全局模型參數、所述全局梯度值、所述預設超參數以及所述全局學習率，確定第一收縮因子，所述第一收縮因子為客戶端模型參數對應的收縮因子；

7、基于所述第一收縮因子以及所述第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型，所述網絡模型用于對輸入的圖像中的內容進行物種類別預測。

8、第二方面，本申請實施例提供一種網絡模型訓練裝置，包括：

9、發(fā)送單元，向至少兩個客戶端發(fā)送網絡模型的第一全局模型參數，觸發(fā)各所述客戶端基于接收到的所述第一全局模型參數以及本地數據對網絡模型進行訓練，并將訓練后的客戶端模型參數返回至所述服務器，所述本地數據為攜帶有物種類別標識的圖像；

10、第一確定單元，用于對接收到的多個所述客戶端模型參數進行聚合，基于聚合后的第二全局模型參數以及所述第一全局模型參數，確定全局梯度值；

11、獲取單元，用于獲取預設超參數以及全局學習率；

12、第二確定單元，用于基于所述第一全局模型參數、所述全局梯度值、所述預設超參數以及所述全局學習率，確定第一收縮因子，所述第一收縮因子為客戶端模型參數對應的收縮因子；

13、權重收縮單元，用于基于所述第一收縮因子以及所述第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型，所述網絡模型用于對輸入的圖像中的內容進行物種類別預測。

14、第三方面，本申請實施例提供一種電子設備，所述電子設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現如上述方法的步驟。

15、第四方面，本申請實施例提供一種存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如上述方法的步驟。

16、在本申請實施例中，通過向至少兩個客戶端發(fā)送網絡模型的第一全局模型參數，觸發(fā)各所述客戶端基于接收到的所述第一全局模型參數以及本地數據對網絡模型進行訓練，并將訓練后的客戶端模型參數返回至所述服務器，所述本地數據為攜帶有物種類別標識的圖像；對接收到的多個所述客戶端模型參數進行聚合，基于聚合后的第二全局模型參數以及所述第一全局模型參數，確定全局梯度值；獲取預設超參數以及全局學習率；基于所述第一全局模型參數、所述全局梯度值、所述預設超參數以及所述全局學習率，確定第一收縮因子，所述第一收縮因子為客戶端模型參數對應的收縮因子；基于所述第一收縮因子以及所述第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型，所述網絡模型用于對輸入的圖像中的內容進行物種類別預測。通過計算第一收縮因子的方式從而實現對網絡模型的第一權重收縮，從而避免通過額外的訓練集來學習權重收縮因子和聚合權重，從而避免引發(fā)數據隱私方面的問題，以及避免額外訓練集的獲取。

技術特征：

1.一種網絡模型訓練方法，其特征在于，包括：

2.如權利要求1所述的方法，其特征在于，所述基于所述第一全局模型參數、所述全局梯度值、所述預設超參數以及所述全局學習率，確定第一收縮因子，包括：

3.如權利要求1或2任一項所述的方法，其特征在于，所述基于所述第一收縮因子以及所述第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型，包括：

4.如權利要求3所述的方法，其特征在于，在所述基于所述第一收縮因子以及所述第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型之后，還包括：

5.如權利要求4所述的方法，其特征在于，所述基于各所述網絡層對應的所述第一網絡層模型參數、對應的所述第二網絡層模型參數、所述預設超參數以及所述全局學習率，確定每一所述網絡層對應的第二收縮因子，包括：

6.如權利要求4或5任一項所述的方法，其特征在于，所述基于各所述網絡層對應的第二網絡層模型參數以及對應的第二收縮因子，對所述權重收縮后的網絡模型進行第二權重收縮，得到第二權重收縮后的網絡模型，包括：

7.如權利要求1所述的方法，其特征在于，所述基于聚合后的第二全局模型參數以及所述第一全局模型參數，確定全局梯度值，包括：

8.一種網絡模型訓練裝置，其特征在于，所述裝置包括：

9.一種電子設備，其特征在于，包括：處理器和存儲器；其中存儲器存儲有計算機程序，所述計算機程序適于由所述處理器加載并執(zhí)行如權利要求1至7中任一項所述方法的步驟。

10.一種存儲介質，所述存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現如權利要求1至7中任一項所述方法的步驟。

技術總結
本申請實施例提供一種網絡模型訓練方法、裝置、電子設備與存儲介質，方法包括：向至少兩個客戶端發(fā)送網絡模型的第一全局模型參數，觸發(fā)各客戶端基于接收到的第一全局模型參數以及本地數據對網絡模型進行訓練，并將訓練后的客戶端模型參數返回至服務器；對接收到的多個客戶端模型參數進行聚合，基于聚合后的第二全局模型參數以及第一全局模型參數，確定全局梯度值；基于第一全局模型參數、全局梯度值、預設超參數以及全局學習率，確定第一收縮因子，第一收縮因子為客戶端模型參數對應的收縮因子；基于第一收縮因子以及第二全局模型參數對網絡模型進行第一權重收縮，得到第一權重收縮后的網絡模型。

技術研發(fā)人員：常毅,石長隆,郭丹丹,李金夢,趙賀
受保護的技術使用者：吉林大學
技術研發(fā)日：
技術公布日：2024/10/21