本公開涉及聯(lián)邦學(xué)習(xí)，特別涉及一種面向非獨立同分布數(shù)據(jù)的聯(lián)邦學(xué)習(xí)控制方法、系統(tǒng)和計算機可讀介質(zhì)。

背景技術(shù)：

1、聯(lián)邦學(xué)習(xí)(federated?learning)在面向非獨立同分布數(shù)據(jù)(non-independentand?identically?distributed，簡稱non-iid)場景時會表現(xiàn)出模型精度的下降的問題。大量文獻表明導(dǎo)致這一現(xiàn)象的主要原因之一是：參與聯(lián)邦學(xué)習(xí)的各客戶端在基于各自批樣本(可看作是將完整的數(shù)據(jù)集劃分為多個數(shù)據(jù)異構(gòu)(非獨立同分布)的批樣本，也稱為mini-batch樣本)來對自身的神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練過程中，因數(shù)據(jù)分布差異而導(dǎo)致不同神經(jīng)網(wǎng)絡(luò)模型中批歸一化(batch?normalization，簡稱bn)層訓(xùn)練時的參數(shù)會有顯著偏差，即至少部分神經(jīng)網(wǎng)絡(luò)模型中bn層的參數(shù)會與采用集中式訓(xùn)練(集中式訓(xùn)練可以反應(yīng)完整樣本數(shù)據(jù)的特性)的神經(jīng)網(wǎng)絡(luò)模型中bn層的參數(shù)存在明顯偏差；當(dāng)這些局部神經(jīng)網(wǎng)絡(luò)模型被聚合到全局模型時，這種偏差會導(dǎo)致聯(lián)邦學(xué)習(xí)全局模型性能下降。

技術(shù)實現(xiàn)思路

1、本公開旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，提出了一種面向非獨立同分布數(shù)據(jù)的聯(lián)邦學(xué)習(xí)控制方法、系統(tǒng)和計算機可讀介質(zhì)。

2、第一方面，本公開提供了一種面向非獨立同分布數(shù)據(jù)的聯(lián)邦學(xué)習(xí)控制方法，包括：

3、將批樣本輸入至神經(jīng)網(wǎng)絡(luò)模型，以供所述神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，其中所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練包括反向傳播訓(xùn)練，所述神經(jīng)網(wǎng)絡(luò)模型包括依次設(shè)置的多層功能層，所述多層功能層包括：批歸一化層；

4、響應(yīng)于在反向傳播訓(xùn)練中所述批歸一化層根據(jù)自身輸出數(shù)據(jù)的偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層中方差參量的偏導(dǎo)數(shù)，控制所述批歸一化層暫停進行反向傳播訓(xùn)練，并將所述方差參量的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的方差參量的偏導(dǎo)數(shù)進行聚合處理得到方差參量的全局偏導(dǎo)數(shù)；

5、接收中心服務(wù)器所發(fā)送的方差參量的全局偏導(dǎo)數(shù)，并將所述批歸一化層中方差參量的偏導(dǎo)數(shù)更新為所述方差參量的全局偏導(dǎo)數(shù)，以及控制所述批歸一化層繼續(xù)進行后續(xù)反向傳播訓(xùn)練；

6、響應(yīng)于所述批歸一化層根據(jù)所述方差參量的全局偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層中均值參量的偏導(dǎo)數(shù)，控制所述批歸一化層暫停進行反向傳播訓(xùn)練，并將所述均值參量的偏導(dǎo)數(shù)發(fā)送至所述中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的均值參量的偏導(dǎo)數(shù)進行聚合處理得到均值參量的全局偏導(dǎo)數(shù)；

7、接收中心服務(wù)器所發(fā)送的均值參量的全局偏導(dǎo)數(shù)，并將所述批歸一化層中均值參量的偏導(dǎo)數(shù)更新為所述均值參量的全局偏導(dǎo)數(shù)，以及控制所述批歸一化層繼續(xù)進行后續(xù)反向傳播訓(xùn)練，以供所述批歸一化層根據(jù)所述方差參量的全局偏導(dǎo)數(shù)和所述均值參量的全局偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層的輸入數(shù)據(jù)的偏導(dǎo)數(shù)。

8、在一些實施例中，所述方差參量的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述方差參量的偏導(dǎo)數(shù)的平均值；

9、所述均值參量的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述均值參量的偏導(dǎo)數(shù)的平均值。

10、在一些實施例中，響應(yīng)于在反向傳播訓(xùn)練中所述批歸一化層通過反向傳播計算得到批歸一化縮放因子的偏導(dǎo)數(shù)，將所述批歸一化縮放因子的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的批歸一化縮放因子的偏導(dǎo)數(shù)進行聚合處理得到批歸一化縮放因子的全局偏導(dǎo)數(shù)；

11、接收中心服務(wù)器所發(fā)送的批歸一化縮放因子的全局偏導(dǎo)數(shù)，并將所述批歸一化層中批歸一化縮放因子的偏導(dǎo)數(shù)更新為所述批歸一化縮放因子的全局偏導(dǎo)數(shù)；

12、和/或，響應(yīng)于反向傳播訓(xùn)練中所述批歸一化層通過反向傳播計算得到批歸一化偏置因子的偏導(dǎo)數(shù)，將所述批歸一化偏置因子的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的批歸一化偏置因子的偏導(dǎo)數(shù)進行聚合處理得到批歸一化偏置因子的全局偏導(dǎo)數(shù)；

13、接收中心服務(wù)器所發(fā)送的批歸一化偏置因子的全局偏導(dǎo)數(shù)，并將所述批歸一化層中批歸一化偏置因子的偏導(dǎo)數(shù)更新為所述批歸一化偏置因子的全局偏導(dǎo)數(shù)。

14、在一些實施例中，所述多層功能層還包括：全連接層，在將批樣本輸入至神經(jīng)網(wǎng)絡(luò)模型的步驟之后，還包括：

15、響應(yīng)于反向傳播訓(xùn)練中所述全連接層通過反向傳播計算得到全連接權(quán)重參數(shù)的偏導(dǎo)數(shù)，將所述全連接權(quán)重參數(shù)的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的全連接權(quán)重參數(shù)的偏導(dǎo)數(shù)進行聚合處理得到全連接權(quán)重參數(shù)的全局偏導(dǎo)數(shù)；

16、接收中心服務(wù)器所發(fā)送的全連接權(quán)重參數(shù)的全局偏導(dǎo)數(shù)，并將所述全連接層中全連接權(quán)重參數(shù)的偏導(dǎo)數(shù)更新為所述全連接權(quán)重參數(shù)的全局偏導(dǎo)數(shù)；

17、和/或，響應(yīng)于反向傳播訓(xùn)練中所述全連接層通過反向傳播計算得到全連接偏置參數(shù)的偏導(dǎo)數(shù)，將所述全連接偏置參數(shù)的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的全連接偏置參數(shù)的偏導(dǎo)數(shù)進行聚合處理得到全連接偏置參數(shù)的全局偏導(dǎo)數(shù)；

18、接收中心服務(wù)器所發(fā)送的全連接偏置參數(shù)的全局偏導(dǎo)數(shù)，并將所述全連接層中全連接偏置參數(shù)的偏導(dǎo)數(shù)更新為所述全連接偏置參數(shù)的全局偏導(dǎo)數(shù)。

19、在一些實施例中，所述全連接權(quán)重參數(shù)的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述全連接權(quán)重參數(shù)的偏導(dǎo)數(shù)的總和；

20、所述全連接偏置參數(shù)的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述全連接偏置參數(shù)的偏導(dǎo)數(shù)的總和。

21、在一些實施例中，所述多層功能層還包括：卷積層，在將批樣本輸入至神經(jīng)網(wǎng)絡(luò)模型的步驟之后，還包括：

22、響應(yīng)于反向傳播訓(xùn)練中所述卷積層通過反向傳播計算得到卷積權(quán)重參數(shù)的偏導(dǎo)數(shù)，將所述卷積權(quán)重參數(shù)的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的卷積權(quán)重參數(shù)的偏導(dǎo)數(shù)進行聚合處理得到卷積權(quán)重參數(shù)的全局偏導(dǎo)數(shù)；

23、接收中心服務(wù)器所發(fā)送的卷積權(quán)重參數(shù)的全局偏導(dǎo)數(shù)，并將所述卷積層中卷積權(quán)重參數(shù)的偏導(dǎo)數(shù)更新為所述卷積權(quán)重參數(shù)的全局偏導(dǎo)數(shù)；

24、和/或，響應(yīng)于反向傳播訓(xùn)練中所述卷積層通過反向傳播計算得到卷積偏置參數(shù)的偏導(dǎo)數(shù)，將所述卷積偏置參數(shù)的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的卷積偏置參數(shù)的偏導(dǎo)數(shù)進行聚合處理得到卷積偏置參數(shù)的全局偏導(dǎo)數(shù)；

25、接收中心服務(wù)器所發(fā)送的卷積偏置參數(shù)的全局偏導(dǎo)數(shù)，并將所述卷積層中卷積偏置參數(shù)的偏導(dǎo)數(shù)更新為所述卷積偏置參數(shù)的全局偏導(dǎo)數(shù)。

26、在一些實施例中，所述卷積權(quán)重參數(shù)的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述卷積權(quán)重參數(shù)的偏導(dǎo)數(shù)的總和；

27、所述卷積偏置參數(shù)的全局偏導(dǎo)數(shù)等于參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的所述卷積偏置參數(shù)的偏導(dǎo)數(shù)的總和。

28、在一些實施例中，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練還包括正向傳播訓(xùn)練；

29、響應(yīng)于在正向傳播訓(xùn)練中所述批歸一化層正向傳播計算得到自身輸入數(shù)據(jù)的均值，控制所述批歸一化層暫停進行正向傳播訓(xùn)練，并將所述輸入數(shù)據(jù)的均值發(fā)送至所述中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的輸入數(shù)據(jù)的均值進行聚合處理得到輸入數(shù)據(jù)的全局均值；

30、接收中心服務(wù)器所發(fā)送的輸入數(shù)據(jù)的全局均值，并將所述批歸一化層中輸入數(shù)據(jù)的均值更新為所述輸入數(shù)據(jù)的全局均值，以及控制所述批歸一化層繼續(xù)進行后續(xù)正向傳播訓(xùn)練；

31、響應(yīng)于在正向傳播訓(xùn)練中所述批歸一化層根據(jù)所述輸入數(shù)據(jù)的全局均值正向傳播計算得到自身輸入數(shù)據(jù)的方差，控制所述批歸一化層暫停進行正向傳播訓(xùn)練，并將所述輸入數(shù)據(jù)的方差發(fā)送至所述中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的輸入數(shù)據(jù)的方差進行聚合處理得到輸入數(shù)據(jù)的全局方差；

32、接收中心服務(wù)器所發(fā)送的輸入數(shù)據(jù)的全局方差，并將所述批歸一化層中輸入數(shù)據(jù)的方差更新為所述輸入數(shù)據(jù)的全局方差，以及控制所述批歸一化層繼續(xù)進行后續(xù)正向傳播訓(xùn)練。

33、第二方面，本公開提供了一種面向非獨立同分布數(shù)據(jù)的聯(lián)邦學(xué)習(xí)控制系統(tǒng)，配置為能夠?qū)崿F(xiàn)如第一方面中提供的所述聯(lián)邦學(xué)習(xí)控制系統(tǒng)，所述聯(lián)邦學(xué)習(xí)控制系統(tǒng)包括：

34、輸入控制模塊，配置為將批樣本輸入至神經(jīng)網(wǎng)絡(luò)模型，以供所述神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，其中所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練包括反向傳播訓(xùn)練，所述神經(jīng)網(wǎng)絡(luò)模型包括依次設(shè)置的多層功能層，所述多層功能層包括：批歸一化層；

35、第一控制模塊，配置為響應(yīng)于在反向傳播訓(xùn)練中所述批歸一化層根據(jù)自身輸出數(shù)據(jù)的偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層中方差參量的偏導(dǎo)數(shù)，控制所述批歸一化層暫停進行反向傳播訓(xùn)練，并將所述方差參量的偏導(dǎo)數(shù)發(fā)送至中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的方差參量的偏導(dǎo)數(shù)進行聚合處理得到方差參量的全局偏導(dǎo)數(shù)；

36、第二控制模塊，配置為接收中心服務(wù)器所發(fā)送的方差參量的全局偏導(dǎo)數(shù)，并將所述批歸一化層中方差參量的偏導(dǎo)數(shù)更新為所述方差參量的全局偏導(dǎo)數(shù)，以及控制所述批歸一化層繼續(xù)進行后續(xù)反向傳播訓(xùn)練；

37、第三控制模塊，配置為響應(yīng)于所述批歸一化層根據(jù)所述方差參量的全局偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層中均值參量的偏導(dǎo)數(shù)，控制所述批歸一化層暫停進行反向傳播訓(xùn)練，并將所述均值參量的偏導(dǎo)數(shù)發(fā)送至所述中心服務(wù)器，以供所述中心服務(wù)器根據(jù)參與聯(lián)邦學(xué)習(xí)的各客戶端所發(fā)送的均值參量的偏導(dǎo)數(shù)進行聚合處理得到均值參量的全局偏導(dǎo)數(shù)；

38、第四控制模塊，配置為接收中心服務(wù)器所發(fā)送的均值參量的全局偏導(dǎo)數(shù)，并將所述批歸一化層中均值參量的偏導(dǎo)數(shù)更新為所述均值參量的全局偏導(dǎo)數(shù)，以及控制所述批歸一化層繼續(xù)進行后續(xù)反向傳播訓(xùn)練，以供所述批歸一化層根據(jù)所述方差參量的全局偏導(dǎo)數(shù)和所述均值參量的全局偏導(dǎo)數(shù)反向傳播計算得到所述批歸一化層的輸入數(shù)據(jù)的偏導(dǎo)數(shù)。

39、第三方面，本公開提供了一種計算機可讀介質(zhì)，所述計算機可讀介質(zhì)上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中提供的所述聯(lián)邦學(xué)習(xí)控制方法中的步驟。