本發(fā)明涉及聯(lián)邦學(xué)習(xí)及大數(shù)據(jù)，尤其涉及一種算法組件互通的方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、聯(lián)邦學(xué)習(xí)(federated?learning)是一種分布式機(jī)器學(xué)習(xí)方法，它允許在多個(gè)本地設(shè)備上進(jìn)行模型訓(xùn)練，從而保護(hù)隱私并減少數(shù)據(jù)傳輸。通過該處理方式可以通過交互模型中間參數(shù)來進(jìn)行模型聯(lián)合訓(xùn)練，實(shí)現(xiàn)了數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)共享分析之間的平衡。

2、相關(guān)技術(shù)中，不同廠商研發(fā)得到了不同的聯(lián)邦學(xué)習(xí)平臺(tái)，這些聯(lián)邦學(xué)習(xí)平臺(tái)之間通常不能互相連通并且協(xié)作完成聯(lián)邦學(xué)習(xí)任務(wù)，從而當(dāng)不同的參與方之間一起協(xié)作開展聯(lián)邦學(xué)習(xí)項(xiàng)目時(shí)，存在由于各參與方部署的聯(lián)邦學(xué)習(xí)平臺(tái)不同導(dǎo)致各參與方之間無法進(jìn)行數(shù)據(jù)的連接與流通的問題。

3、例如，應(yīng)用廣泛的開源聯(lián)邦學(xué)習(xí)框架fate(federated?ai?technology?enabler)的核心聯(lián)邦訓(xùn)練部分的代碼通過python語言編寫，使用的算法組件也符合fate自定義的組件實(shí)現(xiàn)規(guī)范的python文件(組)。然而，很多其他的聯(lián)邦學(xué)習(xí)平臺(tái)中的算法組件會(huì)使用別的編程語言(如go、c++等)來編寫，并且以獨(dú)立進(jìn)程或是docker容器的形式運(yùn)行，這種算法組件無法被直接集成到fate之中，也就無法實(shí)現(xiàn)與fate之間的互聯(lián)互通。如果要按照fate自定義的組件實(shí)現(xiàn)規(guī)范，使用python語言重新編寫這種算法組件中的運(yùn)行代碼，工作量則會(huì)非常巨大，會(huì)導(dǎo)致算法組件運(yùn)行效率較差。如果這種算法組件基于其所使用的原始編程語言的特性做了很多性能上的優(yōu)化，改寫為python語言實(shí)現(xiàn)后則會(huì)導(dǎo)致算法組件性能的下降。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的在于，提供一種算法組件互通的方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種算法組件互通的方法，應(yīng)用于聯(lián)邦學(xué)習(xí)平臺(tái)的代理系統(tǒng)，所述代理系統(tǒng)包括平臺(tái)對(duì)接模塊和組件對(duì)接模塊，所述方法包括：

3、響應(yīng)于所述聯(lián)邦學(xué)習(xí)平臺(tái)的聯(lián)邦訓(xùn)練服務(wù)，通過所述平臺(tái)對(duì)接模塊在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)代理組件提供器，并啟動(dòng)所述組件對(duì)接模塊的實(shí)例進(jìn)程；

4、在所述組件對(duì)接模塊的實(shí)例進(jìn)程中注冊(cè)算法組件之后，通過所述組件對(duì)接模塊生成適用于所述聯(lián)邦學(xué)習(xí)平臺(tái)的代理組件，并在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)所述代理組件；

5、響應(yīng)于所述聯(lián)邦學(xué)習(xí)平臺(tái)對(duì)所述代理組件的獲取請(qǐng)求，通過所述代理組件提供器生成所述代理組件的代理類實(shí)例；

6、在所述代理組件的運(yùn)行過程中，通過所述代理組件的代理類實(shí)例的接口實(shí)現(xiàn)所述算法組件的數(shù)據(jù)交互，其中，所述數(shù)據(jù)交互為執(zhí)行聯(lián)邦訓(xùn)練任務(wù)過程中的數(shù)據(jù)交互。

7、進(jìn)一步地，所述通過所述平臺(tái)對(duì)接模塊在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)代理組件提供器，具體包括：

8、獲取所述代理組件提供器的屬性信息；

9、將所述代理組件提供器的屬性信息寫入所述聯(lián)邦學(xué)習(xí)平臺(tái)的內(nèi)存。

10、進(jìn)一步地，所述在所述組件對(duì)接模塊的實(shí)例進(jìn)程中注冊(cè)算法組件之后，通過所述組件對(duì)接模塊生成適用于所述聯(lián)邦學(xué)習(xí)平臺(tái)的代理組件，并在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)所述代理組件，包括：

11、在算法組件啟動(dòng)之后，將所述組件對(duì)接模塊的實(shí)例進(jìn)程對(duì)應(yīng)的接口調(diào)用信息，加載至所述算法組件的進(jìn)程；其中，所述接口調(diào)用信息包括ip地址和監(jiān)聽端口號(hào)；

12、響應(yīng)于所述算法組件通過所述組件對(duì)接模塊的接口向所述組件對(duì)接模塊發(fā)起的組件注冊(cè)請(qǐng)求，將所述算法組件注冊(cè)到所述組件對(duì)接模塊的實(shí)例進(jìn)程，并通過所述組件對(duì)接模塊生成所述代理組件；其中，所述算法組件通過所述接口調(diào)用信息調(diào)用所述組件對(duì)接模塊的接口；

13、通過調(diào)用所述聯(lián)邦訓(xùn)練服務(wù)的第一http接口，在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)所述代理組件，并將所述代理組件的組件提供器注冊(cè)為所述代理組件提供器。

14、進(jìn)一步地，所述方法還包括：

15、在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)所述代理組件之后，通過所述組件對(duì)接模塊定時(shí)接收所述算法組件發(fā)送的心跳請(qǐng)求；

16、如果所述組件對(duì)接模塊在預(yù)設(shè)時(shí)間段內(nèi)未接收到所述心跳請(qǐng)求，則通過調(diào)用所述聯(lián)邦訓(xùn)練服務(wù)的第二http接口，將所述算法組件對(duì)應(yīng)的代理組件從所述聯(lián)邦學(xué)習(xí)平臺(tái)中移除。

17、進(jìn)一步地，所述響應(yīng)于所述聯(lián)邦學(xué)習(xí)平臺(tái)對(duì)所述代理組件的獲取請(qǐng)求，通過所述代理組件提供器生成所述代理組件的代理類實(shí)例，包括：

18、響應(yīng)于所述獲取請(qǐng)求，通過所述代理組件提供器調(diào)用所述組件對(duì)接模塊上的模塊接口；

19、通過所述模塊接口從所述組件對(duì)接模塊，獲取所述代理組件所對(duì)應(yīng)算法組件的組件信息；其中，所述組件信息包括：組件名稱、組件ip地址信息、組件端口號(hào)；

20、通過所述代理組件提供器根據(jù)所述組件信息生成所述代理組件的代理類實(shí)例，并向所述聯(lián)邦學(xué)習(xí)平臺(tái)返回所述代理類實(shí)例。

21、進(jìn)一步地，所述通過所述代理組件提供器根據(jù)所述組件信息生成所述代理組件的代理類實(shí)例，包括：

22、通過所述代理組件提供器利用python中的元類功能對(duì)所述組件信息進(jìn)行處理，處理后得到所述代理組件的代理類實(shí)例；其中，所述組件信息包括所述算法組件的ip地址和端口號(hào)。

23、進(jìn)一步地，所述在所述代理組件的運(yùn)行過程中，通過所述代理組件的代理類實(shí)例的接口實(shí)現(xiàn)所述算法組件的數(shù)據(jù)交互，包括：

24、獲取所述聯(lián)邦學(xué)習(xí)平臺(tái)通過所述代理類實(shí)例的接口發(fā)送的所述算法組件的組件參數(shù)和輸入數(shù)據(jù)，并向所述算法組件轉(zhuǎn)發(fā)所述組件參數(shù)和輸入數(shù)據(jù)；

25、獲取所述聯(lián)邦學(xué)習(xí)平臺(tái)通過所述代理類實(shí)例的接口發(fā)送的計(jì)算指令，并向所述算法組件轉(zhuǎn)發(fā)所述計(jì)算指令；其中，所述計(jì)算指令為在所述算法組件成功接收到所述組件參數(shù)和所述輸入數(shù)據(jù)之后發(fā)送；

26、在所述算法組件得到所述計(jì)算指令的輸出結(jié)果之后，獲取所述聯(lián)邦學(xué)習(xí)平臺(tái)通過所述代理類實(shí)例的接口發(fā)送的輸出結(jié)果的獲取請(qǐng)求，并向所述算法組件轉(zhuǎn)發(fā)所述獲取請(qǐng)求，并將所述算法組件基于所述獲取請(qǐng)求反饋的所述輸出結(jié)果傳輸至所述聯(lián)邦學(xué)習(xí)平臺(tái)。

27、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例還提供了一種算法組件互通的裝置，設(shè)置于聯(lián)邦學(xué)習(xí)平臺(tái)的代理系統(tǒng)，所述裝置包括：

28、組件提供器注冊(cè)單元，用于響應(yīng)于所述聯(lián)邦學(xué)習(xí)平臺(tái)的聯(lián)邦訓(xùn)練服務(wù)，通過所述平臺(tái)對(duì)接模塊在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)代理組件提供器，并啟動(dòng)所述組件對(duì)接模塊的實(shí)例進(jìn)程；

29、組件注冊(cè)單元，用于在所述組件對(duì)接模塊的實(shí)例進(jìn)程中注冊(cè)算法組件之后，通過所述組件對(duì)接模塊生成適用于所述聯(lián)邦學(xué)習(xí)平臺(tái)的代理組件，并在所述聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)所述代理組件；

30、組件實(shí)例化單元，用于響應(yīng)于所述聯(lián)邦學(xué)習(xí)平臺(tái)對(duì)所述代理組件的獲取請(qǐng)求，通過所述代理組件提供器生成所述代理組件的代理類實(shí)例；

31、組件運(yùn)行單元，用于在所述代理組件的運(yùn)行過程中，通過所述代理組件的代理類實(shí)例的接口實(shí)現(xiàn)所述算法組件的數(shù)據(jù)交互，其中，所述數(shù)據(jù)交互操作為執(zhí)行聯(lián)邦訓(xùn)練任務(wù)過程中的數(shù)據(jù)交互。

32、本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序；其中，所述計(jì)算機(jī)程序在運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在的設(shè)備執(zhí)行上述任一項(xiàng)所述的算法組件互通的方法。

33、本發(fā)明實(shí)施例還提供了一種電子設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器在執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的算法組件互通的方法。

34、本發(fā)明實(shí)施例提供了一種算法組件互通的方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。在本技術(shù)實(shí)施例中，代理系統(tǒng)可以響應(yīng)于聯(lián)邦學(xué)習(xí)平臺(tái)的聯(lián)邦訓(xùn)練服務(wù)，通過代理系統(tǒng)中平臺(tái)對(duì)接模塊在聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)代理組件提供器，并啟動(dòng)組件對(duì)接模塊的實(shí)例進(jìn)程；接下來，可以在組件對(duì)接模塊的實(shí)例進(jìn)程中注冊(cè)算法組件之后，通過組件對(duì)接模塊生成適用于所述聯(lián)邦學(xué)習(xí)平臺(tái)的代理組件，并在聯(lián)邦學(xué)習(xí)平臺(tái)中注冊(cè)代理組件；之后，可以響應(yīng)于聯(lián)邦學(xué)習(xí)平臺(tái)對(duì)代理組件的獲取請(qǐng)求，通過代理組件提供器生成代理組件的代理類實(shí)例；并在代理組件的運(yùn)行過程中，通過代理組件的代理類實(shí)例的接口實(shí)現(xiàn)算法組件的數(shù)據(jù)交互，其中，數(shù)據(jù)交互為執(zhí)行聯(lián)邦訓(xùn)練任務(wù)過程中的數(shù)據(jù)交互。

35、通過上述處理方式，無需按照被接入的聯(lián)邦學(xué)習(xí)平臺(tái)的組件實(shí)現(xiàn)規(guī)范使用其他編程語言重新編寫算法組件的代碼，即可實(shí)現(xiàn)算法組件與被接入的聯(lián)邦學(xué)習(xí)平臺(tái)之間的互聯(lián)互通，減輕了開發(fā)工作量，維護(hù)了算法組件運(yùn)行效率，并且不會(huì)影響算法組件性能，從而解決了以獨(dú)立進(jìn)程或docker容器的形式運(yùn)行的算法組件，接入需要組件以靜態(tài)文件的形式集成進(jìn)代碼庫(kù)的聯(lián)邦學(xué)習(xí)平臺(tái)時(shí)的互聯(lián)互通問題。