本發(fā)明涉及通信，尤其涉及一種多邊緣設備多模型部署方法、系統(tǒng)、設備及存儲介質(zhì)。

背景技術：

1、由于單個邊緣設備存在性能資源限制，當需要將多個模型部署在邊緣側時，在多邊緣設備上多模型的最優(yōu)化部署成為問題的關鍵。在多邊緣設備上多模型的最優(yōu)化部署是通過將多個針對不同任務的不同模型部署在多個邊緣設備上進行任務的推理過程，以實現(xiàn)推理速度最大化?，F(xiàn)有技術主要是以手動配置來實現(xiàn)多個邊緣設備上多個模型的部署，然而這依賴于配置者的經(jīng)驗且并不一定能夠找到最優(yōu)解。

技術實現(xiàn)思路

1、本發(fā)明提供一種多邊緣設備多模型部署方法、系統(tǒng)、設備及存儲介質(zhì)，以解決現(xiàn)有技術中需要手動配置來實現(xiàn)多個邊緣設備上多個模型的部署的問題。

2、為實現(xiàn)上述目的，本發(fā)明實施例提供了一種多邊緣設備多模型部署方法，包括：

3、根據(jù)多個待部署模型之間的依賴關系，將多個所述待部署模型劃分為多個任務；

4、獲取多個所述任務在多個待部署邊緣設備上的多種部署方案；

5、對于每一種所述部署方案，獲取每一個所述待部署邊緣設備上的任務運行時間；

6、根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案。

7、作為上述方案的改進，所述獲取多個所述任務在多個待部署邊緣設備上的多種部署方案，包括：

8、基于多個待部署邊緣設備的總設備數(shù)量，將多個所述任務劃分為與所述總設備數(shù)量相同的多個分組，得到多種劃分方案；

9、對于每一種所述劃分方案，將每一所述分組與每一所述待部署邊緣設備匹配，得到多個所述任務在多個所述待部署邊緣設備上的多種部署方案。

10、作為上述方案的改進，所述根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案，包括：

11、將每一所述部署方案下的最長的所述任務運行時間作為對應部署方案的系統(tǒng)運行時間；

12、將最短的所述系統(tǒng)運行時間對應的部署方案，確認為多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案。

13、作為上述方案的改進，所述對于每一種所述部署方案，計算每一所述待部署邊緣設備上的任務運行時間，包括：

14、對于每一種所述部署方案的每一所述待部署邊緣設備，根據(jù)所述待部署邊緣設備上所有所述待部署模型之間的串并行關系，獲取所述待部署邊緣設備上所有所述待部署模型運行結束所花費的最少任務運行時間，將所述最少任務運行時間確認為所述待部署邊緣設備上的任務運行時間。

15、作為上述方案的改進，所述對于每一種所述部署方案，計算每一所述待部署邊緣設備上的任務運行時間，包括：

16、對于每一種所述部署方案的每一所述待部署邊緣設備，根據(jù)所述待部署邊緣設備上所有所述待部署模型之間的依賴關系，構建所述待部署邊緣設備的多個有向無環(huán)圖；

17、根據(jù)所述待部署邊緣設備上所有所述待部署模型之間的串并行關系，獲取每一所述有向無環(huán)圖的推理效率參數(shù)；所述推理效率參數(shù)包括：推理過程中占用的最大資源和推理所需時間；

18、將所述推理過程中占用的最大資源小于所述待部署邊緣設備的資源中的最小的所述推理所需時間，確認為所述待部署邊緣設備上的任務運行時間。

19、作為上述方案的改進，在所述最終部署方案中，將每一所述任務運行時間對應的部署方案作為對應待部署模型的子部署方案。

20、為實現(xiàn)上述目的，本發(fā)明實施例還提供了一種多邊緣設備多模型部署系統(tǒng)，包括：

21、任務構建模塊，用于根據(jù)多個待部署模型之間的依賴關系，將多個所述待部署模型劃分為多個任務；

22、部署方案獲取模塊，用于獲取多個所述任務在多個待部署邊緣設備上的多種部署方案；

23、任務運行時間獲取模塊，用于對于每一種所述部署方案，獲取每一個所述待部署邊緣設備上的任務運行時間；

24、最終部署方案確認模塊，用于根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案。

25、作為上述方案的改進，所述部署方案獲取模塊具體用于：

26、基于多個待部署邊緣設備的總設備數(shù)量，將多個所述任務劃分為與所述總設備數(shù)量相同的多個分組，得到多種劃分方案；

27、對于每一種所述劃分方案，將每一所述分組與每一所述待部署邊緣設備匹配，得到多個所述任務在多個所述待部署邊緣設備上的多種部署方案。

28、為實現(xiàn)上述目的，本發(fā)明實施例還提供了一種多邊緣設備多模型部署設備，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執(zhí)行的計算機程序，所述處理器在執(zhí)行所述計算機程序時實現(xiàn)如上述的多邊緣設備多模型部署方法。

29、為實現(xiàn)上述目的，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述計算機可讀存儲介質(zhì)所在的設備執(zhí)行如上述的多邊緣設備多模型部署方法。

30、與現(xiàn)有技術相比，本發(fā)明實施例提供的一種多邊緣設備多模型部署方法、系統(tǒng)、設備及存儲介質(zhì)，通過根據(jù)多個待部署模型之間的依賴關系，將多個所述待部署模型劃分為多個任務；獲取多個所述任務在多個待部署邊緣設備上的多種部署方案；對于每一種所述部署方案，獲取每一個所述待部署邊緣設備上的任務運行時間；根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案。由此可見，本發(fā)明實施例通過各待部署模型之間依賴關系獲取可能的部署方案，并根據(jù)任務運行時間確認最終部署方案，在可能的部署方案中找到最優(yōu)解，相比人為手動配置，不受人為經(jīng)驗影響，提高準確性和部署效率。

技術特征：

1.一種多邊緣設備多模型部署方法，其特征在于，包括：

2.如權利要求1所述的多邊緣設備多模型部署方法，其特征在于，所述獲取多個所述任務在多個待部署邊緣設備上的多種部署方案，包括：

3.如權利要求1所述的多邊緣設備多模型部署方法，其特征在于，所述根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案，包括：

4.如權利要求1所述的多邊緣設備多模型部署方法，其特征在于，所述對于每一種所述部署方案，計算每一所述待部署邊緣設備上的任務運行時間，包括：

5.如權利要求1所述的多邊緣設備多模型部署方法，其特征在于，所述對于每一種所述部署方案，計算每一所述待部署邊緣設備上的任務運行時間，包括：

6.如權利要求4或5所述的多邊緣設備多模型部署方法，其特征在于，在所述最終部署方案中，將每一所述任務運行時間對應的部署方案作為對應待部署模型的子部署方案。

7.一種多邊緣設備多模型部署系統(tǒng)，其特征在于，包括：

8.如權利要求7所述的多邊緣設備多模型部署系統(tǒng)，其特征在于，所述部署方案獲取模塊具體用于：

9.一種多邊緣設備多模型部署設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執(zhí)行的計算機程序，所述處理器在執(zhí)行所述計算機程序時實現(xiàn)如權利要求1～6任一項所述的多邊緣設備多模型部署方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述計算機可讀存儲介質(zhì)所在的設備執(zhí)行如權利要求1～6任一項所述的多邊緣設備多模型部署方法。

技術總結
本發(fā)明公開了一種多邊緣設備多模型部署方法、系統(tǒng)、設備及存儲介質(zhì)，方法包括：根據(jù)多個待部署模型之間的依賴關系，將多個所述待部署模型劃分為多個任務；獲取多個所述任務在多個待部署邊緣設備上的多種部署方案；對于每一種所述部署方案，獲取每一個所述待部署邊緣設備上的任務運行時間；根據(jù)所有所述任務運行時間，確認多個所述待部署模型在多個所述待部署邊緣設備上的最終部署方案。采用本發(fā)明實施例能夠在可能的部署方案中找到最優(yōu)解，相比人為手動配置，不受人為經(jīng)驗影響，提高準確性和部署效率。

技術研發(fā)人員：劉沿,張毅,黃文輝
受保護的技術使用者：中國移動通信有限公司研究院
技術研發(fā)日：
技術公布日：2024/10/21