本技術(shù)涉及信息處理，尤其涉及一種基于邊緣節(jié)點的算力調(diào)度方法、裝置和終端設(shè)備。

背景技術(shù)：

1、近年來，隨著人工智能(ai，artificial?intelligence)技術(shù)的快速發(fā)展，特別是近年以gpt(generative?pre-trained?transformer，生成式預(yù)訓(xùn)練transformer模型)為代表的大型語言模型(llm，large?language?model)更是將人工智能技術(shù)的發(fā)展推向新階段。但隨之而來的問題是對算力需求的極速膨脹，因此如何提供一套高效、低成本的算力服務(wù)就成為當(dāng)下熱門競爭課題。

2、現(xiàn)有主流算力云平臺均基于中心化算力資源對外提供服務(wù)，用戶通過云平臺提供的算力api(application?programming?interface，應(yīng)用程序接口)接口進(jìn)行訪問，接口處理完畢后返回ai推理結(jié)果，算力區(qū)提供ai相關(guān)資源，包括算力集群(gpu(graphicsprocessing?unit，圖形處理單元)、npu(neural-network?processing?unit，嵌入式神經(jīng)網(wǎng)絡(luò)處理器)、tpu(tensor?processing?unit，張量處理單元)以及fpga(field-programmablegate?array，現(xiàn)場可編程門陣列)等)、ai訓(xùn)練模型、ai數(shù)據(jù)集等核心系統(tǒng)，所有ai推理相關(guān)內(nèi)容全部在ai算力集群上完成，并將處理結(jié)果返回至dcn區(qū)核心服務(wù)模塊。為了提高算力區(qū)的計算效果，目前的技術(shù)方案是對算力節(jié)點(邊緣節(jié)點)進(jìn)行虛擬化操作，用戶終端向虛擬化算力節(jié)點發(fā)送服務(wù)請求；虛擬化算力節(jié)點基于服務(wù)請求提供對應(yīng)的服務(wù)。但是目前的技術(shù)方案需要大量處理資源進(jìn)行虛擬化操作。

3、因此，如何在利用邊緣節(jié)點確定出服務(wù)結(jié)果的基礎(chǔ)上節(jié)約處理資源，是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)的目的在于提供一種基于邊緣節(jié)點的算力調(diào)度方法、裝置、終端設(shè)備和計算機(jī)可讀存儲介質(zhì)，能夠在利用邊緣節(jié)點確定出服務(wù)結(jié)果的基礎(chǔ)上節(jié)約處理資源。

2、第一方面，本技術(shù)提供了一種基于邊緣節(jié)點的算力調(diào)度方法，應(yīng)用于接入層代理模塊，所述接入層代理模塊設(shè)置于用戶終端中，所述方法包括：

3、獲取所述用戶終端中其他應(yīng)用的服務(wù)請求；所述服務(wù)請求為需要進(jìn)行計算服務(wù)的請求；

4、從候選邊緣節(jié)點中確定與所述服務(wù)請求匹配的目標(biāo)邊緣節(jié)點；所述目標(biāo)邊緣節(jié)點用于為所述用戶終端提供算力資源；

5、在與目標(biāo)邊緣節(jié)點建立點對點通信連接后，將所述服務(wù)請求發(fā)送給所述目標(biāo)邊緣節(jié)點；

6、在所述目標(biāo)邊緣節(jié)點根據(jù)所述服務(wù)請求確定出對應(yīng)的請求結(jié)果后，所述接入層代理模塊獲取所述請求結(jié)果并將所述請求結(jié)果發(fā)送給所述用戶終端的所述其他應(yīng)用。

7、在其中一個實施例中，所述從候選邊緣節(jié)點中確定與所述服務(wù)請求匹配的目標(biāo)邊緣節(jié)點，包括：

8、將所述服務(wù)請求發(fā)送給算力調(diào)度服務(wù)器，并接收所述算力調(diào)度服務(wù)器基于所述服務(wù)請求反饋的服務(wù)節(jié)點列表；

9、從所述服務(wù)節(jié)點列表中確定出目標(biāo)邊緣節(jié)點。

10、在其中一個實施例中，與所述目標(biāo)邊緣節(jié)點建立點對點通信連接的過程，包括：

11、通過打洞服務(wù)器與所述目標(biāo)邊緣節(jié)點建立點對點通信連接。

12、在其中一個實施例中，所述通過打洞服務(wù)器與所述目標(biāo)邊緣節(jié)點建立點對點通信連接，包括：

13、向打洞服務(wù)器發(fā)送打洞服務(wù)請求，并接收所述打洞服務(wù)器基于所述打洞服務(wù)請求反饋的所述目標(biāo)邊緣節(jié)點的目標(biāo)節(jié)點信息；

14、根據(jù)所述目標(biāo)節(jié)點信息與所述目標(biāo)邊緣節(jié)點建立點對點通信連接。

15、在其中一個實施例中，所述服務(wù)節(jié)點列表中的各所述候選邊緣節(jié)點按照與所述用戶終端的服務(wù)位置的距離確定服務(wù)優(yōu)先級；

16、和/或，各所述候選邊緣節(jié)點按照與所述服務(wù)請求的請求類型的匹配度確定服務(wù)優(yōu)先級；

17、和/或各所述候選邊緣節(jié)點按照與所述服務(wù)請求的算力需求的匹配度確定服務(wù)優(yōu)先級。

18、第二方面，本技術(shù)還提供了一種基于邊緣節(jié)點的算力調(diào)度方法，應(yīng)用于目標(biāo)邊緣節(jié)點中，所述方法包括：

19、在與接入層代理模塊建立點對點通信連接后，獲取所述接入層代理模塊發(fā)送的服務(wù)請求；所述服務(wù)請求為需要進(jìn)行計算服務(wù)的請求；所述接入層代理模塊獲取用戶終端中其他應(yīng)用的服務(wù)請求，并從候選邊緣節(jié)點中確定與所述服務(wù)請求匹配的目標(biāo)邊緣節(jié)點；所述目標(biāo)邊緣節(jié)點用于為所述用戶終端提供算力資源；所述接入層代理模塊執(zhí)行如上述方法的步驟；

20、根據(jù)所述服務(wù)請求確定出對應(yīng)的請求結(jié)果，并將所述請求結(jié)果發(fā)送給所述接入層代理模塊，以使得所述接入層代理模塊將所述請求結(jié)果發(fā)送給所述用戶終端的其他應(yīng)用。

21、在其中一個實施例中，確定所述候選邊緣節(jié)點的過程，包括：

22、若當(dāng)前時間屬于預(yù)設(shè)時間段，則將各邊緣節(jié)點確定為候選邊緣節(jié)點；

23、和/或，所述邊緣節(jié)點的使用率低于預(yù)設(shè)使用率閾值，則將所述邊緣節(jié)點確定為所述候選邊緣節(jié)點。

24、第三方面，本技術(shù)還提供了一種基于邊緣節(jié)點的算力調(diào)度裝置，應(yīng)用于接入層代理模塊，所述接入層代理模塊設(shè)置于用戶終端中，所述裝置包括：

25、服務(wù)請求獲取模塊，用于獲取所述用戶終端中其他應(yīng)用的服務(wù)請求；所述服務(wù)請求為需要進(jìn)行計算服務(wù)的請求；

26、目標(biāo)邊緣節(jié)點確定模塊，用于從候選邊緣節(jié)點中確定與所述服務(wù)請求匹配的目標(biāo)邊緣節(jié)點；所述目標(biāo)邊緣節(jié)點用于為所述用戶終端提供算力資源；

27、服務(wù)請求發(fā)送模塊，用于在與目標(biāo)邊緣節(jié)點建立點對點通信連接后，將所述服務(wù)請求發(fā)送給所述目標(biāo)邊緣節(jié)點；

28、請求結(jié)果獲取模塊，用于在所述目標(biāo)邊緣節(jié)點根據(jù)所述服務(wù)請求確定出對應(yīng)的請求結(jié)果后，所述接入層代理模塊獲取所述請求結(jié)果并將所述請求結(jié)果發(fā)送給所述用戶終端的所述其他應(yīng)用。

29、第四方面，本技術(shù)還提供了一種終端設(shè)備。所述終端設(shè)備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如上所述方法的步驟。

30、第五方面，本技術(shù)還提供了一種計算機(jī)可讀存儲介質(zhì)。所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如上述方法的步驟。

31、本技術(shù)實施例提供一種基于邊緣節(jié)點的算力調(diào)度方法，應(yīng)用于接入層代理模塊，接入層代理模塊設(shè)置于用戶終端中，本方法是在確定出目標(biāo)邊緣節(jié)點后，通過接入層代理模塊與目標(biāo)邊緣節(jié)點直接進(jìn)行點對點通信，通過目標(biāo)邊緣節(jié)點處理服務(wù)請求，確定對應(yīng)的請求結(jié)果，并將請求結(jié)果反饋給用戶終端的其他應(yīng)用；不僅能夠避免對邊緣節(jié)點進(jìn)行虛擬化操作，而且能夠充分利用計算資源，因此本方法能夠節(jié)約處理資源。

32、可以理解的是，本技術(shù)實施例提供的一種基于邊緣節(jié)點的算力調(diào)度裝置、終端設(shè)備和計算機(jī)可讀存儲介質(zhì)，具有如上述基于邊緣節(jié)點的算力調(diào)度方法相同的有益效果，在此不再贅述。