本說明書實施例涉及智能變電站，尤其涉及一種基于信息新鮮度保障的終端任務(wù)卸載方法、裝置及設(shè)備。

背景技術(shù)：

1、智能電網(wǎng)的快速建設(shè)、全球能源結(jié)構(gòu)的轉(zhuǎn)型以及可再生能源的發(fā)展為智能變電站提供了廣闊的發(fā)展空間。智能變電站將通過智能化技術(shù)和設(shè)備的應(yīng)用，實現(xiàn)對新能源的高效接入、優(yōu)化調(diào)度和高效管理，推動能源結(jié)構(gòu)的綠色轉(zhuǎn)型和可持續(xù)發(fā)展。先進的信息通信技術(shù)是提高智能變電站感知能力和精準控制水平、實現(xiàn)運行控制的自動化和協(xié)同化的關(guān)鍵因素。智能變電站中的無線通信設(shè)備在數(shù)據(jù)傳輸、遠程監(jiān)控、故障定位與排除以及應(yīng)急通信等方面發(fā)揮著重要作用，存在節(jié)點多、覆蓋廣、業(yè)務(wù)通信需求互異性大等特點，終端對接入服務(wù)質(zhì)量需求、通信時延、可靠性、速率等方面提出了更高的要求，現(xiàn)有的信息通信技術(shù)并不能完全滿足多樣化業(yè)務(wù)傳輸?shù)慕?jīng)濟性、有效性需求，因此亟需可靠、高效、靈活的通信技術(shù)支撐。信息新鮮度是衡量終端任務(wù)卸載及時性、有效性的重要指標，然而由于無線資源和計算資源的限制，智能變電站中大規(guī)模終端的并發(fā)接入極大程度上增加了接入網(wǎng)的承載壓力，導致網(wǎng)絡(luò)擁塞、過載等問題，任務(wù)卸載的有效性難以滿足，嚴重威脅電網(wǎng)的安全穩(wěn)定運行。

2、如何提高任務(wù)卸載的有效性，提高任務(wù)卸載信息新鮮度是目前亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中任務(wù)卸載的有效性難以滿足要求的問題，本說明書實施例提供了一種基于信息新鮮度保障的終端任務(wù)卸載方法、裝置及設(shè)備，應(yīng)用于智能變電站終端的有序接入控制和任務(wù)卸載，該方法由構(gòu)建系統(tǒng)模型、長期約束、優(yōu)化目標、問題轉(zhuǎn)化和算法設(shè)計三個步驟構(gòu)成，該方法基于強化學習技術(shù)，動態(tài)優(yōu)化基站上行傳輸授權(quán)策略，在接入服務(wù)質(zhì)量和排隊時延的長期約束下，最小化所有終端的任務(wù)年齡，以保障任務(wù)傳輸?shù)募皶r性，提高任務(wù)卸載信息新鮮度。

2、本說明書實施例的具體技術(shù)方案如下：

3、一方面，本說明書實施例提供了一種基于信息新鮮度保障的終端任務(wù)卸載方法，包括：

4、獲取各智能變電站終端在當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)的大??；

5、針對每個智能變電站終端，根據(jù)該智能變電站終端設(shè)定的接入服務(wù)質(zhì)量約束、上一個時隙的接入服務(wù)質(zhì)量需求赤字以及上一個時隙的授權(quán)指示變量計算當前時隙的接入服務(wù)質(zhì)量需求赤字，所述接入服務(wù)質(zhì)量約束表示所述智能變電站終端要求的被授權(quán)任務(wù)數(shù)據(jù)卸載的時隙比例，所述授權(quán)指示變量表示是否授權(quán)任務(wù)卸載；

6、針對每個智能變電站終端，根據(jù)該智能變電站終端設(shè)定的排隊時延約束、上一個時隙的終端任務(wù)卸載排隊時延赤字、上一時隙的本地任務(wù)緩存區(qū)中的隊列積壓以及上一時隙產(chǎn)生的任務(wù)數(shù)據(jù)大小計算當前時隙的終端任務(wù)卸載排隊時延赤字，所述排隊時延約束表示所述智能變電站終端要求的未被授權(quán)任務(wù)數(shù)據(jù)卸載的最大的連續(xù)時隙數(shù)量；

7、將各智能變電站終端的當前時隙的任務(wù)數(shù)據(jù)的大小、接入服務(wù)質(zhì)量需求赤字、終端任務(wù)卸載排隊時延赤字以及接入服務(wù)質(zhì)量約束作為當前時隙的狀態(tài)變量，將當前時隙的狀態(tài)變量輸入到深度q網(wǎng)絡(luò)中進行計算，得到當前時隙的動作變量，所述動作變量包括各智能變電站終端的當前時隙的授權(quán)指示變量；

8、根據(jù)當前時隙的動作變量授權(quán)相應(yīng)的智能變電站終端對當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)進行卸載。

9、進一步地，各智能變電站終端在初始時隙的接入服務(wù)質(zhì)量需求赤字以及終端任務(wù)卸載排隊時延赤字均為預定值。

10、進一步地，根據(jù)該智能變電站終端設(shè)定的接入服務(wù)質(zhì)量約束、上一個時隙的接入服務(wù)質(zhì)量需求赤字以及上一個時隙的授權(quán)指示變量計算當前時隙的接入服務(wù)質(zhì)量需求赤字的公式為：

11、f(i,t+1)＝max{f(i,t)-x(i,t)+κ(i),0}；

12、其中，f(i,t+1)表示第i個智能變電站終端在t+1時隙的接入服務(wù)質(zhì)量需求赤字，f(i,t)表示第i個智能變電站終端在t時隙的接入服務(wù)質(zhì)量需求赤字，x(i,t)表示第i個智能變電站終端在t時隙的授權(quán)指示變量。

13、進一步地，根據(jù)該智能變電站終端設(shè)定的排隊時延約束、上一個時隙的終端任務(wù)卸載排隊時延赤字、上一時隙的本地任務(wù)緩存區(qū)中的隊列積壓以及上一時隙產(chǎn)生的任務(wù)數(shù)據(jù)大小計算當前時隙的終端任務(wù)卸載排隊時延赤字的公式為：

14、

15、其中，h(i,t+1)表示第i個智能變電站終端在t+1時隙的終端任務(wù)卸載排隊時延赤字，h(i,t)表示第i個智能變電站終端在t時隙的終端任務(wù)卸載排隊時延赤字，d(i)表示第i個智能變電站終端設(shè)定的排隊時延約束，n(i,t)表示第i個智能變電站終端在t時隙的任務(wù)數(shù)據(jù)的大小。

16、進一步地，將當前時隙的狀態(tài)變量輸入到深度q網(wǎng)絡(luò)中進行計算，得到當前時隙的動作變量進一步包括：

17、對當前時隙的狀態(tài)變量以及當前時隙對應(yīng)的所述深度q網(wǎng)絡(luò)的參數(shù)進行計算，得到當前時隙的動作變量。

18、進一步地，得到當前時隙的動作變量之后，所述方法還包括：

19、針對每個智能變電站終端，根據(jù)該智能變電站終端的服務(wù)質(zhì)量約束、當前時隙的動作變量中該智能變電站終端對應(yīng)的授權(quán)指示變量以及當前時隙該智能變電站終端的接入服務(wù)質(zhì)量需求赤字計算下一個時隙的接入服務(wù)質(zhì)量需求赤字；

20、針對每個智能變電站終端，根據(jù)該智能變電站終端設(shè)定的排隊時延約束、當前時隙的終端任務(wù)卸載排隊時延赤字、當前時隙的本地任務(wù)緩存區(qū)中的隊列積壓當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)的大小計算下一個時隙的終端任務(wù)卸載排隊時延赤字；

21、獲取各智能變電站終端在下一個時隙產(chǎn)生的任務(wù)數(shù)據(jù)的大?。?/p>

22、將各智能變電站終端的下一個時隙的任務(wù)數(shù)據(jù)的大小、接入服務(wù)質(zhì)量需求赤字、終端任務(wù)卸載排隊時延赤字以及接入服務(wù)質(zhì)量約束作為下一個時隙的狀態(tài)變量，根據(jù)下一個時隙的狀態(tài)變量、當前時隙的狀態(tài)變量、當前時隙的動作變量計算損失值；

23、根據(jù)損失值對當前時隙對應(yīng)的所述深度q網(wǎng)絡(luò)的參數(shù)進行更新，得到下一個時隙的所述深度q網(wǎng)絡(luò)的參數(shù)。

24、進一步地，根據(jù)下一個時隙的狀態(tài)變量、當前時隙的狀態(tài)變量、當前時隙的動作變量計算損失值的公式為：

25、

26、其中，表示損失值，β表示折扣因子，q(s(t+1),a(t),ω(t))表示根據(jù)t+1時隙的狀態(tài)變量s(t+1)、t時隙的動作空間a(t)、t時隙對應(yīng)的所述深度q網(wǎng)絡(luò)的參數(shù)ω(t)計算的q值，q(s(t),a(t),ω(t))表示根據(jù)t時隙的狀態(tài)變量s(t)、t時隙的動作空間a(t)、t時隙對應(yīng)的所述深度q網(wǎng)絡(luò)的參數(shù)ω(t)計算的q值；

27、表示當前時隙對應(yīng)的成本，其公式為：

28、

29、其中，i表示智能變電站終端的總數(shù)，f(i,t)表示第i個智能變電站終端在t時隙的接入服務(wù)質(zhì)量需求赤字，x(i,t)表示第i個智能變電站終端在t時隙的授權(quán)指示變量，κ(i)表示第i個智能變電站終端的接入服務(wù)質(zhì)量約束，h(i,t)表示第i個智能變電站終端在t時隙的終端任務(wù)卸載排隊時延赤字，d(i)表示第i個智能變電站終端設(shè)定的排隊時延約束，q(i,t)表示第i個智能變電站終端在t時隙的本地任務(wù)緩存區(qū)中的隊列積壓，n(i,t)表示第i個智能變電站終端在t時隙的任務(wù)數(shù)據(jù)的大小，v表示非負權(quán)重參數(shù)，ρ(i,t′,t)表示第i個智能變電站終端在第t'(t'＜t)個時隙所產(chǎn)生任務(wù)的年齡，c1和c2表示最多可以同時調(diào)度m個智能變電站終端進行任務(wù)數(shù)據(jù)的卸載，ui表示第i個智能變電站終端，u＝{u1,u2,…,ui,…,ui}為智能變電站終端集合，t＝{1,2,…,t,…,t}為總時隙集合。

30、進一步地，根據(jù)損失值對當前時隙對應(yīng)的所述深度q網(wǎng)絡(luò)的參數(shù)進行更新，得到下一個時隙的所述深度q網(wǎng)絡(luò)的參數(shù)的公式為：

31、

32、其中，ω(t+1)表示t+1時隙的深度q網(wǎng)絡(luò)的參數(shù)，η為深度q網(wǎng)絡(luò)學習速率，▽ω(t)表示梯度。

33、另一方面，本說明書實施例還提供了一種基于信息新鮮度保障的終端任務(wù)卸載裝置，所述裝置包括：

34、任務(wù)數(shù)據(jù)大小獲取單元，用于獲取各智能變電站終端在當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)的大小；

35、接入服務(wù)質(zhì)量需求赤字計算單元，用于針對每個智能變電站終端，根據(jù)該智能變電站終端設(shè)定的接入服務(wù)質(zhì)量約束、上一個時隙的接入服務(wù)質(zhì)量需求赤字以及上一個時隙的授權(quán)指示變量計算當前時隙的接入服務(wù)質(zhì)量需求赤字，所述接入服務(wù)質(zhì)量約束表示所述智能變電站終端要求的被授權(quán)任務(wù)數(shù)據(jù)卸載的時隙比例，所述授權(quán)指示變量表示是否授權(quán)任務(wù)卸載；

36、終端任務(wù)卸載排隊時延赤字計算單元，用于針對每個智能變電站終端，根據(jù)該智能變電站終端設(shè)定的排隊時延約束、上一個時隙的終端任務(wù)卸載排隊時延赤字、上一時隙的本地任務(wù)緩存區(qū)中的隊列積壓以及上一時隙產(chǎn)生的任務(wù)數(shù)據(jù)大小計算當前時隙的終端任務(wù)卸載排隊時延赤字，所述排隊時延約束表示所述智能變電站終端要求的未被授權(quán)任務(wù)數(shù)據(jù)卸載的最大的連續(xù)時隙數(shù)量；

37、動作變量計算單元，用于將各智能變電站終端的當前時隙的任務(wù)數(shù)據(jù)的大小、接入服務(wù)質(zhì)量需求赤字、終端任務(wù)卸載排隊時延赤字以及接入服務(wù)質(zhì)量約束作為當前時隙的狀態(tài)變量，將當前時隙的狀態(tài)變量輸入到深度q網(wǎng)絡(luò)中進行計算，得到當前時隙的動作變量，所述動作變量包括各智能變電站終端的當前時隙的授權(quán)指示變量；

38、任務(wù)數(shù)據(jù)卸載控制單元，用于根據(jù)當前時隙的動作變量授權(quán)相應(yīng)的智能變電站終端對當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)進行卸載。

39、另一方面，本說明書實施例還提供了一種計算機設(shè)備，包括存儲器、處理器、以及存儲在存儲器上的計算機程序，處理器執(zhí)行所述計算機程序時實現(xiàn)上述的方法。

40、利用本說明書實施例，基于強化學習技術(shù)，將當前時隙的任務(wù)數(shù)據(jù)的大小、接入服務(wù)質(zhì)量需求赤字、終端任務(wù)卸載排隊時延赤字以及接入服務(wù)質(zhì)量約束作為當前時隙的狀態(tài)變量，將當前時隙的狀態(tài)變量輸入到深度q網(wǎng)絡(luò)中進行計算，得到當前時隙的動作變量，根據(jù)當前時隙的動作變量授權(quán)相應(yīng)的智能變電站終端對當前時隙產(chǎn)生的任務(wù)數(shù)據(jù)進行卸載，從而在接入服務(wù)質(zhì)量和排隊時延的長期約束下，最小化所有終端的任務(wù)年齡，以保障任務(wù)傳輸?shù)募皶r性，提高任務(wù)卸載信息新鮮度。