本發(fā)明屬于虛擬電廠能源，具體涉及一種基于多智能體一致性的多虛擬電廠協(xié)同運行優(yōu)化方法。

背景技術(shù)：

1、隨著電力市場化新型電力系統(tǒng)建設(shè)的不斷推進(jìn)，配電網(wǎng)側(cè)涌現(xiàn)了大量、分布廣泛的異質(zhì)分布式靈活性資源。需要深入挖掘電力負(fù)荷側(cè)資源的靈活性，以滿足新型電力系統(tǒng)供需匹配和靈活運行的需求。分布式靈活性資源聚合與聚合體優(yōu)化運行技術(shù)成為解決上述問題的重要方案之一。

2、虛擬電廠將在特定范圍內(nèi)的分布式能源、需求側(cè)信息和各類分布式網(wǎng)絡(luò)結(jié)構(gòu)資源加以整合來建立聚合體虛擬電廠電網(wǎng)，再通過對虛擬電站的協(xié)調(diào)控制，引導(dǎo)其積極參與電網(wǎng)調(diào)度運營和價格交易，以增強電力系統(tǒng)的靈活調(diào)控功能。

3、但是當(dāng)前分布式資源的分層優(yōu)化機制存在不足，特別是在多層級優(yōu)化調(diào)度時，分布式資源的調(diào)節(jié)能力相對較弱。通常情況下只考慮有功功率或無功功率，這導(dǎo)致了虛擬電廠部分調(diào)節(jié)能力的損失。而技術(shù)型虛擬電廠內(nèi)的分布式資源可以同時產(chǎn)生有功-無功，并且具備巨大的整體調(diào)節(jié)潛力。為了更有效地利用分布式資源調(diào)度能力，有必要設(shè)計一種耦合有功-無功的分布式資源聚合優(yōu)化運行方法。

4、虛擬電廠的靈活性資源聚合體在外部功率運行特性方面被稱為虛擬電廠可行域。基于這種可行域的運行調(diào)控模式可以向上級調(diào)度層提供虛擬電廠的調(diào)節(jié)能力邊界，同時也能有效保護(hù)虛擬電廠內(nèi)部各個用戶的隱私。目前，在研究分布式資源聚合形成虛擬電廠可行域的領(lǐng)域中，常見的方法包括頂點枚舉法、多參數(shù)規(guī)劃法和數(shù)據(jù)驅(qū)動法等。這些方法在不同的資源聚合體優(yōu)化運行場景下具有各自的優(yōu)勢。

5、在電力系統(tǒng)分布式優(yōu)化方面的方法種類繁多，例如目標(biāo)級聯(lián)法、并行子空間法和一致性算法等。然而，在資源聚合體形成可行域參與電網(wǎng)優(yōu)化運行的研究領(lǐng)域中，前兩類方法通過層級間迭代與個體優(yōu)化等策略實現(xiàn)求解，但其計算模型更適用于原始網(wǎng)絡(luò)約束。尤其是在頂點數(shù)目較多的可行域下，前兩者計算復(fù)雜度較未使用可行域下的計算復(fù)雜度并不會明顯降低。一致性算法可以通過無約束優(yōu)化問題與各參數(shù)修正法則結(jié)合來實現(xiàn)對完整優(yōu)化問題的求解，這在一定程度上大大降低了計算的復(fù)雜度，并且不會由于可行域復(fù)雜化而使得算法本身計算復(fù)雜度提升?；诙嘀黧w成本增量一致性規(guī)則設(shè)計了以成本最優(yōu)為目標(biāo)的一致性算法，提高了運行經(jīng)濟性的同時還較好地解決了功率越限等問題；但僅考慮各主體的有功功率作為一元函數(shù)進(jìn)行優(yōu)化，而且優(yōu)化過程中成本計算考慮的因素并不全面，因此對多虛擬電廠協(xié)同運行優(yōu)化的效果較差，優(yōu)化效果仍然有待進(jìn)一步提高。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為解決現(xiàn)有多虛擬電廠協(xié)同優(yōu)化方法并未同時考慮有功功率和無功功率，且優(yōu)化過程中成本計算考慮的因素不全面，導(dǎo)致協(xié)同運行優(yōu)化的效果差的問題，而提出了一種基于多智能體一致性的多虛擬電廠協(xié)同運行優(yōu)化方法。

2、本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案是：一種基于多智能體一致性的多虛擬電廠協(xié)同運行優(yōu)化方法，所述方法具體包括以下步驟：

3、步驟一、分別初始化n個虛擬電廠中每個子虛擬電廠的有功功率和無功功率；

4、步驟二、將各個子虛擬電廠的有功功率和無功功率輸入深度強化學(xué)習(xí)模型，通過各個智能體分別輸出各個子虛擬電廠的電壓；

5、步驟三、根據(jù)各個子虛擬電廠的電壓和約束條件，對各個子虛擬電廠的有功功率和無功功率進(jìn)行更新；

6、步驟四、根據(jù)更新后各個子虛擬電廠的有功功率和無功功率計算功率偏差，判斷功率偏差是否均滿足要求；

7、若各個子虛擬電廠的功率偏差均滿足要求，則執(zhí)行步驟五；

8、否則，直接對不滿足功率偏差要求的子虛擬電廠執(zhí)行步驟八；

9、步驟五、判斷各個子虛擬電廠的運行點是否在可行域內(nèi)；

10、若各個子虛擬電廠的運行點均在可行域內(nèi)，則執(zhí)行步驟六；

11、否則，直接對運行點不在可行域內(nèi)的子虛擬電廠執(zhí)行步驟八；

12、步驟六、將步驟三更新后各個子虛擬電廠的有功功率和無功功率輸入深度強化學(xué)習(xí)模型，通過智能體輸出各個子虛擬電廠的電壓；

13、步驟七、分別判斷每個子虛擬電廠的電壓是否越限；

14、若不存在電壓越限的子虛擬電廠，則獲得各個子虛擬電廠的有功功率和無功功率；

15、若存在電壓越限的子虛擬電廠，則對電壓越限的子虛擬電廠執(zhí)行步驟八；

16、步驟八、調(diào)整子虛擬電廠的有功功率和無功功率，利用功率調(diào)整后的子虛擬電廠返回執(zhí)行步驟四。

17、進(jìn)一步地，所述步驟一的具體過程為：

18、分別初始化每個虛擬電廠的有功功率和無功功率，再根據(jù)預(yù)先設(shè)定的分配比例，將每個虛擬電廠的有功功率和無功功率分配給子虛擬電廠，得到每個子虛擬電廠初始化的有功功率和無功功率。

19、進(jìn)一步地，所述步驟三中的約束條件包括多虛擬電廠的經(jīng)濟優(yōu)化約束條件和多虛擬電廠的網(wǎng)絡(luò)拓?fù)浼s束條件。

20、進(jìn)一步地，所述多虛擬電廠的經(jīng)濟優(yōu)化約束條件為：

21、

22、其中，pneed和qneed分別為系統(tǒng)的總有功功率需求和總無功功率需求；psunhao和qsunhao分別為系統(tǒng)的總有功功率損耗和總無功功率損耗；pi和qi分別為第i個子虛擬電廠的有功功率和無功功率；ωvfr為虛擬電廠可行域的集合；δpi和δqi分別為第i個子虛擬電廠的有功功率增量和無功功率增量；uj為第j個子虛擬電廠的電壓；ui為第i個子虛擬電廠的電壓；umin和umax分別為子虛擬電廠電壓的最小值和最大值；rij為第i個子虛擬電廠與第j個子虛擬電廠間線路的電阻；xij為第i個子虛擬電廠與第j個子虛擬電廠間線路的電抗；和分別為第i個子虛擬電廠的注入有功功率和無功功率；和分別為第j個子虛擬電廠的注入有功功率和無功功率；n為子虛擬電廠總數(shù)。

23、進(jìn)一步地，所述多虛擬電廠的網(wǎng)絡(luò)拓?fù)浼s束條件為：

24、

25、

26、其中，和分別為t時刻第j個子虛擬電廠的有功功率和無功功率；和分別為t時刻第i個子虛擬電廠與第j個子虛擬電廠間線路的有功功率和無功功率；m是輸電線路上的子虛擬電廠個數(shù)；i是與第j個子虛擬電廠之間存在鏈路的子虛擬電廠個數(shù)；rij和xij分別為第i個子虛擬電廠與第j個子虛擬電廠間線路的電阻和電抗；iij,t為第i個子虛擬電廠與第j個子虛擬電廠間線路的電流平方值；vi,t為t時刻第i個子虛擬電廠的電壓平方值；vj,t為t時刻第j個子虛擬電廠的電壓平方值；和vi分別為電壓平方vi,t的上限值和下限值；和iij分別為電流平方iij,t的上限值和下限值；pt和qt分別為t時刻虛擬電廠在公共耦合點的輸出有功功率和無功功率；表示節(jié)點線路的集合。

27、進(jìn)一步地，所述判斷功率偏差是否滿足要求，具體為：

28、計算更新后的功率與期望功率的差值，再對差值取絕對值后，利用取絕對值的結(jié)果除以期望功率，若相除得到的值在a％到b％范圍內(nèi)，則功率偏差滿足要求；

29、分別判斷每個子虛擬電廠的有功功率和無功功率對應(yīng)的功率偏差是否滿足要求。

30、進(jìn)一步地，所述可行域采用頂點枚舉法求解。

31、進(jìn)一步地，所述深度強化學(xué)習(xí)模型的訓(xùn)練過程為：

32、步驟1、初始化決策步t＝0，并初始化決策步t＝0時各個智能體的狀態(tài)，各個智能體的狀態(tài)為智能體對應(yīng)的子虛擬電廠的有功功率和無功功率；

33、步驟2、在決策步t，各個智能體通過策略分別選擇動作ai,t；

34、步驟3、通過分布式二分查找來調(diào)整各個智能體選擇的動作；

35、步驟4、各個智能體執(zhí)行調(diào)整后的動作獲得獎勵ri,t+1并到達(dá)下一個狀態(tài)si,t+1，將由狀態(tài)si,t、調(diào)整后的動作a'i,t、獎勵ri,t+1和狀態(tài)si,t+1組成的元組存儲至第i個子虛擬電廠對應(yīng)的經(jīng)驗回放池；

36、步驟5、判斷是否達(dá)到深度強化學(xué)習(xí)模型的策略更新頻率；

37、若達(dá)到策略更新頻率，則從第i個子虛擬電廠對應(yīng)的經(jīng)驗回放池中隨機抽取固定數(shù)量的樣本來訓(xùn)練第i個智能體對應(yīng)的深度強化學(xué)習(xí)模型，直至獲得訓(xùn)練好的深度強化學(xué)習(xí)模型；

38、若未達(dá)到策略更新頻率，則令t＝t+1，返回執(zhí)行步驟2。

39、進(jìn)一步地，所述深度強化學(xué)習(xí)模型的目標(biāo)函數(shù)為最小化有功成本和無功成本之和；

40、有功成本包括全控類電源成本、半控類電源成本、儲能類資源成本和各個子虛擬電廠輸出的有功成本，具體的計算方法為：

41、

42、其中，為全控類電源的成本，為半控類電源的成本，為儲能類資源的成本，和為全控類電源的成本系數(shù)；和為半控類電源的成本系數(shù)；和為儲能類資源的成本系數(shù)；和分別為全控類電源、半控類電源和儲能類資源的有功功率；pvpp,i為與第i個子虛擬電廠交互的有功功率，是第i個子虛擬電廠輸出的有功成本，αi、βi和γi為的成本系數(shù)；

43、無功成本的計算方法為：

44、

45、其中，為第i個子虛擬電廠的無功成本，ζq,i為折算后的固定成本，為成本系數(shù)；pi,max為第i個子虛擬電廠的有功功率最大值，si,max為第i個子虛擬電廠的視在功率最大值，qi為第i個子虛擬電廠的無功功率。

46、更進(jìn)一步地，所述的計算方法為：

47、

48、其中，αi,n、βi,n和γi,n分別為第i個子虛擬電廠輸出有功在第n-1區(qū)段時的二次、一次和常數(shù)項成本系數(shù)；di,n-1和di,n為第i個子虛擬電廠輸出有功在第n-1區(qū)段的邊界值。

49、本發(fā)明的有益效果是：

50、本發(fā)明中智能體的狀態(tài)包括有功功率和無功功率，可以充分利用分布式資源的有功-無功調(diào)節(jié)能力，且目標(biāo)函數(shù)中有功成本和無功成本的計算過程考慮的因素全面，保證深度強化學(xué)習(xí)模型的訓(xùn)練效果，進(jìn)而促進(jìn)多智能體協(xié)同輸出最優(yōu)的動作，再根據(jù)多智能體輸出的動作來調(diào)整各子虛擬電廠的有功功率和無功功率分配，提升了多個虛擬電廠之間運行的靈活性，保證協(xié)同運行優(yōu)化的效果，相較于傳統(tǒng)的一致性算法，本發(fā)明的一致性算法具有計算流程簡潔、效率與精度高的優(yōu)勢，并且實現(xiàn)的一致性算法滿足多類型約束。