本發(fā)明涉及電力系統(tǒng)，尤其涉及一種源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法和裝置。

背景技術：

1、隨著風、光等新型可再生能源發(fā)電大量接入配電網，此類發(fā)電設備的波動性和間歇性會加劇電網電壓的波動。在傳統(tǒng)配電網中，通過調節(jié)如有載調壓變壓器(oltc)、分組投切電容器(sc)、靜止無功補償裝置(svc)、斷路器(cb)等無功調節(jié)設備來優(yōu)化電網電壓，減小電網的運行損耗，從而提高配電網的電能質量，實現(xiàn)經濟運行。

2、隨著電力電子技術的迅速發(fā)展，各種電力電子設備大量接入配電網，如電壓源型換流器(vsc)、智能軟開關(sop)等設備能夠通過提供無功支撐或轉移有功功率的方式來快速調節(jié)電力系統(tǒng)電壓水平。如何實現(xiàn)對這些電力設備的有效協(xié)調控制是目前亟需解決的技術問題。

技術實現(xiàn)思路

1、為了解決對這些電力設備的有效協(xié)調控制的技術問題，本發(fā)明提供了一種源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法和裝置。

2、第一方面，本發(fā)明提供了一種源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法，所述方法包括：

3、根據目標配電網中電力設備的調節(jié)速度，建立慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略；

4、基于馬爾可夫決策過程、所述慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略，建立協(xié)調控制模型，所述協(xié)調控制模型中包括慢速調節(jié)設備智能體和快速調節(jié)設備智能體；

5、對所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體進行訓練，得到所述目標配電網的協(xié)調控制模型。

6、基于上述技術方案，進一步地，所述根據目標配電網中電力設備的調節(jié)速度，建立慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略，具體包括：

7、將一個優(yōu)化周期設置為第一時間間隔和第二時間間隔，所述一個優(yōu)化周期中包括nl所述第一時間間隔，所述第一時間間隔中包括ns個所述第二時間間隔；

8、基于所述第一時間間隔設置慢速調節(jié)設備的控制策略，所述慢速調節(jié)設備包括真空有載分接開關oltc和斷路器cb；

9、基于所述第二時間間隔設置所述快速調節(jié)設備的控制策略，所述快速調節(jié)設備包括無功補償器svc、逆變器pv、智能軟開關sop和儲能系統(tǒng)ess。

10、基于上述技術方案，進一步地，所述慢速調節(jié)設備智能體的動作空間包括oltc的動作檔位和cb的動作檔位

11、所述慢速調節(jié)設備智能體的狀態(tài)空間包括各慢速調節(jié)設備的有功功率、無功功率、電壓幅值、oltc周期內的調節(jié)次數(shù)和cb周期內的調節(jié)次數(shù)

12、基于上述技術方案，進一步地，所述快速調節(jié)設備智能體的動作空間包括svc的無功支撐功率pv逆變器的無功支撐功率sop的有功功率傳輸功率和無功功率傳輸功率以及ess的充放電量

13、所述快速調節(jié)設備智能體的狀態(tài)空間包括各快速調節(jié)設備的有功功率、無功功率和電壓幅值；

14、t時段，逆變器pv無功出力的動態(tài)邊界qpvt,bound：

15、sop無功出力的動態(tài)邊界qsopt,bound為

16、ess充放電量的動態(tài)邊界pesst,bound為：

17、

18、其中，pv逆變器的無功支撐功率：

19、

20、sop的無功功率傳輸功率：

21、ess的充放電量：

22、

23、基于上述技術方案，進一步地，所述快速調節(jié)設備智能體的獎勵函數(shù)參照下式得到：

24、

25、式中，ri,t即所述目標配電網中分區(qū)i內快速調節(jié)設備智能體所獲得的獎勵值，bi為分區(qū)i全部快速調節(jié)設備智能體組成的集合，λi,t為分區(qū)i快速調節(jié)設備中電壓越限節(jié)點組成的集合；

26、若在t時段所述目標配電網中分區(qū)i內快速調節(jié)設備智能體的動作次數(shù)超過限制次數(shù)，扣除懲罰因子σ，調整所述目標配電網中分區(qū)i內快速調節(jié)設備智能體所獲得的獎勵值，以懲罰快速調節(jié)設備的越限操作，如下式：

27、

28、所述慢速調節(jié)設備智能體獲得的獎勵ri,t是在所有所述第一時間間隔內所有快速調節(jié)智能體獲得獎勵的平均值

29、基于上述技術方案，進一步地，所述對所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體進行訓練，得到所述目標配電網的協(xié)調控制模型，具體包括：

30、所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體通過策略網絡和價值網絡生成策略；

31、從所述目標配電網中各分區(qū)中獲得各所述快速調節(jié)智能體的主獎勵值和輔助獎勵值，各所述快速調節(jié)設備智能體的主獎勵值和輔助獎勵值是通過價值網絡生成的；

32、計算所述各所述快速調節(jié)智能體的主獎勵值和輔助獎勵值的損失值，并為所述輔助獎勵值的損失設置參與因子，并通過所述參與因子更新所述快速調節(jié)智能體的價值網絡的更新過程；

33、所述輔助獎勵值提供額外的學習信號，各所述快速調節(jié)智能體更調整行為以減少主獎勵值的損失；

34、當各分區(qū)中所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體中所有所述主獎勵值的損失小于預設損失值閾值時，得到所述目標配電網的協(xié)調控制模型。

35、第二方面，本發(fā)明還提供了一種源荷分層分區(qū)多時間尺度協(xié)調控制模型構建裝置，所述裝置包括：

36、第一處理模塊，用于根據目標配電網中電力設備的調節(jié)速度，建立慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略；

37、第二處理模塊，用于基于馬爾可夫決策過程、所述慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略，建立協(xié)調控制模型，所述協(xié)調控制模型中包括慢速調節(jié)設備智能體和快速調節(jié)設備智能體；

38、第三處理模塊，用于對所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體進行訓練，得到所述目標配電網的協(xié)調控制模型。

39、基于上述技術方案，進一步地，所述第一處理模塊，具體用于將一個優(yōu)化周期設置為第一時間間隔和第二時間間隔，所述一個優(yōu)化周期中包括nl所述第一時間間隔，所述第一時間間隔中包括ns個所述第二時間間隔；

40、基于所述第一時間間隔設置慢速調節(jié)設備的控制策略，所述慢速調節(jié)設備包括真空有載分接開關oltc和斷路器cb；

41、基于所述第二時間間隔設置所述快速調節(jié)設備的控制策略，所述快速調節(jié)設備包括無功補償器svc、逆變器pv、智能軟開關sop和儲能系統(tǒng)ess。

42、基于上述技術方案，進一步地，所述慢速調節(jié)設備智能體的動作空間包括oltc的動作檔位和cb的動作檔位

43、所述慢速調節(jié)設備智能體的狀態(tài)空間包括各慢速調節(jié)設備的有功功率、無功功率、電壓幅值、oltc周期內的調節(jié)次數(shù)和cb周期內的調節(jié)次數(shù)

44、基于上述技術方案，進一步地，所述快速調節(jié)設備智能體的動作空間包括svc的無功支撐功率pv逆變器的無功支撐功率sop的有功功率傳輸功率和無功功率傳輸功率以及ess的充放電量

45、所述快速調節(jié)設備智能體的狀態(tài)空間包括各快速調節(jié)設備的有功功率、無功功率和電壓幅值；

46、t時段，逆變器pv無功出力的動態(tài)邊界qpvt,bound：

47、sop無功出力的動態(tài)邊界qsopt,bound為

48、ess充放電量的動態(tài)邊界pesst,bound為：

49、

50、其中，pv逆變器的無功支撐功率：

51、

52、sop的無功功率傳輸功率：

53、ess的充放電量：

54、

55、基于上述技術方案，進一步地，所述快速調節(jié)設備智能體的獎勵函數(shù)參照下式得到：

56、

57、式中，ri,t即所述目標配電網中分區(qū)i內快速調節(jié)設備智能體所獲得的獎勵值，bi為分區(qū)i全部快速調節(jié)設備智能體組成的集合，λi,t為分區(qū)i快速調節(jié)設備中電壓越限節(jié)點組成的集合；

58、若在t時段所述目標配電網中分區(qū)i內快速調節(jié)設備智能體的動作次數(shù)超過限制次數(shù)，扣除懲罰因子σ，調整所述目標配電網中分區(qū)i內快速調節(jié)設備智能體所獲得的獎勵值，以懲罰快速調節(jié)設備的越限操作，如下式：

59、

60、所述慢速調節(jié)設備智能體獲得的獎勵ri,t是在所有所述第一時間間隔內所有快速調節(jié)智能體獲得獎勵的平均值

61、基于上述技術方案，進一步地，所述第三處理模塊，具體用于所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體通過策略網絡和價值網絡生成策略；

62、從所述目標配電網中各分區(qū)中獲得各所述快速調節(jié)智能體的主獎勵值和輔助獎勵值，各所述快速調節(jié)設備智能體的主獎勵值和輔助獎勵值是通過價值網絡生成的；

63、計算所述各所述快速調節(jié)智能體的主獎勵值和輔助獎勵值的損失值，并為所述輔助獎勵值的損失設置參與因子，并通過所述參與因子更新所述快速調節(jié)智能體的價值網絡的更新過程；

64、所述輔助獎勵值提供額外的學習信號，各所述快速調節(jié)智能體更調整行為以減少主獎勵值的損失；

65、當各分區(qū)中所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體中所有所述主獎勵值的損失小于預設損失值閾值時，得到所述目標配電網的協(xié)調控制模型。

66、第三方面，本發(fā)明還提供一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述技術方案中任一項所述的源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法。

67、第四方面，本發(fā)明還提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述技術方案中任一項所述的源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法。

68、本發(fā)明提供的一種源荷分層分區(qū)多時間尺度協(xié)調控制模型構建方法，包括根據目標配電網中電力設備的調節(jié)速度，建立慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略；基于馬爾可夫決策過程、所述慢速調節(jié)設備的控制策略和快速調節(jié)設備的控制策略，建立協(xié)調控制模型，所述協(xié)調控制模型中包括慢速調節(jié)設備智能體和快速調節(jié)設備智能體；對所述目標配電網中各分區(qū)中的所述慢速調節(jié)設備智能體和所述快速調節(jié)設備智能體進行訓練，得到所述目標配電網的協(xié)調控制模型。本發(fā)明操作簡單，分析結果直觀、清晰，根據電網調節(jié)設備調節(jié)速度的不同及其運行約束條件，建立多時間尺度協(xié)調控制框架，本發(fā)明基于深度強化學習理論進一步對快速、慢速調節(jié)智能體進行分區(qū)協(xié)調訓練，更新網絡參數(shù)，最終形成配電網電壓優(yōu)化模型，具有一定的實用價值。