本發(fā)明涉及新能源儲(chǔ)能，更具體地說(shuō)，本發(fā)明涉及基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制系統(tǒng)及方法。

背景技術(shù)：

1、新能源儲(chǔ)能系統(tǒng)作為可再生能源廣泛應(yīng)用的重要基礎(chǔ)設(shè)施，其主要任務(wù)就是對(duì)不穩(wěn)定的新能源電力進(jìn)行有效的吸收、儲(chǔ)存與調(diào)度，從而為電力系統(tǒng)的平穩(wěn)供電提供可靠保障。

2、而事實(shí)上，由于新能源資源如太陽(yáng)能、風(fēng)能等生產(chǎn)電量的不穩(wěn)定性來(lái)源于天氣等復(fù)雜多變的自然條件影響，其產(chǎn)電量會(huì)在每小時(shí)、每日甚至每年都有很大的波動(dòng)。這對(duì)新能源儲(chǔ)能系統(tǒng)在平穩(wěn)吸收存儲(chǔ)新能源電量的同時(shí)，又要滿足不斷變化的用電需求提出了極高的技術(shù)挑戰(zhàn)。

3、現(xiàn)有授權(quán)公告號(hào)為cn114389272b的中國(guó)專(zhuān)利公開(kāi)了一種應(yīng)用于風(fēng)光儲(chǔ)新能源電站的多模式協(xié)調(diào)控制方法，包括：風(fēng)光儲(chǔ)新能源電站控制系統(tǒng)實(shí)時(shí)采集風(fēng)電系統(tǒng)、光伏系統(tǒng)、儲(chǔ)能系統(tǒng)的運(yùn)行數(shù)據(jù)，讀取風(fēng)電系統(tǒng)、光伏系統(tǒng)、儲(chǔ)能系統(tǒng)的限定參數(shù)；風(fēng)光儲(chǔ)新能源電站控制系統(tǒng)讀取調(diào)度中心下發(fā)的風(fēng)光儲(chǔ)場(chǎng)景運(yùn)行模式標(biāo)志位，確定風(fēng)光儲(chǔ)系統(tǒng)參與功率控制的方式；在風(fēng)光模式下，選擇比例控制、裕度控制、風(fēng)電優(yōu)先或光伏優(yōu)先模式完成風(fēng)電系統(tǒng)和光伏系統(tǒng)間的功率分配；在有儲(chǔ)能系統(tǒng)參與控制的情況下，將指令跟蹤、功率平滑、風(fēng)光消納、頂峰供電控制模式進(jìn)行融合。該專(zhuān)利通過(guò)實(shí)現(xiàn)了風(fēng)光儲(chǔ)場(chǎng)站群有功協(xié)同優(yōu)化控制，平滑新能源接入引起的電網(wǎng)電壓及頻率波動(dòng)的問(wèn)題，提高新能源并網(wǎng)的穩(wěn)定性。

4、一方面，儲(chǔ)能系統(tǒng)需要根據(jù)新能源不斷變化的產(chǎn)能狀況，及時(shí)調(diào)整儲(chǔ)能設(shè)備的充電和放電策略，最大限度地平緩新能源產(chǎn)能的波動(dòng)，實(shí)現(xiàn)盡可能高的新能源利用率。另一方面，它還要根據(jù)用戶側(cè)動(dòng)態(tài)的用電負(fù)荷，實(shí)時(shí)對(duì)儲(chǔ)存能量進(jìn)行分配調(diào)度，保證終端用戶電力的連續(xù)可靠供應(yīng)。

5、而隨著我國(guó)新能源發(fā)展規(guī)模不斷擴(kuò)大，以太陽(yáng)能和風(fēng)能為主的多種新能源在不同區(qū)域的配置也在不斷優(yōu)化，這也增加了新能源總體產(chǎn)能結(jié)構(gòu)和空間分布的不確定性。這對(duì)新能源儲(chǔ)能系統(tǒng)提出了更高層次的控制智能化要求。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)難點(diǎn)，本發(fā)明提供基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制方法，方法包括：

2、收集天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)、新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能與電能需求量；

3、將天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能輸入至預(yù)構(gòu)建的新能源產(chǎn)能預(yù)估模型輸出新能源產(chǎn)能變化時(shí)間序列，基于每組天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能，以及對(duì)應(yīng)新能源產(chǎn)能變化時(shí)間序列對(duì)新能源產(chǎn)能預(yù)估模型進(jìn)行訓(xùn)練，使新能源產(chǎn)能預(yù)估模型輸出新能源產(chǎn)能變化時(shí)間序列，所述新能源產(chǎn)能預(yù)估模型為rnn模型或cnn模型；

4、輸入新能源產(chǎn)能變化時(shí)間序列與電能需求量至儲(chǔ)能控制策略調(diào)整模型輸出運(yùn)行策略，基于新能源產(chǎn)能變化時(shí)間序列與電能需求量，以及對(duì)應(yīng)運(yùn)行策略對(duì)儲(chǔ)能控制策略調(diào)整模型進(jìn)行結(jié)構(gòu)定義、結(jié)構(gòu)與訓(xùn)練設(shè)計(jì)、訓(xùn)練與環(huán)境反饋，使儲(chǔ)能控制策略調(diào)整模型輸出運(yùn)行策略，所述儲(chǔ)能控制策略調(diào)整模型為強(qiáng)化學(xué)習(xí)模型；

5、根據(jù)運(yùn)行策略控制新能源儲(chǔ)能設(shè)備進(jìn)行充放電操作。

6、進(jìn)一步地，所述天氣數(shù)據(jù)包括光照強(qiáng)度、水電站水位與風(fēng)速；新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)包括1與0；所述新能源產(chǎn)能預(yù)估模型的構(gòu)建方法包括：

7、將每組天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能轉(zhuǎn)換為第一特征向量的形式，第一特征向量中的元素包括光照強(qiáng)度、水電站水位、風(fēng)速、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能；

8、將所有第一特征向量的集合作為新能源產(chǎn)能預(yù)估模型的輸入，所述新能源產(chǎn)能預(yù)估模型以對(duì)每組第一特征向量預(yù)測(cè)的新能源產(chǎn)能變化時(shí)間序列作為輸出，以每組第一特征向量對(duì)應(yīng)的實(shí)際新能源產(chǎn)能變化時(shí)間序列作為預(yù)測(cè)目標(biāo)，以最小化所有預(yù)測(cè)的新能源產(chǎn)能變化時(shí)間序列的第一預(yù)測(cè)準(zhǔn)確度之和作為訓(xùn)練目標(biāo)；

9、其中，第一預(yù)測(cè)準(zhǔn)確度的計(jì)算公式為：，其中，為第一預(yù)測(cè)準(zhǔn)確度，為第組第一特征向量對(duì)應(yīng)的預(yù)測(cè)的新能源產(chǎn)能變化時(shí)間序列，為第組第一特征向量對(duì)應(yīng)的實(shí)際新能源產(chǎn)能變化時(shí)間序列；表示第一特征向量的組號(hào)；對(duì)新能源產(chǎn)能預(yù)估模型進(jìn)行訓(xùn)練，直至第一預(yù)測(cè)準(zhǔn)確度之和達(dá)到收斂時(shí)停止訓(xùn)練；所述新能源產(chǎn)能預(yù)估模型為rnn模型或cnn模型。

10、進(jìn)一步地，所述儲(chǔ)能控制策略調(diào)整模型的結(jié)構(gòu)定義包括：

11、定義狀態(tài)空間：

12、狀態(tài)s為新能源產(chǎn)能與電能需求量；狀態(tài)向量維度設(shè)為2；

13、定義動(dòng)作空間：

14、動(dòng)作a為下一個(gè)時(shí)間點(diǎn)的儲(chǔ)能充電功率和放電功率，a={充電a1，放電a2}；其中a1為0-1之間浮點(diǎn)數(shù)，代表充電比例，a2為0-1之間浮點(diǎn)數(shù)，代表放電比例。

15、進(jìn)一步地，所述儲(chǔ)能控制策略調(diào)整模型的結(jié)構(gòu)與訓(xùn)練設(shè)計(jì)包括：

16、設(shè)計(jì)actor網(wǎng)絡(luò)結(jié)構(gòu)：

17、actor網(wǎng)絡(luò)結(jié)構(gòu)包括1個(gè)第一輸入層、2個(gè)隱藏層與1個(gè)第一輸出層；第一輸入層的狀態(tài)向量為2個(gè)；2個(gè)隱藏層包括第一隱藏層與第二隱藏層，第一隱藏層包括32個(gè)節(jié)點(diǎn)，激活函數(shù)為relu，第二隱藏層包括16個(gè)節(jié)點(diǎn)，激活函數(shù)為relu；第一輸出層節(jié)點(diǎn)數(shù)為2，有3維連續(xù)動(dòng)作值，無(wú)激活函數(shù)；

18、設(shè)計(jì)critic網(wǎng)絡(luò)結(jié)構(gòu)：

19、critic網(wǎng)絡(luò)結(jié)構(gòu)包括1個(gè)第二輸入層、2個(gè)隱藏層與1個(gè)第二輸出層；第二輸入層的狀態(tài)向量為4個(gè)；2個(gè)隱藏層包括第三隱藏層與第四隱藏層，第三隱藏層包括64個(gè)節(jié)點(diǎn)，激活函數(shù)為relu，第四隱藏層包括32個(gè)節(jié)點(diǎn)，激活函數(shù)為relu；第二輸出層包括1個(gè)節(jié)點(diǎn)，無(wú)激活函數(shù)；

20、設(shè)計(jì)訓(xùn)練配置：

21、actor網(wǎng)絡(luò)學(xué)習(xí)率α_actor=0.0001；critic網(wǎng)絡(luò)學(xué)習(xí)率α_critic=0.001；

22、經(jīng)驗(yàn)回放存儲(chǔ)器大小d=10000；批大小b=64；更新網(wǎng)絡(luò)步長(zhǎng)τ=0.001；折扣因子=0.99。

23、進(jìn)一步地，所述儲(chǔ)能控制策略調(diào)整模型的環(huán)境反饋包括：

24、選擇隨機(jī)動(dòng)作a，獲取環(huán)境反饋(，，done)，表示選擇動(dòng)作后獲得的獎(jiǎng)勵(lì)值；獎(jiǎng)勵(lì)值計(jì)算方法包括：

25、?；

26、；

27、；

28、式中，表示滿足需求獎(jiǎng)勵(lì)；表示功率波動(dòng)懲罰；為電力系統(tǒng)負(fù)荷，代表電能需求量；為放出或吸收的電量，即動(dòng)作變量；為上一時(shí)間點(diǎn)的狀態(tài)向量；為當(dāng)前時(shí)間點(diǎn)的狀態(tài)向量；為滿足需求獎(jiǎng)勵(lì)項(xiàng)的權(quán)重系數(shù)，為功率波動(dòng)懲罰項(xiàng)的權(quán)重系數(shù)；總負(fù)荷容量表示電力系統(tǒng)負(fù)荷的最大范圍；

29、done是表示是否為終止?fàn)顟B(tài)的標(biāo)志，若任務(wù)完成，則done?=?true，若任務(wù)失敗，done?=?true，若為非終止?fàn)顟B(tài)，任務(wù)仍在繼續(xù)，則done?=?false；為下一個(gè)狀態(tài)；將每一次訓(xùn)練后的動(dòng)作a與所對(duì)應(yīng)的環(huán)境反饋保存至經(jīng)驗(yàn)回放存儲(chǔ)器。

30、進(jìn)一步地，所述儲(chǔ)能控制策略調(diào)整模型的訓(xùn)練方法包括：

31、將經(jīng)驗(yàn)回放存儲(chǔ)器中的動(dòng)作a與所對(duì)應(yīng)的環(huán)境反饋分成訓(xùn)練集與驗(yàn)證集；

32、計(jì)算當(dāng)前critic網(wǎng)絡(luò)評(píng)估的值：；

33、式中，表示使用當(dāng)前critic網(wǎng)絡(luò)；

34、計(jì)算critic網(wǎng)絡(luò)目標(biāo)值：

35、；

36、式中，是critic網(wǎng)絡(luò)對(duì)下一個(gè)狀態(tài)進(jìn)行評(píng)估而得出的質(zhì)量值；

37、計(jì)算actor網(wǎng)絡(luò)梯度：

38、；

39、式中，是根據(jù)產(chǎn)生的動(dòng)作；是一個(gè)jacobian矩陣，jacobian矩陣每個(gè)元素均是critic網(wǎng)絡(luò)學(xué)習(xí)到的對(duì)actor網(wǎng)絡(luò)參數(shù)每個(gè)維度的偏導(dǎo)數(shù)；表示動(dòng)作對(duì)actor網(wǎng)絡(luò)參數(shù)的梯度；

40、計(jì)算損失值：

41、；

42、不斷使用訓(xùn)練集訓(xùn)練模型，直至持續(xù)下降并收斂則訓(xùn)練結(jié)束。

43、進(jìn)一步地，還包括：

44、收集空氣污染物濃度數(shù)據(jù)；

45、將空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列輸入至預(yù)構(gòu)建的人為影響因素預(yù)測(cè)模型，輸出最終新能源產(chǎn)能變化時(shí)間序列。

46、進(jìn)一步地，所述人為影響因素預(yù)測(cè)模型的構(gòu)建方法包括：

47、預(yù)先收集a組空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)、新能源產(chǎn)能變化時(shí)間序列與新能源產(chǎn)能變化時(shí)間序列對(duì)應(yīng)的最終新能源產(chǎn)能變化時(shí)間序列，將空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)、新能源產(chǎn)能變化時(shí)間序列與最終新能源產(chǎn)能變化時(shí)間序列轉(zhuǎn)換為對(duì)應(yīng)的一組第二特征向量；

48、將每組第二特征向量作為人為影響因素預(yù)測(cè)模型的輸入，所述人為影響因素預(yù)測(cè)模型以每組空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列對(duì)應(yīng)的一組最終新能源產(chǎn)能變化時(shí)間序列作為輸出，以每組空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列對(duì)應(yīng)的實(shí)際最終新能源產(chǎn)能變化時(shí)間序列作為預(yù)測(cè)目標(biāo)；以最小化所有空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列的預(yù)測(cè)誤差之和作為訓(xùn)練目標(biāo)；其中，預(yù)測(cè)誤差的計(jì)算公式為，其中為預(yù)測(cè)誤差，??為第h組空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列對(duì)應(yīng)的最終新能源產(chǎn)能變化時(shí)間序列，?為第h組空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列對(duì)應(yīng)的實(shí)際最終新能源產(chǎn)能變化時(shí)間序列，h為第二特征向量組號(hào)；對(duì)人為影響因素預(yù)測(cè)模型進(jìn)行訓(xùn)練，直至預(yù)測(cè)誤差之和達(dá)到收斂時(shí)停止訓(xùn)練；所述人為影響因素預(yù)測(cè)模型為rnn模型。

49、基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制系統(tǒng)，系統(tǒng)包括：

50、收集模塊：用于收集空氣污染物濃度數(shù)據(jù)、天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)、新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能與電能需求量；

51、第一產(chǎn)能預(yù)估模型：用于將天氣數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)區(qū)預(yù)計(jì)產(chǎn)能輸入至預(yù)構(gòu)建的新能源產(chǎn)能預(yù)估模型輸出新能源產(chǎn)能變化時(shí)間序列；

52、第二產(chǎn)能預(yù)估模型：用于將空氣污染物濃度數(shù)據(jù)、新能源產(chǎn)區(qū)結(jié)構(gòu)系數(shù)與新能源產(chǎn)能變化時(shí)間序列輸入至預(yù)構(gòu)建的人為影響因素預(yù)測(cè)模型，輸出最終新能源產(chǎn)能變化時(shí)間序列；

53、運(yùn)行策略輸出模塊：用于輸入最終新能源產(chǎn)能變化時(shí)間序列與電能需求量至儲(chǔ)能控制策略調(diào)整模型輸出運(yùn)行策略；

54、控制模塊：用于根據(jù)運(yùn)行策略控制新能源儲(chǔ)能設(shè)備進(jìn)行充放電操作。

55、一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)所述的基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制方法。

56、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制方法。

57、本發(fā)明提供的基于機(jī)器學(xué)習(xí)驅(qū)動(dòng)新能源儲(chǔ)能智能化運(yùn)行控制系統(tǒng)及方法的技術(shù)效果和優(yōu)點(diǎn)：

58、本發(fā)明通過(guò)收集詳細(xì)的天氣數(shù)據(jù)和新能源產(chǎn)區(qū)結(jié)構(gòu)信息，利用機(jī)器學(xué)習(xí)模型即新能源產(chǎn)能預(yù)估模型，能夠更準(zhǔn)確地預(yù)測(cè)新能源(如光伏、風(fēng)能、水電)在不同條件下的產(chǎn)能變化趨勢(shì)，為儲(chǔ)能系統(tǒng)的運(yùn)行控制提供依據(jù)。本發(fā)明識(shí)別到人為活動(dòng)也會(huì)影響新能源產(chǎn)能，通過(guò)收集環(huán)境數(shù)據(jù)并建立人為影響預(yù)測(cè)模型，可以定量評(píng)估人為影響程度，進(jìn)一步優(yōu)化產(chǎn)能預(yù)測(cè)準(zhǔn)確度。本發(fā)明基于準(zhǔn)確的產(chǎn)能預(yù)測(cè)和電力負(fù)載信息，利用強(qiáng)化學(xué)習(xí)的儲(chǔ)能控制策略模型可以實(shí)時(shí)感知環(huán)境狀態(tài)，動(dòng)態(tài)調(diào)整儲(chǔ)能設(shè)備的充電和放電動(dòng)作，有效滿足電力需求同時(shí)控制功率波動(dòng)。本發(fā)明通過(guò)智能預(yù)測(cè)控制，可在一定程度上平衡新能源的不穩(wěn)定性，最大限度滿足用電需求，從而提高新能源的利用率。本發(fā)明基于機(jī)器學(xué)習(xí)的算法設(shè)計(jì)具有很強(qiáng)的可擴(kuò)展性，模型可以不斷學(xué)習(xí)更新以適應(yīng)新能源結(jié)構(gòu)不斷變化的特性。本發(fā)明相比傳統(tǒng)方法，該方案更加智能和剛性，能有效控制系統(tǒng)運(yùn)行風(fēng)險(xiǎn)，使儲(chǔ)能系統(tǒng)長(zhǎng)期穩(wěn)定可靠運(yùn)行。