★ 黃佳晨，王宇玲 天地電研（北京）科技有限公司杭州分公司

關鍵詞：深度強化學習；虛擬電廠；分布式資源；均衡調度；調度方法

1  引言

虛擬電廠（Virtual Power Plant， VPP）通過整合可再生能源、儲能系統、可控負荷等多元主體，形成了可調度、可交易的“虛擬發電機組”，成功破解了高比例新能源消納難題。然而，在VPP的規模化應用中面臨一系列技術矛盾：分布式資源具有強隨機性和時空分散性等特征，使得局部電網過載風險增加；傳統方法主要聚焦于單一資源類型的靜態調度，未深入挖掘多類型資源協同互補機制，導致VPP在參與電力市場時面臨經濟性與安全性失衡等瓶頸。因此，研究VPP分布式資源均衡調度方法，已成為我國電力領域的重點課題。徐天韻等人[1] 以奇諾多面體為基礎，設計了一種VPP分布式資源均衡調度方法，在經濟性和計算效率方面頗具成效。但奇諾多面體高度依賴分布式資源數據，實際應用中如果數據存在冗余或缺失，將會影響調度結果的可信度；孔祥玉等人[2]通過嵌套VPP和下屬區域主從博弈，進行了VPP分布式資源均衡調度，在高滲透率區域的調度效果良好。但主從博弈計算復雜度較高，實際應用中難以滿足實時調度需求。針對上述問題，本研究提出了一種基于深度強化學習的VPP分布式資源均衡調度方法，期望為VPP的規模化應用提供理論支撐，推動我國能源系統向安全高效的方向轉型。

2  構建VPP分布式資源均衡調度策略模型

在構建VPP分布式資源均衡調度策略模型時，為了實現各分布式資源的高效分配與利用，本文引入了衡量每個分布式資源的成本與可調功率的適應度系數指標，如式（1）所示：

式中，si表示VPP中第i個分布式資源參與調度的適應度系數； Bi 表示第i個分布式資源的成本系數；Qi表示第i個分布式資源的可調度容量。基于上式所示適應度系數指標，為進一步量化各分布式資源在VPP均衡調度中的貢獻，本文以每個資源的適應度系數與所有資源適應度系數平均值差值的絕對值最小為目標，設置目標函數，具體表達式如式（2）所示[3]：

式中，Q0表示VPP用戶的總負荷需求；n表示VPP中分布式資源總數。與此同時，為確保VPP分布式資源均衡調度的順利進行，還需設置VPP功率平衡約束條件，即發電功率與負荷需求實時匹配。其具體表達式如式（3）所示[4]：

式中，P0表示VPP與主電網的交互功率，購電為正，售電為負。綜上，本文將式（2）所示目標函數與式（3）所示約束條件組合在一起，即可構建出完整的VPP分布式資源均衡調度策略模型。

3  深度強化學習算法求解均衡調度策略模型

針對上述具有高維、非線性優化目標的VPP分布式資源均衡調度策略模型，本文引入了深度強化學習中的深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法[5]， 以求解該問題。本文應用DDPG算法求解VPP分布式資源均衡調度策略模型的具體流程如下：首先， 對DDPG算法中的各網絡參數進行初始化，包括當前和目標的策略網絡 CAC  、CAC、當前和目標的價值網絡 ZA  DZ  、ZA  DZ 。其中A為狀態， D為動作，C  = C 為策略網絡參數， Z  = Z 為價值網絡參數。初始化完成后，定義狀態空間At包含各分布式資源的實時出力、儲能系統的荷電狀態、負荷需求以及市場電價等信息，動作空間Dt為各分布式資源的出力調整量，獎勵函數則根據目標函數和約束條件進行設計，以引導智能體學習到最優調度策略，如式（4）所示：

式中，  、 2表示權值，分別用于平衡最小化資源適應度系數差異目標和懲罰VPP功率不平衡。然后，即可進行策略網絡和價值網絡的訓練：在每個時間步t，智能體根據CAt C 選擇動作Dt，執行動作后得到新的狀態At+和獎勵ft，進一步獲取經驗元組(At , Dt , ftAt+ )，并將其存儲到經驗回放緩沖區中。存儲成功后，隨機采樣一批經驗元組Aj  Dj  fjAj+。對于每個采樣到的經驗元組，目標價值yj為式（5）：

式中， 表示折扣因子。基于上式所求目標價值，通過最小化損失函數來更新當前價值網絡的參數，損失函數定義為式（6）：

式中，表示經驗元組批量大小；與此同時，通過策略梯度上升方法更新當前策略網絡的參數策略梯度為式（7）：

    （7）

式中， 表示目標函數 對參數 的偏導數。不斷重復上述步驟，進行多次迭代訓練，直至當前策略網絡收斂，完成策略模型求解。此時根據實時狀態輸出最優的動作，即可得到VPP分布式資源的最佳均衡調度策略。

4  案例分析

4.1   案例概況

某VPP包含可再生能源、儲能系統、用戶負荷、電網這四類核心主體，其整體結構如圖1所示。

圖1 源—網—荷—儲多資源虛擬電廠結構圖

在圖1所示的VPP結構中：光伏發電機組的裝機容量為2MW，輸出功率受光照強度影響；風電機組的裝機容量為1.5MW，輸出功率與風速立方成正比；儲能系統采用2MWh的鋰電池，充放電效率為95%， 最大功率為0.5MW；用電負荷包含居民負荷（占40%）與工業負荷（占60%）。在上述VPP運行過程中，分別應用基于深度強化學習的VPP分布式資源均衡調度方法（實驗組）、基于奇諾多面體的VPP分布式資源均衡調度方法（對照組一）、基于主從博弈的VPP分布式資源均衡調度方法（對照組二）進行分布式資源調度，并對比分析調度結果。

4.2   結果分析

在本次實驗中，完成實驗組方法、對照組一方法、對照組二方法下的實例VPP分布式資源調度后，記錄某典型日下各方法所得調度結果，如圖2所示。

圖2 虛擬電廠分布式資源均衡調度結果

從圖2中可以看出，在上述三種方法的調度下，實例VPP各分布式資源的整體出力均能滿足用戶負荷需求。但是，在兩種對照組方法下，實例VPP各分布式資源的出力波動性較大，且存在較多的棄風/棄光現象，影響了VPP的可靠供電。而在實驗組方法下，實例VPP各分布式資源的出力波動最小，且顯著降低了棄風/棄光率，實現了多分布式資源的均衡調度。由此可以說明，本文研究的基于深度強化學習的VPP分布式資源均衡調度方法是有效且優越的，其在實際應用中具有良好的調度效果，可以保障VPP穩定供電。

5  結束語

本文針對VPP分布式資源均衡調度問題，提出了一種基于深度強化學習的新型調度方法。本文首先基于衡量分布式資源成本與可調功率的適應度系數，構建了一個VPP分布式資源均衡調度策略模型，然后引入深度強化學習算法求解模型，實現了VPP分布式資源的智能均衡調度。案例分析結果表明，本文研究方法具有良好的VPP分布式資源均衡調度效果。未來的研究可以進一步考慮VPP與大電網的互動以及多VPP之間的協同調度問題，以拓展深度強化學習在電力系統領域的應用范圍。

作者簡介 

黃佳晨（1994-），男，江蘇宜興人，中級工程師， 學士， 現就職于天地電研（北京） 科技有限公司杭州分公司， 主要從事電氣工程及其自動化方面的研究。

王宇玲（1994-），男，河南方城人，中級工程師， 學士， 現就職于天地電研（北京） 科技有限公司杭州分公司， 主要從事電氣工程及其自動化方面的研究。

參考文獻：

[1] 徐天韻, 陳濤, 張鑫, 等. 基于奇諾多面體的虛擬電廠分布式資源廣域聚合調控方法[J]. 電力系統自動化, 2024, 48 (18) : 139 - 148.

[2] 孔祥玉, 姚昊陽, 張德隆, 等. 支撐高滲透率區域平衡的虛擬電廠動態分區調度決策方法[J]. 太陽能學報, 2025, 46 (5) : 166 - 175.

[3] 劉璟璐, 譚宇航. 基于分布式神經動力學的虛擬電廠經濟調度及事件觸發控制策略[J]. 電機與控制應用, 2025, 52 (7) : 812 - 822.

[4] 孫玲玲, 李海濱, 賈清泉, 等. 基于動態重構的虛擬電廠資源聚合規劃方法[J]. 電力系統自動化, 2024, 48 (18) : 115 - 128.

[5] 劉東奇, 錢奕衡, 張曦. 含虛擬慣量的虛擬電廠Nash - Q強化學習調度策略[J]. 太陽能學報, 2024, 45 (11) : 15 - 24.

摘自《自動化博覽》2026年第二期暨《工業控制系統信息安全專刊（第十二輯）》