基于多智能体深度强化学习的电热联合系统优化运行

• 作者: 董雷 刘雨 乔骥 王新迎 王春斐 蒲天骄
• 来源期刊: 电网技术
• 学科: 工学
• 关键词: 电热联合系统 优化调度 多智能体深度确定性策略梯度算法 深度强化学习
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 能源互联网|Energy Internet
• 页码范围: 4729-4737
• 页数: 9页
• 分类号: TM721
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2021.0261

摘要

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.