基于多代理Double DQN算法模拟发电侧竞价行为

• 作者: 高宇 李昀 曹蓉蓉 李宁峰 高铭泽
• 来源期刊: 电网技术
• 关键词: 多代理 Double DQN 神经网络 竞价行为 纳什均衡
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 电力市场|Electricity Market
• 页码范围: 4175-4182
• 页数: 8页
• 分类号: TM73
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2019.2572

摘要

强化学习已经成为研究发电侧竞价策略的重要方法,而Q-Learning算法的Q-table维度问题是限制其应用在发电侧竞价策略的主要原因,为此文章采用智能多代理Double DQN (double deep q-learning network,DDQN)算法进行研究.DDQN算法采用神经网络估计值函数与选择动作策略,解决了Q-Learning会因为状态序列的增加导致计算量庞大甚至无法求解的问题.此外,文章根据日前市场发电商报价方式设计了报价策略并作为DDQN的动作空间,将发电商中标电量与负荷需求作为DDQN的状态序列,在tensorflow环境中模拟竞价过程.实验结果表明,使用DDQN算法模拟发电商竞价行为是可行的,并且参与竞价的发电商都达到了纳什均衡点.