基于对称扰动采样的Actor-critic算法

• 作者: 张春元 朱清新
• 来源期刊: 控制与决策
• 学科: 工学
• 关键词: Actor-critic方法 对称扰动采样 连续空间 强化学习
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 论文与报告
• 页码范围: 2161-2167
• 页数: 7页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13195/j.kzyjc.2014.1489

摘要

针对传统Actor-critic (AC)方法在求解连续空间序贯决策问题时收敛速度较慢、收敛质量不高的问题,提出一种基于对称扰动采样的AC算法框架.首先,框架采用高斯分布作为策略分布,在每一时间步对当前动作均值对称扰动,从而生成两个动作与环境并行交互;然后,基于两者的最大时域差分(TD)误差选取Agent的行为动作,并对值函数参数进行更新;最后,基于两者的平均常规梯度或增量自然梯度对策略参数进行更新.理论分析和仿真结果表明,所提框架具有较好的收敛性和计算效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱清新	电子科技大学计算机科学与工程学院	74	1042	16.0	30.0
2	张春元	电子科技大学计算机科学与工程学院	19	98	6.0	9.0