基于批量递归最小二乘的自然Actor-Critic算法

• 作者: 方舟 李平 王国芳
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 自然梯度 Actor-Critic 批次更新 递归最小二乘
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 自动化技术、通信工程
• 页码范围: 1335-1342
• 页数: 8页
• 分类号: TP18
• 字数: 7256字
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2015.07.019

摘要

为了减轻Actor-Critic结构中智能体用最小二乘法估计自然梯度时的在线运算负担,提高运算实时性,提出新的学习算法:NAC-BRLS.该算法在Critic中利用批量递归最小二乘法估计自然梯度,根据估计得到的梯度乐观地更新策略.批量递归最小二乘法的引入使得智能体能根据自身运算能力自由调整各批次运算的数据量,即每次策略估计时使用的数据量,在全乐观和部分乐观之间进行权衡,大大提高了NAC-LSTD算法的灵活性.山地车仿真实验表明,与NAC-LSTD算法相比,NAC-BRLS算法在保证一定收敛性能的前提下,能够明显降低智能体的单步平均运算负担.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李平	浙江大学航空航天学院	260	3720	30.0	50.0
2	方舟	浙江大学航空航天学院	27	157	8.0	11.0
3	王国芳	浙江大学航空航天学院	2	8	1.0	2.0