基于参数探索的期望最大化策略搜索

• 作者: 冯涣婷 王雪松 程玉虎
• 来源期刊: 自动化学报
• 关键词: 策略搜索 强化学习 参数空间 探索 期望最大化 重要采样
• 年，卷（期）: 2012,（1）
• 所属期刊栏目: 论文与报告
• 页码范围: 38-45
• 页数: 8页
• 语种: 中文
• DOI: 10.3724/SP.J.1004.2012.00038

摘要

针对随机探索易于导致梯度估计方差过大的问题,提出一种基于参数探索的期望最大化(Expectationmaximization,EM)策略搜索方法.首先,将策略定义为控制器参数的一个概率分布.然后,根据定义的概率分布直接在控制器参数空间进行多次采样以收集样本.在每一幕样本的收集过程中,由于选择的动作均是确定的,因此可以减小采样带来的方差,从而减小梯度估计方差.最后,基于收集到的样本,通过最大化期望回报函数的下界来迭代地更新策略参数.为减少采样耗时和降低采样成本,此处利用重要采样技术以重复使用策略更新过程中收集的样本.两个连续空间控制问题的仿真结果表明,与基于动作随机探索的策略搜索强化学习方法相比,本文所提方法不仅学到的策略最优,而且加快了算法收敛速度,具有较好的学习性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	程玉虎		58	576	13.0	20.0
2	王雪松		71	677	13.0	22.0
3	冯涣婷		3	0	0.0	0.0