概率近似正确的强化学习算法解决连续状态空间控制问题

• 作者: 朱圆恒 赵冬斌
• 来源期刊: 控制理论与应用
• 学科: 工学
• 关键词: 强化学习 概率近似正确 kd树 双连杆机械臂
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 论文与报告
• 页码范围: 1603-1613
• 页数: 11页
• 分类号: TP273
• 字数: 11500字
• 语种: 中文
• DOI: 10.7641/CTA.2016.60512

摘要

在线学习时长是强化学习算法的一个重要指标.传统在线强化学习算法如Q学习、状态-动作-奖励-状态-动作(state-action-reward-state-action,SARSA)等算法不能从理论分析角度给出定量的在线学习时长上界.本文引入概率近似正确(probably approximately correct,PAC)原理,为连续时间确定性系统设计基于数据的在线强化学习算法.这类算法有效记录在线数据,同时考虑强化学习算法对状态空间探索的需求,能够在有限在线学习时间内输出近似最优的控制.我们提出算法的两种实现方式,分别使用状态离散化和kd树(k-dimensional树)技术,存储数据和计算在线策略.最后我们将提出的两个算法应用在双连杆机械臂运动控制上,观察算法的效果并进行比较.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵冬斌	中国科学院自动化研究所复杂系统管理与控制国家重点实验室	58	1184	19.0	32.0
2	朱圆恒	中国科学院自动化研究所复杂系统管理与控制国家重点实验室	2	56	2.0	2.0