基于自组织模糊RBF网络的连续空间Q学习

• 作者: 孙伟 易建强 王雪松 程玉虎
• 来源期刊: 信息与控制
• 关键词: 自组织 模糊RBF网络 连续空间 Q学习 Q值
• 年，卷（期）: 2008,（1）
• 所属期刊栏目: 论文与报告
• 页码范围: 1-8
• 页数: 8页
• 分类号: TPL8
• 语种: 中文
• DOI: 10.3969/j.issn.1002-0411.2008.01.001

摘要

针对连续空间下的强化学习控制问题,提出了一种基于自组织模糊RBF网络的Q学习方法.网络的输入为状态,输出为连续动作及其Q值,从而实现了"连续状态一连续动作"的映射关系.首先将连续动作空间离散化为确定数目的离散动作,采用完全贪婪策略选取具有最大Q值的离散动作作为每条模糊规则的局部获胜动作.然后采用命令融合机制对获胜的离散动作按其效用值进行加权,得到实际作用于系统的连续动作.另外,为简化网络结构和提高学习速度,采用改进的RAN算法和梯度下降法分别对网络的结构和参数进行在线自适应调整.倒立摆平衡控制的仿真结果验证了所提Q学习方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	易建强	中国科学院自动化研究所	76	1420	21.0	33.0
2	程玉虎	中国矿业大学信息与电气工程学院	58	576	13.0	20.0
3	王雪松	中国矿业大学信息与电气工程学院	71	677	13.0	22.0
4	孙伟	中国矿业大学信息与电气工程学院	105	523	13.0	17.0