基于CMAC的非参数化近似策略迭代增强学习

• 作者: 季挺 张华
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 增强学习 小脑关节模型控制器 非参数化 倒立摆
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 128-136
• 页数: 9页
• 分类号: TP181
• 字数: 8000字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1709-0489

摘要

为解决在线近似策略迭代增强学习计算复杂度高、收敛速度慢的问题,引入CMAC结构作为值函数逼近器,提出一种基于CMAC的非参数化近似策略迭代增强学习(NPAPI-CMAC)算法.算法通过构建样本采集过程确定CMAC泛化参数,利用初始划分和拓展划分确定CMAC状态划分方式,利用量化编码结构构建样本数集合定义增强学习率,实现了增强学习结构和参数的完全自动构建.此外,该算法利用delta规则和最近邻思想在学习过程中自适应调整增强学习参数,利用贪心策略对动作投票器得到的结果进行选择.一级倒立摆平衡控制的仿真实验结果验证了算法的有效性、鲁棒性和快速收敛能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张华	南昌大学机器人研究所	348	2909	25.0	35.0
2	季挺	南昌大学机器人研究所	4	2	1.0	1.0