基于状态回溯代价分析的启发式Q学习*

• 作者: 方敏 李浩
• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 代价分析 启发函数 状态回溯 Q学习
• 年，卷（期）: 2013,（9）
• 所属期刊栏目: 研究与应用
• 页码范围: 838-844
• 页数: 7页
• 分类号: TP181
• 字数: 6424字
• 语种: 中文

摘要

由于强化学习算法动作策略学习比较费时，提出一种基于状态回溯的启发式强化学习方法。分析强化学习过程中重复状态，通过比较状态回溯过程中重复动作的选择策略，引入代价函数描述重复动作的重要性。结合动作奖赏及动作代价提出一种新的启发函数定义。该启发函数在强调动作重要性以加快学习速度的同时，基于代价函数计算动作选择的代价以减少不必要的探索，从而平稳地提高学习效率。对基于代价函数的动作选择策略进行证明。建立两种仿真场景，将算法用于机器人路径规划的仿真实验。实验结果表明基于状态回溯的启发式强化学习方法能平衡考虑获得的奖赏及付出的代价，有效提高Q学习的收敛速度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	方敏	西安电子科技大学计算机学院	34	305	11.0	16.0
2	李浩	西安电子科技大学计算机学院	5	26	3.0	5.0