分层强化学习研究综述

• 来源期刊: 模式识别与人工智能
• 学科: 工学
• 关键词: 分层强化学习 半马氏过程 Q-学习 多智能体系统
• 年，卷（期）: 2005,（5）
• 所属期刊栏目: 综述与评论
• 页码范围: 574-581
• 页数: 8页
• 分类号: TP181
• 字数: 8351字
• 语种: 中文

摘要

强化学习通过试错与环境交互获得策略的改进,其自学习和在线学习的特点使其成为机器学习研究的一个重要分支.但是,强化学习一直被"维数灾"问题所困扰.近年来,分层强化学习方法引入抽象(Abstraction)机制,在克服"维数灾"方面取得了显著进展.作为理论基础,本文首先介绍了强化学习的基本原理及基于半马氏过程的Q-学习算法.然后介绍了3种典型的单Agent分层强化学习方法(Option、HAM和MAXQ)的基本思想,Q-学习更新公式,概括了各方法的本质特征,并对这3种方法进行了对比分析评价.最后指出了将单Agent分层强化学习方法拓展到多Agent分层强化学习时需要解决的问题.