一种基于特特征向量提取的FMDP模型求解方法

• 作者: 张双民 石纯一
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 群体Agent合作求解 可分解马尔可夫决策过程 线性规划 再励学习 维数灾
• 年，卷（期）: 2005,（5）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 733-743
• 页数: 11页
• 分类号: TP18
• 字数: 8183字
• 语种: 中文

摘要

在诸如机器人足球赛等典型的可分解马尔可夫决策过程(factored Markov decision process,简称FMDP)模型中,不同状态属性在不同的状态下,对于状态评估的影响程度是不同的,其中存在若干关键状态属性,能够唯一或近似判断当前状态的好坏.为了解决FMDP模型中普遍存在的"维数灾"问题,在效用函数非线性的情况下,通过对状态特征向量的提取近似状态效用函数,同时根据对FMDP模型的认知程度,从线性规划和再励学习两种求解角度分别进行约束不等式组的化简和状态效用函数的高维移植,从而达到降低计算复杂度,加快联合策略生成速度的目的.以机器人足球赛任意球战术配合为背景进行实验来验证基于状态特征向量的再励学习算法的有效性和学习结果的可移植性.与传统再励学习算法相比,基于状态特征向量的再励学习算法能够极大地加快策略的学习速度.但更重要的是,还可以将学习到的状态效用函数方便地移植到更高维的FMDP模型中,从而直接计算出联合策略而不需要重新进行学习.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	石纯一	清华大学计算机科学与技术系	85	3189	30.0	55.0
2	张双民	清华大学计算机科学与技术系	5	22	3.0	4.0