基于后悔值的多Agent冲突博弈强化学习模型

• 作者: 张世永 肖正
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: Markov对策 强化学习 冲突博弈 冲突消解
• 年，卷（期）: 2008,（11）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 2957-2967
• 页数: 11页
• 分类号: TP18
• 字数: 9121字
• 语种: 中文

摘要

对于冲突博弈,研究了一种理性保守的行为选择方法,即最小化最坏情况下Agent的后悔值.在该方法下,Agent当前的行为策略在未来可能造成的损失最小,并且在没有任何其他Agent 信息的条件下,能够得到Nash均衡混合策略.基于后悔值提出了多Agent复杂环境下冲突博弈的强化学习模型以及算法实现.该模型中通过引入交叉熵距离建立信念更新过程,进一步优化了冲突博弈时的行为选择策略.基于Markov重复博弈模型验证了算法的收敛性,分析了信念与最优策略的关系.此外,与MMDP(multi-agent markov decision process)下Q学习扩展算法相比,该算法在很大程度上减少了冲突发生的次数,增强了Agent行为的协调性,并且提高了系统的性能,有利于维持系统的稳定.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张世永	复旦大学计算机与信息技术系	130	2402	24.0	46.0
2	肖正	复旦大学计算机与信息技术系	6	81	4.0	6.0