多Agent深度强化学习综述

• 作者: 梁星星 冯旸赫 马扬 程光权 黄金才 王琦 周玉珍 刘忠
• 来源期刊: 自动化学报
• 关键词: 多Agent系统 深度学习 深度强化学习 通用人工智能
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 综述
• 页码范围: 2537-2557
• 页数: 21页
• 语种: 中文
• DOI: 10.16383/j.aas.c180372

摘要

近年来,深度强化学习(Deep reinforcement learning,DRL)在诸多复杂序贯决策问题中取得巨大突破.由于融合了深度学习强大的表征能力和强化学习有效的策略搜索能力,深度强化学习已经成为实现人工智能颇有前景的学习范式.然而,深度强化学习在多Agent系统的研究与应用中,仍存在诸多困难和挑战,以StarCraft Ⅱ为代表的部分观测环境下的多Agent学习仍然很难达到理想效果.本文简要介绍了深度Q网络、深度策略梯度算法等为代表的深度强化学习算法和相关技术.同时,从多Agent深度强化学习中通信过程的角度对现有的多Agent深度强化学习算法进行归纳,将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策3种主流形式.从训练架构、样本增强、鲁棒性以及对手建模等方面探讨了多Agent深度强化学习中的一些关键问题,并分析了多Agent深度强化学习的研究热点和发展前景.