面向多机协同的Att-MADDPG围捕控制方法设计

• 作者: 刘峰 魏瑞轩 丁超 姜龙亭 李天
• 来源期刊: 空军工程大学学报（自然科学版）
• 关键词: 协同围捕 强化学习 MADDPG 智能性涌现
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 专题:智能无人作战技术与系统|Subject:Intelligent Unmanned Combat Technology and System
• 页码范围: 9-14
• 页数: 6页
• 分类号: TP391.9
• 语种: 中文
• DOI: 10.3969/j.issn.1009-3516.2021.03.002

摘要

多无人机对动态目标的围捕是无人机集群作战中的重要问题.针对面向动态目标的集群围捕问题,通过分析基于MADDPG算法的围捕机制的不足,借鉴Google机器翻译团队使用的注意力机制,将注意力机制引入围捕过程,设计基于注意力机制的协同围捕策略,构建了相应的围捕算法.基于AC框架对MAD-DPG进行改进,首先,在Critic网络加入Attention模块,依据不同注意力权重对所有围捕无人机进行信息处理;然后,在Actor网络加入Attention模块,促使其他无人机进行协同围捕.仿真实验表明,Att-MAD-DPG算法较MADDPG算法的训练稳定性提高8.9％,任务完成耗时减少19.12％,经学习后的围捕无人机通过协作配合使集群涌现出更具智能化围捕行为.