基于近端策略优化的空战决策算法研究

• 作者: 张博超 温晓玲 刘璐 张雅茜 王宏光 中国航空工业集团有限公司沈阳飞机设计研究所
• 来源期刊: 航空工程进展
• 学科: 工学
• 关键词: 空战决策 智能决策 强化学习 近端策略优化 有/无人机协同
• 年，卷（期）: 2023,（2）
• 所属期刊栏目: “第十届中国航空学会青年科技论坛”专栏
• 页码范围: 147-153
• 页数: 7页
• 语种: 中文
• DOI: 10.16615/j.cnki.1674-8190.2023.02.17

摘要

面对未来有/无人机协同作战场景，实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务，使有/无人机协同作战将替代单机作战成为未来空战的发展趋势，但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5有/无人机协同的空战场景，抽象出有人机和无人机智能体的特征模型，提出基于近端策略优化算法的空战智能决策算法，通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展，实现在与环境的实时交互中，输出空战决策序列。通过仿真实验对所提空战决策算法进行验证，结果表明：本文提出的算法在经过训练学习后，能够适应复杂的战场态势，在连续动作空间中得到稳定合理的决策策略。