基于改进双延迟深度确定性策略梯度法的无人机反追击机动决策

• 作者: 郭万春 解武杰 尹晖 董文瀚
• 来源期刊: 空军工程大学学报（自然科学版）
• 关键词: 深度强化学习 近距空战 无人机 双延迟深度确定性策略梯度法
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 专题:智能无人作战技术与系统|Subject :Intelligent Unmanned Combat Technology and System
• 页码范围: 15-21
• 页数: 7页
• 分类号: V279
• 语种: 中文
• DOI: 10.3969/j.issn.1009-3516.2021.04.003

摘要

针对近距空战下的自主机动反追击问题,建立了无人机反追击马尔科夫(Markov)决策过程模型;在此基础上,提出了一种采用深度强化学习的无人机反追击自主机动决策方法.新方法基于经验回放区重构,改进了双延迟深度确定性策略梯度(TD3)算法,通过拟合策略函数与状态动作值函数,生成最优策略网络.仿真实验表明,在随机初始位置/姿态条件下,与采用纯追踪法的无人机对抗,该方法训练的智能无人机胜率超过93％;与传统的TD3、深度确定性策略梯度(DDPG)算法相比,该方法收敛性更快、稳定性更高.