基于层级深度强化学习的间歇控制算法

• 作者: 史海波 孙杳如 李广源
• 来源期刊: 现代计算机:中旬刊
• 学科: 工学
• 关键词: DDPG HDDPG 运动控制 确定性策略梯度 强化学习 间歇控制
• 年，卷（期）: 2018,（12）
• 页码范围: 3-7
• 页数: 5页
• 分类号: TP18

摘要

DDPG算法是一种端到端的深度强化学习算法,主要用于解决仿真任务。DDPG能够在具有高维度动作空间的任务中取得接近人类的水平,然而当任务的复杂性提高时,DDPG存在收敛时间长和最终效果差的问题。为了提高在复杂任务环境中算法的收敛速度和最终效果,提出一种基于间歇控制框架的层级深度确定性策略梯度算法(HDDPG)用于完成仿真任务。首先在间歇控制原则下对复杂的任务进行策略上的分解,分解后的子任务间具有层级的架构和较为单一的优化目标,然后在最小转换原则下使用DDPG算法针对多个层级任务寻找最优解。使用DDPG和HD.DPG算法分别在轨迹追踪仿真任务中进行对比实验,实验结果证明在复杂连续运动控制任务上HDDPG相对DDPG算法具有更快的收敛速度和更好的实验结果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙杳如	同济大学电子与信息工程学院计算机科学与技术系	7	6	2.0	2.0
2	李广源	同济大学电子与信息工程学院计算机科学与技术系	2	0	0.0	0.0
3	史海波	同济大学电子与信息工程学院计算机科学与技术系	2	0	0.0	0.0