基于深度强化学习的车辆跟驰控制

• 作者: 朱冰 蒋渊德 赵健 邓伟文 陈虹
• 来源期刊: 中国公路学报
• 学科: 交通运输
• 关键词: 汽车工程 跟驰控制 深度强化学习 自适应巡航控制 运动不确定 高斯过程
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 决策优化与控制技术
• 页码范围: 53-60
• 页数: 8页
• 分类号: U469.91
• 语种: 中文
• DOI: 10.19721/j.cnki.1001-7372.2019.06.005

摘要

针对自适应巡航控制系统在控制主车跟驰行驶中受前车运动状态的不确定性影响问题,在分析车辆运动特点的基础上,提出一种能够考虑前车运动随机性的跟驰控制策略.搭建驾驶人实车驾驶数据采集平台,招募驾驶人进行实车跟驰道路试验,建立驾驶人真实驾驶数据库.假设车辆未来时刻的加速度决策主要受前方目标车辆运动影响,建立基于双前车跟驰结构的主车纵向控制架构.将驾驶数据库中的驾驶数据分别视作前车和前前车运动变化历程,利用高斯过程算法建立了前车纵向加速度变化随机过程模型,实现对前方目标车运动状态分布的概率性建模.将车辆跟驰问题构建为一定奖励函数下的马尔可夫决策过程,引入深度强化学习研究主车跟驰控制问题.利用近端策略优化算法建立车辆跟驰控制策略,通过与前车运动随机过程模型进行交互式迭代学习,得到具有运动不确定性跟驰环境下的主车纵向控制策略,实现对车辆纵向控制的最优决策.最后基于真实驾驶数据,对控制策略进行测试.研究结果表明:该策略建立了车辆纵向控制与主车和双前车状态之间的映射关系,在迭代学习过程中对前车运动的随机性进行考虑,跟驰控制中不需要对前车运动进行额外的概率预测,能够以较低的计算量实现主车稳定跟随前车行驶.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵健	吉林大学汽车仿真与控制国家重点实验室	62	528	14.0	21.0
2	陈虹	吉林大学汽车仿真与控制国家重点实验室	144	1816	21.0	38.0
3	蒋渊德	吉林大学汽车仿真与控制国家重点实验室	6	15	3.0	3.0
4	朱冰	吉林大学汽车仿真与控制国家重点实验室	28	186	8.0	13.0
5	邓伟文	北京航空航天大学交通科学与工程学院	2	0	0.0	0.0