基于动作约束深度强化学习的安全自动驾驶方法

• 作者: 代珊珊 刘全
• 来源期刊: 计算机科学
• 关键词: 安全自动驾驶 深度强化学习 软行动者-评论家 车道保持 无人车
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能|Artificial Intelligence
• 页码范围: 235-243
• 页数: 9页
• 分类号: TP181
• 语种: 中文
• DOI: 10.11896/jsjkx.201000084

摘要

随着人工智能的发展,自动驾驶领域的研究也日益壮大.深度强化学习(Deep Reinforcement Learning,DRL)方法是该领域的主要研究方法之一.其中,安全探索问题是该领域的一个研究热点.然而,大部分DRL算法为了提高样本的覆盖率并没有对探索方法进行安全限制,使无人车探索时会陷入某些危险状态,从而导致学习失败.针对该问题,提出了一种基于动作约束的软行动者-评论家算法(Constrained Soft Actor-critic,CSAC),该方法首先对环境奖赏进行了合理限制.无人车动作转角过大时会产生抖动,因此在奖赏函数中加入惩罚项,使无人车尽量避免陷入危险状态.另外,CSAC方法又对智能体的动作进行了约束.当目前状态选择动作后使无人车偏离轨道或者发生碰撞时,标记该动作为约束动作,在之后的训练中通过合理约束来更好地指导无人车选择新动作.为了体现CSAC方法的优势,将CSAC方法应用在自动驾驶车道保持任务中,并与SAC算法进行对比.结果表明,引入安全机制的CSAC方法可以有效避开不安全动作,提高自动驾驶过程中的稳定性,同时还加快了模型的训练速度.最后,将训练好的模型移植到带有树莓派的无人车上,进一步验证了模型的泛用性.