基于改进深度强化学习的移动机器人路径规划

• 作者: 王军 杨云霄 李莉
• 来源期刊: 电子测量技术
• 学科: 工学
• 关键词: 深度强化学习 路径规划 稀疏奖励 移动机器人 后见经验回放
• 年，卷（期）: 2021,（22）
• 所属期刊栏目: 研究与设计|Research and Design
• 页码范围: 19-24
• 页数: 6页
• 分类号: TP242
• 语种: 中文
• DOI: 10.19651/j.cnki.emt.2107490

摘要

针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以获得足够的积极奖励信号来开始学习.通过深度卷积神经网络模型,将原始RGB图像作为输入,通过端对端的方法训练,利用置信区间上界探索策略和小批量样本的方法训练神经网络参数,最后得到上、下、左、右4个动作的Q值.在相同的仿真环境中结果表明,该算法提升了采样效率,训练迭代更快,并且更容易收敛,避开障碍物到达终点的成功率增加40％左右,一定程度上解决了稀疏奖励带来的问题.