基于改进型D3QN深度强化学习的铁路智能选线方法

• 作者: 袁泉 曾文驱 李子涵 高天赐 杨冬营 何庆
• 来源期刊: 铁道科学与工程学报
• 学科: 交通运输
• 关键词: 深度强化学习 智能选线 D3QN算法 信息化
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 智慧交通与物流|Intelligent Transportation and Logistics
• 页码范围: 344-350
• 页数: 7页
• 分类号: U212.3
• 语种: 中文
• DOI: 10.19713/j.cnki.43-1423/u.T20210179

摘要

传统的人工选线方法劳动强度大,设计效率低,随着我国铁路建设重心向西部复杂艰险山区转移,人工选线面临的困难日趋凸显.为缩减铁路选线的人力物力成本,提高设计效率,亟需发展结合了人工智能和信息技术的现代选线技术.为此,提出一种基于深度强化学习理论的铁路智能选线方法.以带有空间属性信息的数字高程模型为选线环境,以相邻空间点间的建造费用为即时奖励,以工程建造费用最小为优化目标,设置离散化的备选动作,考虑多种约束条件,构建面向铁路选线的深度强化学习模型.结合深度学习的感知能力和强化学习的决策能力,利用双竞争深度Q学习网络(Dueling-Double-Deep Q Network,D3QN)对模型进行训练,既克服强化学习问题对复杂状态和动作空间难以收敛的缺点,同时解决了传统DQN算法易于出现过估计、训练不稳定的问题,实现自动对选线环境进行感知、搜索、判断、决策,最终寻得目标函数最优的线路方案.以某山区铁路对本方法进行验证,实验结果表明:该方法能搜索到多样化的线路备选方案,可以为设计人员提供新的设计思路;有效降低了铁路建设的经济费用,较人工选线方案节约最多达17.5％.智能选线方法可以帮助节省选线工作成本,不遗漏有价值的方案,提高工作效率.