基于双重注意力机制的异步优势行动者评论家算法

• 作者: 伏玉琛 凌兴宏 刘全 朱斐 李杰
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 注意力机制 双重注意力机制 行动者评论家 异步优势行动者评论家 异步深度强化学习
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 智能图像处理
• 页码范围: 93-106
• 页数: 14页
• 分类号: TP18
• 字数: 10408字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2020.00093

摘要

深度强化学习是目前机器学习领域发展最快的技术之一.传统的深度强化学习方法在处理高维度大状态的空间任务时,庞大的计算量导致其训练时间过长.虽然异步深度强化学习利用异步方法极大缩短了训练时间,但会忽略某些更具价值的图像区域和图像特征.针对上述问题,本文提出了一种基于双重注意力机制的异步优势行动者评论家算法.新算法利用特征注意力机制和视觉注意力机制来改进传统的异步深度强化学习模型.其中,特征注意力机制为卷积神经网络卷积后的所有特征图设置不同的权重,使得智能体聚焦于重要的图像特征;同时,视觉注意力机制为图像不同区域设置权重参数,权重高的区域表示该区域信息对智能体后续的策略学习有重要价值,帮助智能体更高效地学习到最优策略.新算法引入双重注意力机制,从表层和深层两个角度对图像进行编码表征,帮助智能体将聚焦点集中在重要的图像区域和图像特征上.最后,通过Atari 2600部分经典实验验证了基于双重注意力机制的异步优势行动者评论家算法的有效性.