一种高效的经验回放模块设计

• 作者: 王锦艳 陈勃
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 强化学习 深度学习 深度Q网络 经验回放 软件设计
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 人工智能
• 页码范围: 3242-3249
• 页数: 8页
• 分类号: TP302
• 字数: 10163字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019050810

摘要

针对深度Q网络(DQN)应用中基于python数据结构直接实现的经验回放过程时常成为性能瓶颈,提出一种具有高性能及通用性的经验回放模块设计方案.该设计方案具有两层软件结构:底层的功能内核由C++语言实现,以提供较高的执行效率;上层则由python语言编写,以面向对象的方式封装模块功能并提供调用接口,使模块具有较高易用性.针对经验回放所涉及的关键操作,一些技术细节被充分研究和精心设计,例如,将优先级回放机制作为附属组件与模块的主体运行逻辑分离,将样本的可抽取性验证提前到样本记录操作中进行,使用高效的样本淘汰策略与算法等.这些措施使模块具有较高的通用性和可扩展性.实验结果表明,按照该模块实现的经验回放过程,整体执行效率得到了充分优化,两个关键操作——样本记录与样本抽取,皆可高效执行.与基于python数据结构的直接实现方式相比,所提模块在样本抽取操作上的性能提升了约100倍,从而避免了经验回放过程成为整个系统的性能瓶颈,满足了各类DQN相关应用项目的需要.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈勃	福州大学数学与计算机科学学院	4	29	1.0	4.0
2	王锦艳	福州大学数学与计算机科学学院	1	0	0.0	0.0