基于改进并行回火算法的RBM网络训练研究

• 作者: 万开方 李飞 高晓光
• 来源期刊: 自动化学报
• 关键词: 深度学习 受限玻尔兹曼机 采样算法 马尔科夫理论 并行回火 GFPT
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 论文与报告
• 页码范围: 753-764
• 页数: 12页
• 字数: 8592字
• 语种: 中文
• DOI: 10.16383/j.aas.2017.c160326

摘要

目前受限玻尔兹曼机网络训练算法主要是基于采样的算法.当用采样算法进行梯度计算时,得到的采样梯度是真实梯度的近似值,采样梯度和真实梯度之间存在较大的误差,这严重影响了网络的训练效果.针对该问题,本文首先分析了采样梯度和真实梯度之间的数值误差和方向误差,以及它们对网络训练性能的影响,然后从马尔科夫采样的角度对以上问题进行了理论分析,并建立了梯度修正模型,通过修正梯度对采样梯度进行数值和方向的调节,并提出了基于改进并行回火算法的训练算法,即GFPT(Gradient fixing parallel tempering)算法.最后给出GFPT算法与现有算法的对比实验,仿真结果表明,GFPT算法可以极大地减小采样梯度和真实梯度之间的误差,大幅度提升受限玻尔兹曼机网络的训练效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高晓光	西北工业大学电子信息学院	350	2934	23.0	33.0
2	李飞	西北工业大学电子信息学院	30	157	8.0	11.0
3	万开方	西北工业大学电子信息学院	14	76	6.0	8.0