基于权值动量的RBM加速学习算法研究

• 作者: 万开方 李飞 高晓光
• 来源期刊: 自动化学报
• 关键词: 深度学习 受限玻尔兹曼机 动量算法 权值动量
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 长论文
• 页码范围: 1142-1159
• 页数: 18页
• 字数: 10067字
• 语种: 中文
• DOI: 10.16383/j.aas.2017.c160325

摘要

动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高晓光	西北工业大学电子信息学院	350	2934	23.0	33.0
2	李飞	西北工业大学电子信息学院	30	157	8.0	11.0
3	万开方	西北工业大学电子信息学院	14	76	6.0	8.0