基于动态Gibbs采样的RBM训练算法研究

• 作者: 万开方 李飞 高晓光
• 来源期刊: 自动化学报
• 关键词: 受限玻尔兹曼机 Gibbs采样 采样算法 马尔科夫理论
• 年，卷（期）: 2016,（6）
• 页码范围: 931-942
• 页数: 12页
• 字数: 7859字
• 语种: 中文
• DOI: 10.16383/j.aas.2016.c150645

摘要

目前大部分受限玻尔兹曼机(Restricted Boltzmann machines, RBMs)训练算法都是以多步Gibbs采样为基础的采样算法。本文针对多步Gibbs 采样过程中出现的采样发散和训练速度过慢的问题,首先,对问题进行实验描述,给出了问题的具体形式；然后,从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析,证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因；最后,提出了动态Gibbs采样算法,给出了对比仿真实验。实验结果表明,动态Gibbs采样算法可以有效地克服采样发散的问题,并且能够以微小的运行时间为代价获得更高的训练精度。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高晓光	西北工业大学电子信息学院	350	2934	23.0	33.0
2	李飞	西北工业大学电子信息学院	30	157	8.0	11.0
3	万开方	西北工业大学电子信息学院	14	76	6.0	8.0