一种基于修正动量的RBM算法

• 作者: 付丽华 刘国武 刘智慧 李宏伟 沈卉卉
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 深度学习 无监督学习 受限玻尔兹曼机 梯度近似算法 Gibbs采样 动量加速 泛化能力
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 学术论文
• 页码范围: 1957-1964
• 页数: 8页
• 分类号: TP391
• 字数: 6022字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2019.09.020

摘要

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种随机网络、概率图模型,它是一种比较有效的的无监督学习模型.针对RBM梯度近似的一种计算方法对动量加速不敏感,以及识别效果不理想等问题,本文提出一种基于修正动量的RBM算法.该算法结合RBM梯度近似方法,通过修改隐单元偏置参数的更新方式,避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题.同时,在RBM预训练阶段采用快速上升的动量方式,以加速网络收敛;在微调阶段引入缓慢下降的动量项,以避免陷入局部最优点并提高识别效果.本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的数值实验结果表明,提出的算法能够有效地提高计算效率和提高网络泛化能力.该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘智慧	中国地质大学数理学院	14	14	3.0	3.0
2	付丽华	中国地质大学数理学院	25	101	6.0	9.0
3	刘国武	湖北经济学院信息管理与统计学院	17	35	4.0	5.0