基于受限玻尔兹曼机的专家乘积系统的一种改进算法

• 作者: 李宏伟 沈卉卉
• 来源期刊: 电子与信息学报
• 学科: 工学
• 关键词: 深度学习 专家乘积 神经网络 受限玻尔兹曼机 动量
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 论文
• 页码范围: 2173-2181
• 页数: 9页
• 分类号: TP182|TP183
• 字数: 7370字
• 语种: 中文
• DOI: 10.11999/JEIT170880

摘要

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难.针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法.先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法.通过对MNIST数据库中的0～9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果.试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李宏伟	中国地质大学数理学院	75	473	11.0	17.0
5	沈卉卉	中国地质大学数理学院	24	54	4.0	6.0