基于多隐层Gibbs采样的深度信念网络训练方法

• 作者: 刘广亮 史科 毕翔 王辉 陆阳
• 来源期刊: 自动化学报
• 关键词: 深度信念网络 受限玻尔兹曼机 Gibbs采样 对比散度
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 论文与报告
• 页码范围: 975-984
• 页数: 10页
• 字数: 7265字
• 语种: 中文
• DOI: 10.16383/j.aas.c170669

摘要

深度信念网络(Deep belief network,DBN)作为一类非常重要的概率生成模型,在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段,首先是对受限玻尔兹曼机(Restricted Boltzmann machine,RBM)层自底向上逐层进行的贪婪预训练,使得每层的重构误差最小,这个阶段是无监督的;随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法,通过多隐层的Gibbs采样,将局部RBM层组合,并在原有的逐层预训练和整体精调之间进行额外的预训练,有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式,在MNIST和ShapeSet以及Cifar10数据集上的实验表明,使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度,有着更高的算法效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王辉	合肥工业大学计算机与信息学院	68	476	11.0	19.0
2	陆阳	合肥工业大学计算机与信息学院	147	1309	19.0	29.0
4	毕翔	合肥工业大学计算机与信息学院	23	193	7.0	13.0
8	刘广亮	合肥工业大学计算机与信息学院	2	4	2.0	2.0
11	史科	合肥工业大学计算机与信息学院	1	2	1.0	1.0