基于噪声数据与干净数据的深度置信网络

• 作者: 丁世飞 张健 张楠 赵星宇
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 受限玻尔兹曼机 深度置信网络 权值不确定性 特征选择
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 3326-3339
• 页数: 14页
• 分类号: TP183
• 字数: 10638字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005574

摘要

建立以受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)为基石的深度网络模型,是深度学习研究的热点领域之一.Point-wise Gated受限玻尔兹曼机(point-wise gated RBM,简称pgRBM)是一种RBM的变种算法.该算法能够在含噪声的数据中自适应地找到数据中与分类有关的部分,从而实现较好的分类结果.假设一组数据中有噪声数据和干净数据,如何应用不含噪声的数据提升pgRBM的性能,是一个重要的研究问题.针对这一问题,首先,在传统的pgRBM基础上提出一种基于随机噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机(pgRBM basedon random noisy data and clean data,简称pgrncRBM)方法,其网络中与分类有关权值的初值是通过不合噪声的数据学习得到的,所以pgrncRBM在处理随机噪声数据时可以学习到更为“干净”的数据.在pgmcRBM中,与分类有关的数据与噪声都是使用RBM建模.如果噪声是图片,pgmcRBM就不能很好地去除噪声.Spike-and-Slab RBM(ssRBM)是一种处理实值数据的RBM变种模型,其定义两种不同类型的隐层用来学习实值数据的分布特性.因此,将ssRBM与pgRBM相结合,提出一种基于图像噪声数据与干净数据的Point-wise Gated受限玻尔兹曼机(pgRBM based on image noisy data and clean data,简称pgincRBM)方法.该方法使用ssRBM对噪声建模,其在处理图像噪声数据时可以学习到更为“干净”的数据.然后,通过堆叠pgrncRBM、pgincRBM和传统的RBM构建出深度网络模型,并探讨了权值不确定性方法在提出网络模型中的可行性.最后,在含噪声的手写数据集上进行MATLAB仿真实验.实验结果表明,pgrncRBM和pgincRBM都是有效的神经网络学习方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张健	中国矿业大学计算机科学与技术学院	17	64	4.0	7.0
2	张楠	中国矿业大学计算机科学与技术学院	15	68	5.0	8.0
3	赵星宇	中国矿业大学计算机科学与技术学院	2	32	1.0	2.0