使用动态增减枝算法优化网络结构的DBN模型

• 作者: 宋威 张士昱 王晨妮 郑珊珊
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 深度学习 动态深度信念网络 动态增减枝算法 网络结构优化
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 1721-1732
• 页数: 12页
• 分类号: TP391.4
• 字数: 8563字
• 语种: 中文

摘要

近年来深度信念网络(DBN)得到了广泛的应用,但在现有文献中很少有关于如何动态确定其结构的详细研究.提出了一种使用动态增减枝算法的DBN模型(DDBN),可以有效地优化DBN的网络结构.DDBN可以使用动态增减枝算法而不是人工实验来自动确定其结构.首先,在训练过程中通过改变隐藏层层数和隐藏层神经元的数量,自动构建DDBN的结构,这是通过动态增减枝算法实现的.该算法依赖于隐藏层神经元的权重距离(WD)和激活概率的标准差以及整个网络的能量函数.其次,DDBN能够在动态过程中调整权重,有助于提高网络性能.最后,为了验证DDBN的有效性,将DDBN在MNIST、USPS和CIFAR-10三个基准图像数据集上进行了测试.实验结果表明,DDBN比现有的一些DBN结构调整方法具有更好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋威	江南大学物联网工程学院	44	158	8.0	10.0
2	王晨妮	江南大学物联网工程学院	5	2	1.0	1.0
3	张士昱	江南大学物联网工程学院	2	1	1.0	1.0
4	郑珊珊	江南大学物联网工程学院	1	1	1.0	1.0