基于竞争学习的稀疏受限玻尔兹曼机机制

• 作者: 刘凯 吕海燕 周立军
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 受限玻尔兹曼机 稀疏受限玻尔兹曼机 竞争学习 稀疏表示 神经元
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 人工智能
• 页码范围: 1872-1876
• 页数: 5页
• 分类号: TP391.4|TP18
• 字数: 6273字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2018010001

摘要

针对受限玻尔兹曼机(RBM)无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机(SRBM)难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法.首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机(DBM)的构建中.通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74％,平均稀疏度提高了5.6％,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周立军	海军航空大学航空基础学院	45	177	8.0	12.0
2	刘凯	海军航空大学航空基础学院	28	106	6.0	9.0
3	吕海燕	海军航空大学航空基础学院	44	239	9.0	13.0