面向语言模型的神经元连接自动学习方法

• 作者: 姜雨帆 朱靖波 李北 李垠桥 林野 肖桐
• 来源期刊: 厦门大学学报（自然科学版）
• 学科: 工学
• 关键词: 语言模型 神经元连接 剪枝
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 自然语言处理计算方法
• 页码范围: 225-230
• 页数: 6页
• 分类号: TP391
• 字数: 5573字
• 语种: 中文
• DOI: 10.6043/j.issn.0438-0479.201811032

摘要

在自然语言处理中,由于神经网络的结构需要人工设计,容易导致复杂的神经网络结构中存在大量冗余.为了减少冗余,人们常采用剪枝等模型压缩方法,但是这类方法通过一些与训练过程无关的指标直接对模型进行裁剪时往往造成性能损失.因此探索了一种神经网络中神经元连接的自动学习方法,通过在训练中对神经元连接进行动态生长和删除的方法,可以更好地对网络连接进行动态操作,从而得到更紧凑、高效的网络结构.使用该方法在神经语言模型上进行自动生长和消去,在保证网络性能不变的前提下,网络规模可缩小49％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱靖波	东北大学计算机科学与工程学院自然语言处理实验室	44	806	17.0	28.0
2	肖桐	东北大学计算机科学与工程学院自然语言处理实验室	15	38	4.0	5.0
3	姜雨帆	东北大学计算机科学与工程学院自然语言处理实验室	3	5	1.0	2.0
4	李北	东北大学计算机科学与工程学院自然语言处理实验室	2	4	1.0	2.0
5	林野	东北大学计算机科学与工程学院自然语言处理实验室	2	1	1.0	1.0
6	李垠桥	东北大学计算机科学与工程学院自然语言处理实验室	3	2	1.0	1.0