面向神经机器翻译的模型存储压缩方法分析

• 作者: 姜雨帆 李恒雨 林野 肖桐
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 模型压缩 剪枝 量化 低精度 机器翻译
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 机器翻译
• 页码范围: 93-102
• 页数: 10页
• 分类号: TP391
• 字数: 6922字
• 语种: 中文

摘要

模型存储压缩,旨在在不改变模型性能的同时,大幅度降低神经网络中过多的模型参数带来的存储空间浪费.研究人员对于模型存储压缩方法的研究大多数在计算机视觉任务上,缺乏对机器翻译模型压缩方法的研究.该文在机器翻译任务上通过实验对比剪枝、量化、低精度三种模型压缩方法在Transformer和RNN(recurrent neu-ral netw o rk)两种模型上的模型压缩效果,最终使用剪枝、量化、低精度三种方法的组合方法可在不损失原有模型性能的前提下在Transformer和RNN模型上分别达到5.8×和11.7×的压缩率.同时,该文还针对三种模型压缩方法在不同模型上的优缺点进行了分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖桐	东北大学自然语言处理实验室	15	38	4.0	5.0
2	姜雨帆	东北大学自然语言处理实验室	3	5	1.0	2.0
3	林野	东北大学自然语言处理实验室	2	1	1.0	1.0
4	李恒雨	东北大学自然语言处理实验室	1	1	1.0	1.0