从粗粒度到细粒度的神经机器翻译系统推断加速方法

• 作者: 张裕浩 朱靖波 李垠桥 肖桐 许诺
• 来源期刊: 厦门大学学报（自然科学版）
• 学科: 工学
• 关键词: 神经机器翻译 模型加速 从粗粒度到细粒度
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 机器翻译模型
• 页码范围: 175-184
• 页数: 10页
• 分类号: TP391
• 字数: 7004字
• 语种: 中文
• DOI: 10.6043/j.issn.0438-0479.201909012

摘要

近年来,Transformer模型中多层注意力网络的使用有效提升了翻译模型的译文质量,但同时大量注意力操作的使用也导致模型整体的推断效率相对较低.基于此,提出了从粗粒度到细粒度(coarse-to-fine,CTF)的方法,根据注意力权重中的信息量差异对信息表示进行细粒度压缩,最终达到加速推断的目的 .实验发现,在NIST中英和WM T英德翻译任务上,该方法在保证模型性能的同时,推断速度分别提升了13.9％ 和12.8％.此外,还进一步分析了注意力操作在不同表示粒度下的信息量差异,对该方法的合理性提供支持.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱靖波	东北大学自然语言处理实验室	44	806	17.0	28.0
3	肖桐	东北大学自然语言处理实验室	15	38	4.0	5.0
9	李垠桥	东北大学自然语言处理实验室	3	2	1.0	1.0
10	张裕浩	东北大学自然语言处理实验室	1	0	0.0	0.0
11	许诺	东北大学自然语言处理实验室	1	0	0.0	0.0