基于预训练模型的机器翻译研究与设计

• 作者: 郑英豪 周劲 黄科达 陈土银 杨永
• 来源期刊: 科技与创新
• 关键词: 注意力机制 Transformer模型 位置编码 预训练模型
• 年，卷（期）: 2024,（21）
• 所属期刊栏目: ◇ 智 能 · 制 造 ◇
• 页码范围: 40-43
• 页数: 4页
• 语种: 中文
• DOI: 10.15913/j.cnki.kjycx.2023.21.010

摘要

Transformer在机器翻译方面的应用与别的机器翻译不同之处是Transformer中的编码-译码是使用注意力机制来代替RNN(Recurrent Neural Network，循环神经网络)，且是多头注意力，还加入了位置编码来代表不同位置的信息，防止信息错乱。此方法使得运算的速度加快很多，也可防止词语位置之间的信息丢失，解决了相对于编码-译码中用RNN的机器翻译时存在的中长距离依赖问题。采用Transformer进行德语与英语之间的机器翻译，翻译速度相较于RNN结构的模型，得到了很大程度的提升。