融合指针网络的Transformer摘要生成模型的改进

• 作者: 李维乾 蒲程磊
• 学科: 工学
• 关键词: 文本摘要 注意力机制 Encoder-Decoder模型 Transformer模型 指针网络
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 计算机科学
• 页码范围: 94-100
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.13338/ji.ssn.1674-649x.2022.02.013

摘要

针对传统引入注意力机制的Encoder-Decoder模型在摘要生成任务上存在文字冗余、表述不一致、非登录词(out of vocabulary,OOV)等问题,而导致生成摘要准确性较差,对可嵌入文本位置信息的Transformer模型进行了改进。提出引入指针网络帮助解码,利用指针网络生成文本的优势生成摘要,并 在LCSTS中文短文本摘要数据集上验证了该模型的有效性。结果表明:改进后的Transformer模型在ROUGE评分上比基准模型平均高出2分,在保证摘要与输入文本一致性的同时,其生成内容的显著性和语言的流畅性提升明显。