基于改进Transformer模型的文本摘要生成方法

• 作者: 徐畅 曹开臣 潘袁湘 牛新征 王侃
• 来源期刊: 电讯技术
• 学科: 工学
• 关键词: 文本摘要 Transformer模型 先验知识 动态词向量 句向量
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 电子与信息工程
• 页码范围: 1175-1181
• 页数: 7页
• 分类号: TP183
• 字数: 5472字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-893x.2019.10.011

摘要

传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题.对此,提出了一种动态词嵌入摘要生成方法.该方法基于改进的Transformer模型,在文本预处理阶段引入先验知识,将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征,结合此词对应当句的文本句向量拼接生成输入文本矩阵,将文本矩阵输入到Encoder生成固定长度的文本向量表达,然后通过Decoder将此向量表达解码生成目标文本摘要.实验采用Rouge值作为摘要的评测指标,与其他方法进行的对比实验结果表明,所提方法所生成的文本摘要的准确率和流畅度更高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	牛新征	电子科技大学计算机科学与工程学院	45	470	10.0	20.0
2	王侃		4	3	1.0	1.0
3	曹开臣		4	2	1.0	1.0
4	徐畅	电子科技大学计算机科学与工程学院	1	0	0.0	0.0
5	潘袁湘	电子科技大学信息与软件工程学院	1	0	0.0	0.0