一种基于BERT的自动文本摘要模型构建方法

• 作者: 任祥辉 岳一峰 黄蔚
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 文本摘要 BERT模型 注意力机制 Sequence-to-Sequence模型
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 63-68
• 页数: 6页
• 分类号: TP391.1
• 字数: 4477字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2020.01.012

摘要

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法.该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成.实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	岳一峰		1	0	0.0	0.0
2	黄蔚		13	47	4.0	6.0
3	任祥辉		3	2	1.0	1.0