基于混合注意力与强化学习的文本摘要生成

• 作者: 党宏社 张选德 陶亚凡
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本摘要生成 混合注意力 强化学习 自然语言处理 曝光偏差 递归神经网络
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 185-190
• 页数: 6页
• 分类号: TP391.1
• 字数: 5772字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1907-0101

摘要

基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题.针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数.在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	党宏社	陕西科技大学电气与控制工程学院	100	549	13.0	17.0
2	陶亚凡	陕西科技大学电气与控制工程学院	5	14	2.0	3.0
3	张选德	陕西科技大学电气与控制工程学院	6	3	1.0	1.0