利用层级交互注意力的文本摘要方法

• 作者: 余正涛 相艳 郭军军 高盛祥 黄于欣
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 文本摘要 编解码模型 层级交互注意力机制 变分信息瓶颈
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 学术研究
• 页码范围: 1681-1692
• 页数: 12页
• 分类号: TP399
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1909008

摘要

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用.在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能.然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征.鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成.为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声.最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能.