基于细粒度可解释矩阵的摘要生成模型

• 作者: 王浩男 高扬 冯俊兰 胡珉 王惠欣 柏宇
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 生成式摘要 可解释抽取 中心度 掩码矩阵 可控生成
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 23-30
• 页数: 8页
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2020.082

摘要

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要.该模型通过一个句对判别(pair-wise)抽取器对文章内容进行压缩,捕获文章中心度高的句子,将抽取后的文本与生成器相结合,实现摘要生成.在生成端通过可解释的掩码矩阵,控制生成摘要的内容属性,在编码器端分别使用多层Transformer和预训练语言模型BERT来验证其适用性.在标准文本摘要数据集(CNN/DailyMail和NYT50)上的实验表明,所提模型的ROUGE指标和人工评估结果均优于当前最好的基准模型.实验中还构建两个测试数据集来验证摘要的更新度和相关度,结果表明所提模型在可控生成方面取得相应的提升.