联合自编码任务的多机制融合复述生成模型

• 作者: 刘明童 孟遥 张姝 张玉洁 徐金安 陈钰枫
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 复述生成 自编码 多任务学习 多机制融合 注意力机制 复制机制 覆盖机制
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 53-60
• 页数: 8页
• 字数: 5038字
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2019.104

摘要

基于神经网络编码-解码框架的复述生成模型存在两方面的问题:1)生成的复述句中存在实体词不准确、未登录词和词汇重复生成;2)复述平行语料的有限规模限制了编码器的语义学习能力.针对第一个问题,本文提出在解码过程中融合注意力机制、复制机制和覆盖机制的多机制复述生成模型,利用复制机制从原句复制词语来解决实体词和未登录词生成问题;利用覆盖机制建模学习注意力机制的历史决策信息来规避词汇重复生成.针对第二个问题,基于多任务学习框架,提出在复述生成任务中联合自编码任务,两个任务共享一个编码器,同时利用平行复述语料和原句子数据,共同增强复述生成编码器的语义学习能力.在Quora复述数据集上的实验结果表明,提出的联合自编码的多机制融合复述生成模型有效地解决了复述生成的问题,并提高了复述句的生成质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐金安	北京交通大学计算机与信息技术学院	35	194	10.0	13.0
2	张玉洁	北京交通大学计算机与信息技术学院	34	208	9.0	13.0
3	刘明童	北京交通大学计算机与信息技术学院	8	7	2.0	2.0
4	张姝		1	0	0.0	0.0
5	孟遥	联想研究院人工智能实验室	1	0	0.0	0.0
6	陈钰枫	北京交通大学计算机与信息技术学院	22	54	3.0	6.0