复述平行语料构建及其应用方法研究

• 作者: 王雅松 刘明童 张玉洁 徐金安 陈钰枫
• 来源期刊: 北京大学学报（自然科学版）
• 关键词: 复述语料构建 数据增强 迁移学习 复述识别 自然语言推理
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 专题报道:面向人工智能的自然语言分析与理解
• 页码范围: 68-74
• 页数: 7页
• 语种: 中文
• DOI: 10.13209/j.0479-8023.2020.078

摘要

以汉语为研究对象,提出构建大规模高质量汉语复述平行语料的方法.基于翻译引擎进行复述数据增强,将英语复述平行语料迁移到汉语中,同时人工构建汉语复述评测数据集.基于构建的汉语复述数据,在复述识别和自然语言推理任务中验证复述数据构建及其应用方法的有效性.首先基于复述语料生成复述识别数据集,预训练基于注意力机制的神经网络句子匹配模型,训练模型捕获复述信息,然后将预训练的模型用于自然语言推理任务,改进其性能.在自然语言推理公开数据集上的评测结果表明,所构建的复述语料可有效地应用在复述识别任务中,模型可以学习复述知识.应用在自然语言推理任务中时,复述知识能有效地提升自然语言推理模型的精度,从而验证了复述知识对下游语义理解任务的有效性.所提出的复述语料构建方法不依赖语种,可为其他语言和领域提供更多的训练数据,生成高质量的复述数据,改进其他任务的性能.