结合预训练模型和语言知识库的文本匹配方法

• 作者: 周烨恒 徐睿峰 石嘉晗
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 文本匹配 预训练模型 语言知识库融合
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 信息抽取与文本挖掘
• 页码范围: 63-72
• 页数: 10页
• 分类号: TP391
• 字数: 7069字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2020.02.008

摘要

针对文本相似性匹配任务,该文提出了一种大规模预训练模型融合外部知识库的方法.该方法分为三阶段:基础语言模型预训练阶段、外部知识库学习任务生成及联合训练阶段、下游任务微调阶段.在该文中探讨了方法的设计原理和原则.面向第二阶段,利用WordNet语言知识库生成学习任务,提升了现有BERT模型的性能.在第三阶段,针对相似度匹配任务进行微调.该文还试验了对知识库生成的学习任务和引入的外部任务进行联合训练,通过在微软公司提出的MT-DNN模型基础上取得进一步的性能提升,证明了知识库学习任务联合强化的可行性.此外,该文还探讨和验证了生成学习任务时结合下游任务特定知识,以在下游任务无法微调时改进模型性能的方法.