知识增强预训练模型

• 作者: 王海峰 孙宇 吴华
• 来源期刊: 中兴通讯技术
• 关键词: 自然语言处理 预训练模型 知识增强
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 热点专题|Special Topic
• 页码范围: 16-24
• 页数: 9页
• 语种: 中文
• DOI: 10.12142/ZTETJ.202202004

摘要

预训练模型主要从海量未标注、无结构化的数据中学习,但缺少外部知识指导,存在模型学习效率不高、模型效果不佳和知识推理能力受限等不足.如何在预训练模型中引入语言知识、世界知识等外部知识,提升模型效果以及知识记忆和推理能力是一个难题.本文从不同类型知识的引入、融合知识的方法、缓解知识遗忘的方法等角度,介绍知识增强预训练模型的发展,并以知识增强预训练模型百度文心为例,详细探讨知识增强预训练模型的原理和应用.