基于BERT的ONE-PASS粗细粒度命名实体识别

• 作者: 刘育荣
• 来源期刊: 信息与电脑
• 关键词: 命名实体识别 BERT ONE-PASS 粗细粒度 多任务学习
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 人工智能与识别技术
• 页码范围: 129-133
• 页数: 5页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.3969/j.issn.1003-9767.2021.04.045

摘要

在自然语言处理领域,实体信息抽取是一项基础任务,由于细粒度命名实体识别存在类型混淆问题,本文提出一种基于BERT的粗细两种粒度ONE-PASS多任务学习模型.该模型使用中文预训练模型BERT代替传统的Word2Vec静态词向量及BiLSTM-CRF模型,并采用多层Transformer多头自注意力的单模型输出细粒度和粗粒度的标注序列及置信度,在保障准确度的前提下按大类别和小类别分别抽取更适合下游任务的实际应用场景,不仅能够提升词向量表征能力,还能避免误差传递.