基于BERT嵌入的中文命名实体识别方法

• 作者: 杨飘 董文永
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 中文命名实体识别 BERT模型 BiGRU模型 预训练语言模型 条件随机场
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 40-45,52
• 页数: 7页
• 分类号: TP391.1
• 字数: 4690字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0054272

摘要

在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43％和94.18％,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	董文永	武汉大学计算机学院	33	310	10.0	16.0
2	杨飘	武汉大学计算机学院	2	10	2.0	2.0