基于BSTTC模型的中文命名实体识别

• 作者: 申晖 张英俊 谢斌红 赵红燕
• 来源期刊: 计算机系统应用
• 关键词: BERT 星型Transformer 命名实体识别 TextCNN 条件随机场
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 研究开发|Research and Development
• 页码范围: 262-270
• 页数: 9页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007935

摘要

大多数中文命名实体识别模型中, 语言预处理只关注单个词和字符的向量表示, 忽略了它们之间的语义关系, 无法解决一词多义问题; Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果, 但全连接结构使得计算复杂度为输入长度的平方, 导致其在中文命名实体识别的效果不佳. 针对这些问题, 提出一种基于BSTTC (BERT-Star-Transformer-TextCNN-CRF)模型的中文命名实体识别方法. 首先利用在大规模语料上预训练好的BERT模型根据其输入上下文动态生成字向量序列; 然后使用星型Transformer与TextCNN联合模型进一步提取句子特征; 最后将特征向量序列输入CRF模型得到最终预测结果. 在MSRA中文语料上的实验结果表明, 该模型的精确率、召回率和F1值与之前模型相比, 均有所提高. 与BERT-Transformer-CRF模型相比,训练时间大约节省了65％.