加入自注意力机制的BERT命名实体识别模型

• 作者: 吴晨 毛明毅 钟义信 陈志成
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 命名实体识别 BERT 自注意力机制 深度学习 条件随机场 自然语言处理 双向长短期记忆网络 序列标注
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 吴文俊人工智能科学技术奖论坛
• 页码范围: 772-779
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11992/tis.202003003

摘要

命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础.为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型.并在该模型的基础上进行了两种改进实验.方法 一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显.方法 二,减小BERT模型嵌入层数.实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间.采用9层嵌入时,在MSRA中文数据集上F1值提升至94.79％,在Weibo中文数据集上F1值达到了68.82％.