基于BERT模型的司法文书实体识别方法

• 作者: 何涛 闻英友 陈剑 马林涛
• 来源期刊: 东北大学学报（自然科学版）
• 学科: 工学
• 关键词: 深度学习 预训练模型 双向长短时记忆网络 条件随机场 命名实体识别
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 信息与控制
• 页码范围: 1382-1387
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.12068/j.issn.1005-3026.2020.10.003

摘要

采用手工分析案件卷宗,容易产生案件实体遗漏现象及提取特征效率低下问题.为此,使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数,再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码,完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势,可有效提升实体抽取效果.实验结果表明,本文提出的模型能实现89％ 以上的实体提取准确度,显著优于传统的循环神经网络和卷积神经网络模型.