距离感知和方向感知的Transformer Encoder用于司法领域实体识别

• 作者: 曹重阳 杨品莉
• 来源期刊: 现代计算机
• 关键词: 司法实体识别 自然语言处理 深度学习 Transformer 双向长短期记忆模型
• 年，卷（期）: 2021,（21）
• 所属期刊栏目: 研究与开发|Research and Development
• 页码范围: 22-28
• 页数: 7页
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2021.21.004

摘要

命名实体识别(NER)是在句子中找到一个实体的开始和结束,并为这个实体指定一个类,它在自然语言处理(NLP)领域得到了广泛研究,准确率和鲁棒性都有明显提升.利用深度学习自动进行司法信息的实体识别极大促进了司法领域的发展,同时为司法事件的抽取和司法知识图谱的构建提升了发展空间.近年来,由于全连接的自注意力结构(Transformer)的并行性和对长程上下文建模的优势,其被广泛应用于各种自然语言处理任务.由于减刑案件、假释案件及暂予监外执行案件的裁判文书中实体的距离和相对位置的特殊性,本文基于Transformer结构,加入距离自注意力和方向自注意力,提出距离感知和方向感知的Transformer Encoder(DDATE),它对字符级特征和字级特征进行建模.实验证明,所提出的DDATE司法实体识别模型比基于双向长短期记忆(BiLSTM)的模型和普通的Transformer模型提升了很大性能.