基于可扩展外部知识的分词模型研究

• 作者: 王泽 陈世友
• 来源期刊: 舰船电子工程
• 学科: 数学
• 关键词: 中文分词 先验知识 注意力机制 深度学习
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 计算机与网络安全
• 页码范围: 99-103,119
• 页数: 6页
• 分类号: O141.4
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9730.2022.01.023

摘要

中文分词是作战文书中语义理解的基本任务.在中文分词的研究中,未登录词识别始终是一个难题.论文通过了一种可扩展外部知识的中文分词模型来提高未登录词的召回率.分词模型以基于序列标注的深度网络模型为骨架,使用双路注意力机制融入外部知识.外部知识是词范畴信息,是一种上下文信息,有助于识别未登录词.双路注意力机制使用自注意力机制编码词范畴信息.在构建的语料集上进行实验,试验结果表明,相对于基线方法,论文实现的分词模型能有效提升作战文书中文分词的准确率以及未登录词的召回率.