一种基于主动学习的中文新词识别算法

• 作者: 代翔 刘洋 时聪 王博
• 来源期刊: 电讯技术
• 学科: 工学
• 关键词: 中文自然语言处理 中文新词识别 主动学习 深度神经网络 人工规则
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 应用基础与前沿技术
• 页码范围: 1265-1270
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-893x.2020.11.001

摘要

分词是中文自然语言处理的重要基础,新词的不断涌现是分词的最大难题.针对新词识别定义不清、语料缺乏的实际问题,提出了一种以大规模神经网络预训练模型为基础,并结合主动学习和人工规则的新词识别算法.利用预训练模型高效识别候选新词,使用基于不确定性和代表性样本选择的主动学习策略辅助标注新词,利用热度规则、突发性规则和合成性规则识别和过滤新词发现结果.针对新词识别评价标准不一致的问题,给出了一般性准确率和受限制准确率两条规范测试指标.与现有最优算法进行实验对比,所提算法两项指标分别提高了16％和4％.