混合语料的新词识别算法设计

• 作者: 余小燕
• 来源期刊: 福建电脑
• 关键词: 混合语料 新词识别 互信息 熵
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 论著|Research Articles
• 页码范围: 1-5
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2021.04.001

摘要

随着全球化趋势和国际交流的日益频繁,语言之间的渗透与融合日渐增加,不同语种夹杂的表达方式在生活中也相当普遍,特别是在使用双语或多语的地区.作为一个多民族融合的国家,我国各地的方言与普通话夹杂的表达方式也不在少数.这种语言混用的现象造成了分词识别上的困难.本文收集了各种多语夹杂的相关语料,分析了多语夹杂的语言特征,在此基础上提出了以互信息(mutual information)和熵(entropy)过滤为基础的新词识别算法,有效提高了从混合语料中识别新词的精度.