中文分词算法研究综述

• 作者: 吴新丽 徐豪杰 杨文珍 汪文妃
• 来源期刊: 成组技术与生产现代化
• 学科: 工学
• 关键词: 中文分词 歧义消除 未登录词识别 词典机制 语义理解 深度学习
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 信息化技术
• 页码范围: 1-8
• 页数: 8页
• 分类号: TP312
• 字数: 9733字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-3269.2018.03.001

摘要

针对制约中文分词算法效能的歧义消除和未登录词识别两大瓶颈, 归纳和总结近年来基于词典、基于统计以及基于语义理解中文分词算法的研究内容.基于词典的分词算法以提高时间和空间效率为目标, 通过改进词典结构来提高分词效率.双字哈希结构是目前查词性能较好的词典机制, 但对于歧义消除和未登录词识别的贡献度有限.基于统计的分词算法通过改进统计语言概率模型, 在一定程度上可消除中文分词的歧义, 较好地识别出未登录词.条件随机场模型 (CRF) 综合了隐马尔科夫模型 (HMM) 和最大熵模型 (ME) 的特征, 是目前基于统计分词算法的主流训练模型.随着神经网络的研究应用, 基于语义理解的分词算法对歧义消除和未登录词识别表现出较好的性能, 能够提高中文分词的正确率.未来中文分词算法将更多地围绕上下文语义开展研究, 运用深度学习技术进一步提升歧义消除和未登录词识别的能力, 从而提高中文分词的正确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨文珍	浙江理工大学机械与自动控制学院	49	162	7.0	9.0
2	吴新丽	浙江理工大学机械与自动控制学院	35	169	8.0	11.0
3	徐豪杰	浙江理工大学机械与自动控制学院	6	12	1.0	3.0
4	汪文妃	浙江理工大学机械与自动控制学院	1	11	1.0	1.0