基于字簇的多模型中文分词方法研究

• 作者: 张少阳 张桂平 李对红 王裴岩
• 来源期刊: 计算机应用研究
• 关键词: 中文分词 构词规律 模型参数 聚类
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 355-359,374
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.08.0540

摘要

字标注分词方法是当前中文分词领域中一种较为有效的分词方法,但由于中文汉字本身带有语义信息,不同字在不同语境中其含义与作用不同,导致每个字的构词规律存在差异.针对这一问题,提出了一种基于字簇的多模型中文分词方法,首先对每个字进行建模,然后对学习出的模型参数进行聚类分析形成字簇,最后基于字簇重新训练模型参数.实验结果表明,该方法能够有效地发现具有相同或相近构词规律的字簇,很好地区别了同类特征对不同字的作用程度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张桂平	沈阳航空航天大学人机智能研究中心	58	447	11.0	19.0
2	王裴岩	沈阳航空航天大学人机智能研究中心	25	100	6.0	9.0
3	李对红	沈阳航空航天大学人机智能研究中心	1	0	0.0	0.0
4	张少阳	沈阳航空航天大学人机智能研究中心	2	6	1.0	2.0