一种基于字的多模型中文分词方法

• 作者: 张少阳 王裴岩 蔡东风
• 来源期刊: 沈阳航空航天大学学报
• 学科: 工学
• 关键词: 字标注 多模型 特征向量化
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 信息科学与工程
• 页码范围: 70-75
• 页数: 6页
• 分类号: TP391.1
• 字数: 4144字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-1248.2017.01.011

摘要

字标注的分词方法是当前中文分词领域中一种较为有效的分词方法.但由于中文汉字本身带有语义信息,不同的字在不同语境中其含义与作用不同,导致与上下文的相关性不同,每个字的构词规律存在差异.针对这一问题,提出了一种多模型的分词方法.该方法对每个字单独建立模型,能够有效区分每个特征对不同待切分字的影响,从而学习出每个字的特殊构词规律.由于向量化的特征表示能够有效地解决特征稀疏问题,采用特征向量化来表示输入特征.实验结果表明,该方法是一种有效的中文分词方法,很好地区分出了同类特征对于不同字的作用程度,充分体现了每个字的构词规律.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡东风	沈阳航空航天大学人机智能研究中心	105	916	14.0	27.0
2	王裴岩	沈阳航空航天大学人机智能研究中心	25	100	6.0	9.0
3	张少阳	沈阳航空航天大学人机智能研究中心	2	6	1.0	2.0