基于字词分类的层次分词方法

• 作者: 吴长茂 张聪品 赵理莉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 中文分词 字词分类 多词典分词 条件随机场
• 年，卷（期）: 2010,（8）
• 页码范围: 2034-2037
• 分类号: TP391.1
• 字数: 5902字
• 语种: 中文

摘要

中文分词是自然语言处理的基础性问题.条件随机场模型分词过程中出现的切分粒度过小和多字粘连造成的错分问题,是影响分词结果的两个主要原因.提出了一个基于字词分类的层次分词模型,该模型采用多部有效词典进行处理,在外层分词系统中解决切分粒度过小问题;在内层核心层,条件随机场分词后再处理多字粘连问题.实验结果表明,采用加入多词典的字词结合层次分类模型F-测度值有较大的提高,有助于得到好的分词结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张聪品	河南师范大学计算机与信息技术学院	45	202	9.0	12.0
2	吴长茂	河南师范大学计算机与信息技术学院	5	16	2.0	4.0
3	赵理莉	河南师范大学计算机与信息技术学院	6	19	2.0	4.0