Nutch中庖丁解牛中文分词的实现与评测

• 作者: 孙殿哲 陈岩 魏海平
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 中文分词 评分机制 庖丁解牛
• 年，卷（期）: 2010,（6）
• 所属期刊栏目: 应用与开发
• 页码范围: 187-190
• 分类号: TP311.1
• 字数: 2397字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2010.06.053

摘要

中文分词是搜索引擎面临的主要挑战之一.本文通过分析Nutch文档的评分机制,针对Nutch中文分词模块的分词不符合汉语习惯的情况,提出采用以词典分词法为基础的庖丁解牛分词模块对Nutch要采集的数据进行切分,描述在Nutch上实现庖丁解牛分词模块的方法,并对该分词模块进行测试.实验表明,庖丁解牛分词模块的分词结果更符合汉语习惯,并且在词项对文档的覆盖方面更加均衡,另外索引文件所占的存储空间节省20%～65%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏海平	辽宁石油化工大学计算机与通讯工程学院	55	352	10.0	17.0
2	陈岩	辽宁石油化工大学研究生学院	5	50	3.0	5.0
3	孙殿哲	辽宁石油化工大学研究生学院	2	41	2.0	2.0