Hadoop云平台下Nutch中文分词的研究与实现

• 作者: 刘洪娟 吴辰铌 朱志良 朱潜
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: Nutch Hadoop 中文分词 云计算
• 年，卷（期）: 2013,（12）
• 所属期刊栏目: 计算机软件与数据库
• 页码范围: 2772-2776
• 页数: 5页
• 分类号: TP311
• 字数: 4468字
• 语种: 中文

摘要

Nutch是开源搜索引擎,Hadoop是Apache开发的类似于Google GFS和MapReduce的开源云平台.利用Nutch和Hadoop可以设计高效、可靠、可扩展的搜索引擎,然而Nutch的分词模块对中文进行单字切分,不符合在汉语中以词语切分的习惯,为了解决这个问题,采用词典分词的中文分词器IK Analyzer对Nutch的分词模块进行改进,首先描述在Nutch上实现IKAnalyzer的方法,然后在Hadoop云环境下对该分词模块进行测试.测试结果表明,IK Analyzer的中文分词效果很符合汉语的习惯,对Nutch的理论和应用研究具有一定的意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志良	东北大学软件学院	112	1344	20.0	32.0
2	朱潜	东北大学软件学院	5	25	3.0	5.0
6	吴辰铌	东北大学软件学院	6	22	2.0	4.0
7	刘洪娟	东北大学软件学院	4	23	2.0	4.0