基于MapReduce网页文本并行化计算的研究

• 作者: 尹铁源 张瑞琴
• 来源期刊: 信息通信
• 学科: 工学
• 关键词: 文本聚类 k-means算法 MapReduce HDFS
• 年，卷（期）: 2018,（4）
• 所属期刊栏目: 学术研究
• 页码范围: 32-34
• 页数: 3页
• 分类号: TP393.08
• 字数: 2517字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-1131.2018.04.014

摘要

为了快速在浩如烟海的网页里定位用户感兴趣的信息,提出基于Hadoop的网页文本聚类的算法,网页文本以key,value形式存储到分布式文件系统(HDFS),使用基于统计的方法进行分词操作,去噪,特征提取,构建向量空间模型,提出基于MapReduce实现改进的k-means聚类算法.经实验验证,不同规模的数据集实现分布式计算,数据集越大,聚类效果越好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尹铁源	沈阳工业大学信息科学与工程学院	8	52	3.0	7.0
2	张瑞琴	沈阳工业大学信息科学与工程学院	1	0	0.0	0.0