基于MapReduce的单遍K-means聚类算法

• 作者: 唐浩 杨余旺 辛智斌
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: MapReduce框架 数据聚类 K-means++ Mahout 单遍技术
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 26-30
• 页数: 5页
• 分类号: TP301.6
• 字数: 4885字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.09.006

摘要

K-means应用于MapReduce框架的大数据处理可显著提高K-means对大数据集的处理能力.但K-means聚类算法需要进行多次迭代才能达到可接受的效果,并将每次迭代作为一个独立map作业执行,需要读写整个数据集,从而导致显著的I/O消耗,与MapReduce框架的设计理念不符.为此,提出了一个基于MapReduce的单遍K-means算法(MR-SK).该算法采用流数据单遍算法读取数据,聚类时采用K-means++初始化seeding算法得到初始聚类中心.在理论分析MRSK算法复杂度的基础上,进行了MRSK算法的测试验证和相关分析.验证实验结果表明,相对于基于MapReduce和基于数据流的K-means聚类算法,所提出的MRSK算法在执行速度和聚类效果方面具有更好的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨余旺	南京理工大学计算机科学与工程学院	76	410	10.0	15.0
2	唐浩	南京理工大学计算机科学与工程学院	2	7	2.0	2.0
3	辛智斌		1	5	1.0	1.0