云环境下基于数据流的k-means聚类算法

• 作者: 刘亮 沈尧 王飞 秦小麟
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: k-means MapReduce 计算框架 数据流
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 软件与数据库技术
• 页码范围: 235-239,265
• 页数: 6页
• 分类号: TP311
• 字数: 7826字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2015.11.048

摘要

k-means算法是一种最常用的基于划分的聚类算法.传统的集中式k-means算法已不能适应当前呈爆炸式增长的数据规模,设计分布式k-means算法成为了目前亟需解决的问题.现有分布式k-means算法基于MapReduce计算框架且没有考虑初始聚类中心的影响.由于每个MapReduce任务均需要读写分布式文件系统,导致MapReduce不能有效表达多个任务之间的依赖关系,因此提出了一种基于数据流的计算框架,该框架建立在MapReduce之上,将数据处理过程按照数据流图建模.在该框架的基础上,提出了一种高效的k-means算法,它采用基于多次采样的初始聚类中心选取方法来实现负载均衡及减少迭代次数.实验结果表明,该算法的可扩展性较好,且效率比现有算法高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦小麟	南京航空航天大学计算机科学与技术学院	175	1597	20.0	30.0
2	王飞	南京航空航天大学计算机科学与技术学院	39	362	11.0	18.0
3	沈尧	南京航空航天大学计算机科学与技术学院	7	66	4.0	7.0
4	刘亮	南京航空航天大学计算机科学与技术学院	33	163	7.0	11.0