基于Spark的BIRCH算法并行化的设计与实现

• 作者: 吴斌 李帅 杜修明 陈玉峰
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Spark BIRCH并行化 性能优化
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 高性能计算
• 页码范围: 35-41
• 页数: 7页
• 分类号: TP393.027
• 字数: 4844字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.01.004

摘要

在分布式计算和内存为王的时代,Spark作为基于内存计算的分布式框架技术得到了前所未有的关注与应用.着重研究BIRCH算法在Spark上并行化的设计和实现,经过理论性能分析得到并行化过程中时间消耗较多的Spark转化操作,同时根据并行化BIRCH算法的有向无环图DAG,减少shuffle和磁盘读写频率,以期达到性能优化.最后,将并行化后的BIRCH算法分别与单机的BIRCH算法和MLlib中的K-Means聚类算法做了性能对比实验.实验结果表明,通过Spark对BIRCH算法并行化,其聚类质量没有明显的损失,并且获得了比较理想的运行时间和加速比.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴斌	北京邮电大学计算机学院	80	1409	15.0	36.0
2	陈玉峰	国网山东省电力公司电力科学研究院	24	403	9.0	20.0
3	李帅	北京邮电大学智能通信软件与多媒体北京重点实验室	1	25	1.0	1.0
4	杜修明	国网山东省电力公司电力科学研究院	11	233	6.0	11.0