基于GraphX的分布式幂迭代聚类

• 作者: 徐晓燕 赵军
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: GraphX 图计算 幂迭代聚类 内存计算 RDD
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 先进计算
• 页码范围: 2710-2714
• 页数: 5页
• 分类号: TP301.6
• 字数: 4761字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.10.2710

摘要

为解决幂迭代聚类算法并行实现中存在的编程繁琐、效率低下等问题,基于Spark大规模数据通用计算引擎及其GraphX组件,提出了一种在分布式环境下实现幂迭代聚类的方法.首先,利用某种相似性度量方法,将原始数据转换成一个可以视为图的亲和矩阵;然后,通过顶点切割,把行归一化后的亲和矩阵切分成若干个小图,分别存储在不同的机器上;最后,利用Spark基于内存计算的特点,对存储在集群中的图进行多次迭代计算,得到这个图的一个切割,图的每一个划分子图对应一个类簇.在不同规模的数据集和不同executor个数下进行的实验结果表明,基于GraphX的分布式幂迭代聚类算法具有良好的可扩展性,算法运行时间与executor个数呈负相关的线性关系,在6个executor下,与单个executor相比,算法的加速比达到了2.09到3.77.同时,通过与基于Hadoop的幂迭代聚类进行对比,在新闻数量为40000篇时,运行时间降低了61％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵军	北京航空航天大学计算机科学与技术系	5	52	4.0	5.0
3	徐晓燕		2	4	1.0	2.0