一种有效的基于GraphX的分布式结构化图聚类算法

• 作者: 印莹 时生乐 李源 王国仁 赵宇海
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: Spark GraphX 分布式计算 图聚类 社区结构
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 数据库技术
• 页码范围: 1571-1582
• 页数: 12页
• 分类号: TP301
• 字数: 7732字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1709050

摘要

结构化图聚类是大图数据分析的主要技术之一,在社区检测、生物功能发现和图可视化等许多实际应用中具有重要意义.目前的分布式结构化图聚类算法大多基于Hadoop的MapReduce框架,但该框架需要精确计算图中所有邻接顶点之间的相似性且需要大量的磁盘I/O开销,极大增加了算法的运行时间.针对以上问题,主要工作和贡献点如下:(1)提出两个削减规则,第一个削减规则用来减少邻接顶点之间相似性计算次数,第二个削减规则通过非精确计算邻接顶点间的相似性来减少计算时间.(2)提出一种基于Spark中GraphX的结构化图聚类算法GXDSGC,该算法在运行期间不需要大量的磁盘I/O开销.(3)通过在大量真实数据集和合成数据集上的实验,证实提出的GXDSGC算法的有效性.GXDSGC算法比基于Hadoop中MapReduce框架的算法快30多倍,能够显著提高结构化图聚类在大图数据分析中的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李源	东北大学计算机科学与工程学院	10	28	2.0	5.0
2	王国仁	东北大学计算机科学与工程学院	228	2804	25.0	45.0
3	印莹	东北大学计算机科学与工程学院	26	77	5.0	8.0
4	赵宇海	东北大学计算机科学与工程学院	30	40	4.0	5.0
5	时生乐	东北大学计算机科学与工程学院	1	1	1.0	1.0