基于Spark的并行图数据分析系统

• 作者: 刘旸 吴斌 王虹旭
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 云计算 并行算法 图数据分析 数据挖掘 社会网络分析
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 数据库技术
• 页码范围: 1066-1074
• 页数: 9页
• 分类号: TP311
• 字数: 6930字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1411045

摘要

提出了一种基于Spark云计算平台的并行数据分析系统。该系统以大规模图数据分析任务为主，并且支持非图数据分析的应用，集成数据分析算法集与非图数据分析算法集。详细阐述了该系统的架构设计，工作流引擎和动态组件更新技术以及部分并行数据分析算法的设计与实现。通过对多种规模的数据集进行性能测试，以及与传统的MapReduce平台进行性能对比，证明了该系统相对于以往的图数据挖掘系统可以更高效地完成计算任务，而且也可以有效进行非图数据分析。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴斌	北京邮电大学北京市智能通信软件与多媒体重点实验室	80	1409	15.0	36.0
2	刘旸	北京邮电大学北京市智能通信软件与多媒体重点实验室	3	32	2.0	3.0
3	王虹旭	北京邮电大学北京市智能通信软件与多媒体重点实验室	1	23	1.0	1.0