一种Spark环境下的高效率大规模图数据处理机制

• 作者: 张学杰 杨天晴 杨旭涛 王津
• 来源期刊: 计算机应用研究
• 关键词: 图计算 内存计算 图数据库 Hadoop Spark PageRank
• 年，卷（期）: 2016,（12）
• 所属期刊栏目: 软件技术研究
• 页码范围: 3730-3734,3747
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.12.047

摘要

针对现有的图处理和图管理框架存在的效率低下以及数据存储结构等问题，提出了一种适合大规模图数据的处理机制。首先分析了目前的一些图处理模型以及图存储框架的优势与存在的不足。其次，通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计图数据处理框架。最后通过PageRank和SSSP算法设计实验，与MapReduce框架和采用HDFS作持久层的Spark框架进行性能对比。实验证明提出的框架要比 MapReduce 框架快90倍，比采用 HDFS 作持久层的Spark框架快2倍，能够满足高效率图数据处理的应用前景。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张学杰	云南大学信息学院	40	337	9.0	16.0
2	王津	云南大学信息学院	2	14	2.0	2.0
3	杨旭涛	云南大学信息学院	2	7	1.0	2.0
4	杨天晴	云南大学信息学院	1	7	1.0	1.0