云平台下图数据处理技术

• 作者: 刘超 唐郑望 姚宏 梁庆中 胡成玉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 图数据处理 云计算 MapReduce计算模型 批量同步并行模型 PageRank算法
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 先进计算
• 页码范围: 43-47
• 页数: 5页
• 分类号: TP391|TP311
• 字数: 6119字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2015.01.0043

摘要

针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——MyBSP.首先,分析了MapReduce的运行机制及不足之处;其次,阐述了MyBSP框架的结构、工作流程及主要接口;最后,在分析PageRank图处理算法原理的基础上,设计并实现了基于MyBSP框架的PageRank算法.实验结果表明,基于MyBSP框架的图数据处理算法与基于MapReduce的算法相比,迭代处理的性能提升了1.9 ～3倍.MyBSP算法的执行时间减少了67％,能够满足图数据高效处理的应用前景.