Hadoop迭代优化技术的研究

• 作者: 王晓军 邹亮亮
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop 迭代 map端存储
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 98-102
• 页数: 5页
• 分类号: TP31
• 字数: 5063字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2014.09.022

摘要

Hadoop是处理海量数据的分布式计算框架，已经得到了广泛的应用。但是Hadoop处理图结构数据存在一些不足。图结构数据的强耦合特性，无法通过一次MapReduce计算得出结果，而是需要迭代计算，甚至一次迭代需要多次Ma-pReduce完成。而重新启动MapReduce作业，开销较大，以及迭代过程中可能存在静态数据的不必要传输。文中在Hadoop的基础之上，提出map端存储的策略，即将静态数据存储在map端，在map端完成静态与动态数据相关的计算，减少了整个迭代计算的总运行时间。通过搭建修改过的Hadoop平台，与改进前迭代方案进行比较，实验结果表明map端存储策略运行时间得到了一定程度的减少。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晓军	南京邮电大学信息网络技术研究所	28	180	9.0	12.0
2	邹亮亮	南京邮电大学信息网络技术研究所	1	6	1.0	1.0