Hadoop云平台MapReduce模型优化研究

• 作者: 张红 曹洁 王慜 王晓明 郭义戎 马彦宏
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop MapReduce OpenMP 分布式 并行
• 年，卷（期）: 2016,（22）
• 所属期刊栏目: 热点与综述
• 页码范围: 22-25
• 页数: 4页
• 分类号: TP393
• 字数: 3379字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1604-0388

摘要

针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题，从提高平台中每个执行节点的细粒度并行数据处理角度出发，结合Java共享内存多线程编程技术，对该模型进行了优化，提出一种MapReduce+OpenMP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理，验证该模型的性能和效率，实验结果证明MapReduce+OpenMP分布式并行计算模型确实能够提高针对大数据集的计算效率，是对Hadoop平台大数据分析处理模型有效的完善和优化。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张红	兰州理工大学电气与信息工程学院	21	140	6.0	11.0
5	曹洁	兰州理工大学计算机与通信学院	180	1035	14.0	20.0
6	王晓明	兰州理工大学电气与信息工程学院	42	298	9.0	15.0
7	郭义戎	兰州理工大学电气与信息工程学院	4	49	3.0	4.0
8	马彦宏		10	50	4.0	7.0
9	王慜	兰州理工大学电气与信息工程学院	2	20	1.0	2.0