MapReduce模型中间数据处理流程的改进

• 作者: 任孝锋 吴崇正 李喜艳 陈利军
• 来源期刊: 大科技
• 学科: 工学
• 关键词: MapReduce Hadoop 中间数据处理 狄克逊准则
• 年，卷（期）: 2015,（25）
• 所属期刊栏目: 科技探索与应用
• 页码范围: 269-270
• 页数: 2页
• 分类号: TP311.5
• 字数: 2177字
• 语种: 中文

摘要

传统的MapReduce编程模型在实际数据处理流程中,在Map阶段处理后的数据,生成的中间结果可能有的偏大,有的偏小,造成数据不均衡现象的出现,这样就会在某些Reduce节点上出现因分配数据过大而引起"累死"的现象,与此同时,有的节点因分配不到任务或者分配的任务较少,而出现"饿死"的情况.针对中间结果的不均衡问题,本文采用狄克逊(Dixon)准则改进MapReduce模型系统架构,实验证明该模型有一定的优化效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈利军		7	4	1.0	2.0
2	吴崇正	兰州理工大学计算机与通信学院	3	38	2.0	3.0