基于MapReduce模型单点恢复时阻塞问题的解决方法研究

• 作者: 张钊宁 彭宇行
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: MapReduce Hadoop 任务调度 单点失效恢复 任务依赖关系
• 年，卷（期）: 2011,（3）
• 所属期刊栏目: 并行与分布式计算
• 页码范围: 146-151
• 分类号: TP393
• 字数: 5086字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2011.03.026

摘要

MapReduce分布式编程模型为大规模数据密集型计算提供了重要的应用基础平台.其任务调度模型为单点控制模型,这种模型使得体系结构简单,任务调度易于控制,但同时也存在中心节点失效的问题.在Hadoop系统中,当中心节点失效后,为了使得整个工作集群中的作业不中断,在不同版本的Hadoop中采取了按需同步、恢复历史记录和抛弃三种恢复机制.本文详细分析了这三种恢复机制中出现的数据阻塞、结果一致性和效率下降等问题,并针对MapReduce模型中两种基本任务依赖关系的特点,提出了传递依赖关系信息的同步机制,通过在同步过程中传递任务间已有的依赖关系,有效地解决已有机制中存在的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张钊宁		1	10	1.0	1.0
2	彭宇行		14	76	5.0	8.0