基于单元集群的MapReduce中节点失效的改进

• 作者: 张乐
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: Hadoop架构 MapReduce框架 任务节点 工作节点 备份节点 节点失效 单元集群
• 年，卷（期）: 2013,（16）
• 所属期刊栏目: 技术与方法
• 页码范围: 81-84
• 页数: 4页
• 分类号: TP302.1
• 字数: 3886字
• 语种: 中文

摘要

针对传统MapReduce框架中任务节点和工作节点的失效问题,提出了在配置备份节点的分层主从式MapReduce框架中加入单元集群的处理方法.在改进框架中,任务处理的最小单位是单元集群,当单元集群中的某个工作节点失效或者超过时间阙值时,子任务节点则选择该单元集群中的空闲工作节点来分配任务,并且不需要重新传输任务文件分块,这既节省了工作节点重选择的时间,又降低了网络传输的压力.使用该框架针对不同数量的数据块进行实验,工作节点的灾难恢复时间均可以节省25 ms左右,证明了单元集群的处理方法可以有效解决工作节点的失效问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张乐	暨南大学信息科学与技术学院	5	36	2.0	5.0