Hadoop平台下自响应故障感知的检测技术研究实现

• 作者: 严业平 张树东 赵序光
• 来源期刊: 计算机测量与控制
• 关键词: Hadoop 异构环境 负载 调度器 作业
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 测试与故障诊断
• 页码范围: 14-16
• 页数: 3页
• 分类号: TP3
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2016.11.005

摘要

当今云计算环境下,Hadoop已经成为大数据处理的事实标准;然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业;虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败;针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生;最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19％,并缩短了作业执行时间,同时也减少CPU和内存的使用.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张树东	首都师范大学信息工程学院	24	80	5.0	8.0
2	赵序光	首都师范大学信息工程学院	1	3	1.0	1.0
3	严业平	首都师范大学信息工程学院	2	3	1.0	1.0