基于异常检测模型的异构环境下MapReduce性能优化

• 作者: 侯佳林 王佳君 聂洪玉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 异常检测 MapReduce性能优化 推测执行 异构环境
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 先进计算
• 页码范围: 2476-2481
• 页数: 6页
• 分类号: TP302
• 字数: 5221字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2015.09.2476

摘要

针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法.首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中.在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输.实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17％的任务处理时间,说明所提算法在集群整体性能优化中表现优异.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	聂洪玉	西南交通大学信息科学与技术学院	15	70	5.0	7.0
2	侯佳林	西南交通大学信息科学与技术学院	3	13	2.0	3.0
3	王佳君	西南交通大学信息科学与技术学院	4	24	3.0	4.0