面向多用户环境的MapReduce集群调度算法研究

• 作者: 陈重韬
• 来源期刊: 高技术通讯
• 关键词: MapReduce集群 多用户环境 调度算法 作业执行信息收集
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 计算机与通信
• 页码范围: 295-302
• 页数: 8页
• 字数: 6589字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2017.04.001

摘要

针对MapReduce集群现有调度策略在多用户环境下无法根据用户的实际资源需求实现动态资源分配的问题,提出了一种基于历史执行信息(HEI)的MapReduce集群调度算法——HEI Scheduler.该算法通过建立集群作业执行信息的收集和分析机制,得到各用户组资源需求随时间变化的规律,并以作业实际占用slot的时间作为作业占用资源量的衡量标准,进而动态地确定资源池的最小共享资源以及集群剩余资源分配的权值.实验结果表明,执行信息分析机制能够更准确地表征作业对资源的需求,采用集群调度算法HEI Scheduler能够有效地缩短作业的整体执行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈重韬	中国科学院计算技术研究所计算机应用研究中心	4	8	2.0	2.0