基于机器学习的 MapReduce 资源调度算法

• 作者: 于倩 朱林军 王开 蔚承建
• 来源期刊: 计算机应用研究
• 关键词: MapReduce 重叠阶段 自适应性 机器学习 贝叶斯分类器
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 111-114
• 页数: 4页
• 分类号: TP181|TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.01.026

摘要

针对 MapReduce 中允许 map 和 shuffle 阶段重叠的优化模型需要自适应性的问题，提出了基于此模型的机器学习的资源调度算法，利用贝叶斯分类器依据作业对系统资源的需求和系统环境的匹配程度对作业进行调度，并不断更新分类器，使其具有自适应性，考虑了 map 和 shuffle 的重叠阶段。通过模拟实验验证，改进后的算法能够提高 MapReduce 系统的性能，获得更好的平均响应时间。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔚承建	南京工业大学电子与信息工程学院	50	169	8.0	9.0
2	王开	东南大学信息科学与工程学院	27	118	7.0	9.0
3	于倩	南京工业大学电子与信息工程学院	2	11	2.0	2.0
4	朱林军	南京工业大学电子与信息工程学院	2	11	2.0	2.0