一种异构环境下的基于MapReduce任务调度改进机制

• 作者: 何翔 唐卓 李仁发
• 来源期刊: 计算机应用研究
• 关键词: MapReduce 调度算法 资源预测 数据放置 异构环境
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 软件技术研究
• 页码范围: 3370-3373,3379
• 页数: 5页
• 分类号: TP302
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.11.042

摘要

针对在异构环境下采用现有MapReduce任务调度机制可能出现各计算节点间数据迁移和系统资源分配难以管理的问题,提出一种动态的任务调度机制来改善这些问题.该机制先根据节点的计算能力按比例放置数据,然后通过资源预测方法估计异构环境下MapReduce任务的完成时间,并根据完成时间计算任务所需的资源.实验结果表明,该机制提高了异构环境下任务的数据本地性比例,且能动态地调整资源分配,以保证任务在规定时间内完成,是一种有效可行的任务调度机制.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李仁发	湖南大学嵌入式系统及网络实验室	468	4582	30.0	44.0
5	唐卓	湖南大学嵌入式系统及网络实验室	19	255	8.0	15.0
9	何翔	湖南大学嵌入式系统及网络实验室	1	13	1.0	1.0