异构资源环境下Hadoop节点能力自适应调度算法

• 作者: 沈学利 盛方严
• 来源期刊: 计算机应用研究
• 关键词: Hadoop 异构资源 节点能力 自适应
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 网络与通信技术
• 页码范围: 547-550
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2018.08.0554

摘要

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS(node capacity adaptive scheduling).首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点.实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈学利	辽宁工程技术大学电子与信息工程学院	61	373	10.0	17.0
2	盛方严	辽宁工程技术大学研究生院	1	0	0.0	0.0