资源不均衡Spark环境任务调度优化算法研究

• 作者: 毛家发 盛夏 胡亚红
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 异构集群 任务调度 节点优先级 Spark
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 203-209
• 页数: 7页
• 分类号: TP393
• 字数: 4774字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2020.02.003

摘要

由于硬件资源的更新换代,集群中各个节点的计算能力会变得不一致.集群异构的出现导致集群计算资源不均衡.目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况,影响了系统性能的发挥.构建了集群节点的评价指标体系,提出利用节点的优先级来表示其计算能力.提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级.基于节点优先级的Spark动态自适应调度算法(SDASA)则根据实时的节点优先级值完成任务的分配.实验表明,SDASA能够缩短任务在集群中的执行时间,从而提升集群整体计算性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡亚红	浙江工业大学计算机学院	15	41	4.0	6.0
2	毛家发	浙江工业大学计算机学院	9	18	3.0	4.0
3	盛夏		1	0	0.0	0.0