基于Flink平台的资源感知任务调度策略

• 作者: 张猛 汪丽娟 英昌甜 赵燚 钱育蓉
• 来源期刊: 东北师大学报（自然科学版）
• 学科: 工学
• 关键词: 任务调度 资源感知 ApacheFlink 流式计算 性能优化 负载均衡
• 年，卷（期）: 2020,（2）
• 页码范围: 66-72
• 页数: 7页
• 分类号: TP311.5
• 字数: 5081字
• 语种: 中文
• DOI: 10.16163/j.cnki.22-1123/n.2020.02.011

摘要

针对Flink平台下先来先服务任务调度算法忽略任务资源需求与节点可用资源之间的关系,导致不同节点任务负载不均,从而影响系统吞吐量的问题,提出了基于Flink流式计算环境下资源感知任务调度策略.首先,以GlobalState模块监测的资源数据为依据,考虑任务资源需求与节点可用资源间的匹配关系,提出一种任务选择算法与节点选择算法选取待执行任务与最佳调度节点;其次,通过资源感知调度策略把待执行任务调度至最佳调度节点;最后,通过实验验证算法的有效性.实验结果表明,相比Flink平台现有的调度算法,本文所提出的算法在大数据基准测试WordCount以及TeraSort下的吞吐量平均提高了约29.32％和35.86％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱育蓉	新疆大学软件学院	85	510	13.0	20.0
2	赵燚	新疆大学信息科学与工程学院	5	4	1.0	2.0
3	汪丽娟	新疆大学软件学院	7	1	1.0	1.0
4	张猛	新疆大学软件学院	8	2	1.0	1.0