基于流网络的Flink平台弹性资源调度策略

• 作者: 于炯 卞琛 张译天 李梓杨 王跃飞 蒲勇霖 鲁亮
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 流式计算 资源调度 弹性集群 负载迁移 Flink
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 学术论文
• 页码范围: 85-101
• 页数: 17页
• 分类号: TP311
• 字数: 12550字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2019173

摘要

为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink).该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移.实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间.由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
5	王跃飞	新疆大学信息科学与工程学院	17	94	5.0	9.0
6	李梓杨	新疆大学信息科学与工程学院	9	57	4.0	7.0
7	蒲勇霖	新疆大学信息科学与工程学院	14	40	4.0	5.0
8	张译天	新疆大学软件学院	3	6	2.0	2.0
9	卞琛	广东金融学院互联网金融与信息工程学院	3	6	2.0	2.0