Flink环境下基于负载预测的弹性资源调度策略

• 作者: 于炯 刘宇 卞琛 张译天 李梓杨 王跃飞 蒲勇霖
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 流式计算 资源调度 负载预测 性能瓶颈 Flink
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 学术论文
• 页码范围: 92-108
• 页数: 17页
• 分类号: TP311
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2020195

摘要

为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略.首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移.实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销.