基于负载感知的数据流动态负载均衡策略

• 作者: 于炯 卞琛 李梓杨 王跃飞 鲁亮
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 数据流 负载均衡 深度优先搜索 负载感知 Apache Flink
• 年，卷（期）: 2017,（10）
• 所属期刊栏目: 先进计算
• 页码范围: 2760-2766,2772
• 页数: 8页
• 分类号: TP393.02
• 字数: 9498字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.10.2760

摘要

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中.首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响.经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学软件学院	176	1315	20.0	28.0
5	卞琛	新疆大学信息科学与工程学院	25	209	8.0	13.0
6	鲁亮	新疆大学信息科学与工程学院	31	234	10.0	13.0
7	王跃飞	新疆大学信息科学与工程学院	17	94	5.0	9.0
8	李梓杨	新疆大学软件学院	9	57	4.0	7.0