Storm下基于最佳并行度的贪心调度算法

• 作者: 段杭彪 熊安萍 蒋亚雄
• 来源期刊: 计算机应用研究
• 关键词: 实时计算 Storm 最佳并行度 贪心策略 调度算法
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1068-1071,1079
• 页数: 5页
• 分类号: TP311|TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.11.0788

摘要

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用.Storm默认采用轮询的调度策略,且依赖用户对topology任务的并行度配置,当配置不合理时依然会造成topology处理时延增大、吞吐量降低等问题.针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法.调度时先求解topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销.通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明该算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊安萍	重庆邮电大学计算机科学与技术学院	44	302	9.0	15.0
2	蒋亚雄	重庆邮电大学计算机科学与技术学院	2	2	1.0	1.0
3	段杭彪	重庆邮电大学计算机科学与技术学院	2	2	1.0	1.0