基于Storm拓扑结构热边的调度算法

• 作者: 熊安萍 王贤稳 邹洋
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 实时计算 拓扑结构热边 调度算法 负载均衡 网络通信
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 37-42
• 页数: 6页
• 分类号: TP311
• 字数: 5186字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.01.007

摘要

Storm分布式实时计算系统采用轮询调度算法达到任务均衡分配的目的,但Storm默认调度算法未考虑计算节点间的网络通信开销,可能造成topology处理时延高、集群吞吐量低等问题.为此,引入Storm topology热边的概念,通过减少网络传输的tuple数量,将热边关联的源executor和目标executor调度到同一工作节点执行,提升Storm集群的计算性能.实验结果表明,该调度算法能够有效降低Storm处理时延及集群节点间的通信量,提高系统吞吐量,并且有利于集群的负载均衡.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊安萍	重庆邮电大学计算机科学与技术学院	44	302	9.0	15.0
2	邹洋	重庆邮电大学计算机科学与技术学院	16	85	6.0	8.0
3	王贤稳	重庆邮电大学计算机科学与技术学院	5	23	2.0	4.0