Storm流处理平台中负载均衡机制的实现

• 作者: 唐鹏 张楠 柴小丽 谢彬
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: Storm 流处理 分布式计算 批量处理 负载均衡
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 65-70,76
• 页数: 7页
• 分类号: TP302.7
• 字数: 6766字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2017.12.013

摘要

Storm流处理平台解决了传统的基于Hadoop的批处理系统实时性不高的问题,为多源异构大数据处理提供了高效、快速、实时的数据处理框架.然而Storm平台在任务分配过程中只考虑了不同节点之间可用Slot的排序,并没有充分考虑节点的实际负载情况,从而容易产生负载不均衡的问题.针对以上问题,本文在Storm分布式流处理系统上实现对可用Slot和节点负载情况的加权排序改进Storm调度算法,通过数据结构设计,保证rowkey的随机性和唯一性,确保RegionServer的负载平衡;同时通过批量写入的机制,提高Hbase数写入速度,从而提高流数据存储效率.通过与原生Storm 系统的对比实验,表明本文算法的改进和机制优化保证了数据的快速写入,提高了集群资源的利用率,改进后的系统在实用性与效率上具有明显的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张楠	中国电子科技集团公司第三十二研究所信息服务平台室	6	24	3.0	4.0
2	柴小丽	中国电子科技集团公司第三十二研究所信息服务平台室	12	55	5.0	6.0
3	谢彬	中国电子科技集团公司第三十二研究所信息服务平台室	12	42	4.0	6.0
4	唐鹏	中国电子科技集团公司第三十二研究所信息服务平台室	4	19	2.0	4.0