一种优化的Kafka消费者/客户端负载均衡算法

• 作者: 张晓丽 柳翠寅 王郑合 王锋 邓辉
• 来源期刊: 计算机应用研究
• 关键词: 分布式消息系统 发布订阅模式 Kafka 负载均衡 系统开销 可靠性
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2306-2309
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.08.015

摘要

Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用.但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题.提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区.系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡.测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王锋	昆明理工大学云南省计算机技术应用重点实验室	57	298	8.0	15.0
2	邓辉	昆明理工大学云南省计算机技术应用重点实验室	36	132	6.0	9.0
3	张晓丽	昆明理工大学云南省计算机技术应用重点实验室	8	39	3.0	6.0
4	柳翠寅	昆明理工大学云南省计算机技术应用重点实验室	5	42	2.0	5.0
5	王郑合	昆明理工大学云南省计算机技术应用重点实验室	2	27	1.0	2.0