Kafka中改进型Partition过载优化算法

• 作者: 颜晓莲 章刚 邱晓红
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 分布式消息系统 Kafka Partition过载问题 协同管理 Broker性能
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 88-91
• 页数: 4页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2020.12.016

摘要

Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注.随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战.Partition过载问题(POP)指消息分发、消息订阅等操作引起Partition过度服务,并影响到物理载体Broker的性能.该问题是由Kafka中Partition文件配置管理的被动、僵化及孤立等不足所导致.针对此,提出一种改进型Partition过载优化算法(IPOOA).该算法通过即时服务耗量、Partition相似度和配置文件自动修改相结合,实现消息分发预测以及消息分发与文件配置管理协同,从而可有效缓解Partition过载问题出现.实验从Kafka集群CPU使用率、Kafka服务延时率、Kafka系统收敛延时比等几个方面验证了算法的有效性及合理性.