ENLHS:一种基于抽样的Kafka自适应调优方法

• 作者: 张玉杰 徐鹤 李鹏 樊卫北 谢文康
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: Kafka 消息队列 性能调优 拉丁超立方抽样 弹性网络
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 119-126
• 页数: 8页
• 分类号: TP311.5
• 字数: 7680字
• 语种: 中文
• DOI: 10.11896/jsjkx.200300010

摘要

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差.海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能.因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差.为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法.该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度.实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延.