Kafka中Broker节点磁盘问题的故障处理方法

• 作者: 汪涛
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: Kafka 分布式 消息队列 磁盘故障 处理方法
• 年，卷（期）: 2020,（13）
• 所属期刊栏目: 信息安全
• 页码范围: 148-150
• 页数: 3页
• 分类号: TQ587.22|TP309.3
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.13.047

摘要

Apache Kafka作为一种分布式的消息队列中间件,由于其具有高可靠性、高吞吐量、可持久化、可扩展性好等特点.在大数据项目中,如日志聚合、流数据处理等应用场景中被广泛使用.由于Kafka的消息需要持久化到磁盘中,磁盘故障会影响Kafka的使用,严重时会造成数据丢失.所以基于Kafka的存储特性,通过复盘和分析由于磁盘问题导致的Kafka集群故障,提出了一系列的磁盘故障处理方法,从而缩短Kafka集群故障的恢复时间.