面试题：消息队列Kafka常见的监控指标有哪些及各自的作用是什么

Question

请阐述Kafka中如吞吐量、消息积压量、分区首领副本数等常见监控指标的含义及它们对Kafka集群运行状态监控的重要性。

Answer 1

吞吐量

• 含义：指 Kafka 在单位时间内能够处理的消息数量或数据量，一般分为生产者吞吐量（生产者发送消息的速率）和消费者吞吐量（消费者消费消息的速率）。例如，生产者每秒能成功发送 1000 条消息，这就是生产者吞吐量。
• 重要性：它直接反映了 Kafka 集群的数据处理能力。高吞吐量表明集群能够高效地处理大量数据，若吞吐量较低，可能意味着集群资源（如带宽、磁盘 I/O 等）不足，或者配置参数不合理，需及时调整优化以满足业务需求。

消息积压量

• 含义：指 Kafka 中等待被消费的消息数量。即已生产但尚未被消费者消费的消息总和。比如某个主题有 10000 条消息已生产，而只消费了 5000 条，那么积压量就是 5000 条。
• 重要性：是衡量 Kafka 集群是否健康运行的关键指标。消息积压量持续增长，可能暗示消费者处理速度过慢、消费逻辑出现问题，或者生产者生产速度过快。大量积压会占用集群存储空间，严重时甚至影响集群性能，需及时排查原因并解决。

分区首领副本数

• 含义：Kafka 为保证数据高可用，每个分区都有多个副本，其中一个副本被选举为分区首领副本，负责处理该分区的读写请求。例如，某个分区设置了 3 个副本，其中 1 个为分区首领副本。
• 重要性：分区首领副本的数量及分布影响着集群的负载均衡和容错能力。合理的首领副本分布能有效利用集群资源，避免单个节点负载过重。若首领副本所在节点故障，会触发重新选举，可能短暂影响该分区的读写，因此监控首领副本数及分布对保障集群稳定运行至关重要。