面试题：消息队列 Kafka 中日志监控的基本配置与实现

Broker 配置：
- 开启 JMX 监控：在 config/server.properties 文件中配置 kafka.server.jmx.port=9999（可自定义端口），通过 JMX 可以获取 Kafka Broker 的各种指标，如分区数量、消息入站速率、出站速率等。
- 启用日志级别监控：可以在 log4j.properties 中配置不同组件的日志级别，例如：

log4j.logger.org.apache.kafka=INFO
log4j.logger.org.apache.kafka.cluster=WARN

Producer 配置：
- acks 参数：设置 acks 为 all，确保消息被所有同步副本接收，这样可以保证消息发送的可靠性。例如在 Java 代码中：

Properties props = new Properties();
props.put("acks", "all");
Producer<String, String> producer = new KafkaProducer<>(props);

Consumer 配置：
- enable.auto.commit：设置为 false，手动提交偏移量，确保消费者已处理消息才提交，避免重复消费或消息丢失。在 Java 代码中：

Properties props = new Properties();
props.put("enable.auto.commit", "false");
Consumer<String, String> consumer = new KafkaConsumer<>(props);

fetch.min.bytes：设置合理值，如 fetch.min.bytes=1024，控制每次拉取消息的最小字节数，减少不必要的网络请求，提高实时性。

可靠性：
- 多副本机制：Kafka 通过将每个分区的数据复制到多个 Broker 上形成副本集，只要有足够数量的副本存活，数据就不会丢失。例如，设置 replication.factor=3，每个分区就有 2 个副本，增强了数据的可靠性。
- ISR（In - Sync Replicas）：生产者发送消息时，只要消息被 ISR 中的所有副本接收，就认为消息发送成功。这保证了消息不会因为某个副本故障而丢失，进一步确保了监控数据的可靠性。
实时性：
- 消息拉取模型：消费者采用拉取模型，主动从 Broker 拉取消息，消费者可以根据自身处理能力控制拉取频率和数量，从而及时获取监控数据。
- 分区分配策略：合理的分区分配策略（如 Range、RoundRobin 等）可以均衡消费者负载，使各个消费者能及时处理消息，保证监控数据的实时处理。例如，在使用 RoundRobin 策略时，每个消费者有机会消费到各个分区的数据，不会出现某个消费者负载过重而导致消息处理延迟的情况。
- Kafka Streams：可以利用 Kafka Streams 对监控数据进行实时处理和分析，它基于流处理的理念，能实时对流入的消息进行过滤、聚合等操作，以满足实时监控的需求。

星途面试题库