面试题答案
一键面试检测副本同步延迟的方法
- 副本滞后时间（Replica Lag Time）：Kafka 会记录每个副本与 Leader 副本的最后同步时间戳。通过计算副本与 Leader 副本最后同步时间的差值，若差值超过一定阈值（如配置的
replica.lag.time.max.ms），则认为该副本同步延迟。 - 副本滞后消息数（Replica Lag Messages）：Kafka 还会跟踪副本落后 Leader 副本的消息数量。如果副本落后的消息数超过特定值（例如
replica.lag.max.messages，不过在 Kafka 新版中较少使用），也表明副本同步存在延迟。
Kafka 保证数据一致性和可用性的策略与机制
- ISR（In - Sync Replicas）机制
- 定义：ISR 是一组与 Leader 副本保持“同步”的副本集合。只有在 ISR 中的副本才有资格成为新的 Leader 副本。
- 维护：当 Leader 副本接收到消息并写入本地日志后，会等待 ISR 中的所有副本同步完成（acks = -1 或 all 时）。如果某个副本长时间未同步（超过
replica.lag.time.max.ms），则会将其从 ISR 中移除；当该副本重新追上 Leader 副本的进度时，又会被重新加入 ISR。 - 数据一致性：通过只认可 ISR 内副本同步的数据，Kafka 确保只有已成功同步到多个副本的数据才被认为是已提交的，从而保证数据一致性。例如，当 Leader 副本故障时，新的 Leader 副本从 ISR 中选举产生，由于 ISR 中的副本都已同步了一定量的数据，所以不会丢失已提交的数据。
- 可用性：只要 ISR 中至少有一个副本存活，Kafka 集群就可以继续提供读写服务。即使 Leader 副本故障，也能从 ISR 中选举出新的 Leader 副本，保证系统的可用性。
- 高水位（High Watermark）机制
- 定义：高水位是指在 ISR 集合中所有副本都成功同步的消息偏移量。消费者只能读取到高水位之前的消息。
- 数据一致性：通过设置高水位，Kafka 确保消费者不会读取到未完全同步的消息，避免了数据不一致问题。例如，假设 Leader 副本接收到消息但还未被所有 ISR 副本同步，此时高水位不会更新，消费者无法读取到这些未同步的消息。
- 可用性：高水位机制与 ISR 机制协同工作。当 Leader 副本故障时，新的 Leader 副本选举产生后，会根据高水位确定哪些消息是已提交的可以被消费者读取，哪些是未提交的需要等待同步，在保证数据一致性的同时维持系统可用性。
- Leader 选举机制
- 选举过程：当 Leader 副本发生故障时，Kafka 会从 ISR 中选举一个副本作为新的 Leader 副本。选举算法通常基于副本的日志偏移量等因素，优先选择日志最完整的副本作为 Leader。
- 数据一致性：由于新 Leader 从 ISR 中选举，ISR 中的副本数据相对一致，所以选举出新 Leader 后，能保证已提交数据不会丢失，维护数据一致性。
- 可用性：快速选举出新的 Leader 副本，使得 Kafka 集群能够尽快恢复读写服务，提高系统可用性。
- 日志压缩（Log Compaction）
- 原理：日志压缩用于处理那些需要长期保留但数据会不断更新的主题。它通过保留每个 key 的最新值，删除旧的、被覆盖的值，减少日志的大小。
- 数据一致性：对于需要保持数据一致性的场景，如存储数据库的变更日志，日志压缩确保每个 key 对应的值是最新且一致的。即使某些副本同步延迟，在进行日志压缩后，副本之间对于 key - value 数据的一致性可以得到保证。
- 可用性：通过减少日志存储量，日志压缩有助于提高 Kafka 集群的整体性能和可用性，因为减少了磁盘 I/O 和网络传输压力，使得副本同步等操作可以更高效地进行。