面试题：消息队列 Kafka 在实时 ETL 数据处理中如何保证数据一致性

Question

在基于 Kafka 的实时 ETL 数据处理流程里，数据一致性非常关键。请阐述 Kafka 是怎样确保数据一致性的，包括生产者、消费者以及副本机制等方面如何协同保证？

Answer 1

生产者确保数据一致性

1. ACK 机制
   • 生产者发送消息到 Kafka 集群时，可通过设置 acks 参数来控制数据一致性。
   • acks = 0：生产者发送消息后，不需要等待任何来自服务器的确认，这种情况下数据丢失风险高，但吞吐量最大。
   • acks = 1：生产者发送消息后，只要分区的 leader 副本成功接收消息，就会收到确认。如果 leader 副本在返回确认后但还未将消息复制到所有 in - sync replicas（ISR）之前崩溃，消息可能丢失。
   • acks = all（或 acks = -1）：生产者发送消息后，需要等待 ISR 中的所有副本都成功接收消息后才会收到确认。这种设置可以最大程度保证数据不丢失，但可能会降低系统的吞吐量。
2. 重试机制
   • 当生产者发送消息失败（例如网络异常等情况）时，会根据 retries 参数进行重试。合理设置重试次数和重试间隔时间，可以避免因临时故障导致的数据发送失败，进一步保证数据一致性。

消费者确保数据一致性

1. 位移管理
   • Kafka 消费者通过偏移量（offset）来记录已消费消息的位置。消费者可以自动提交偏移量，也可以手动提交偏移量。
   • 自动提交：消费者定期自动将已消费消息的偏移量提交给 Kafka 集群。这种方式简单，但可能会导致重复消费，例如在自动提交偏移量后但还未处理完对应消息时消费者崩溃，重启后会从已提交的偏移量开始消费，可能导致部分消息重复处理。
   • 手动提交：消费者在成功处理完一批消息后，手动将偏移量提交给 Kafka 集群。这样可以精确控制消息的消费进度，确保不会重复消费或漏消费，保证数据一致性。
2. 消费顺序
   • 在 Kafka 中，同一分区内的消息是有序的。消费者按照分区内的偏移量顺序消费消息，只要消费者按照正常顺序消费，就可以保证消息处理的顺序一致性。对于需要严格顺序处理的场景，可以将相关消息发送到同一个分区。

副本机制确保数据一致性

1. ISR（In - Sync Replicas）
   • Kafka 集群中的每个分区都有多个副本，其中一个副本为 leader 副本，其余为 follower 副本。只有与 leader 副本保持同步的 follower 副本才会被包含在 ISR 中。
   • 当 leader 副本接收到消息并写入本地日志后，会等待 ISR 中的所有 follower 副本成功拉取并写入该消息，才会向生产者发送确认。如果某个 follower 副本长时间落后于 leader 副本，会被移除出 ISR。这样保证了只有健康且同步的副本才会参与数据一致性的保证。
2. Leader 选举
   • 当 leader 副本发生故障时，Kafka 会从 ISR 中的副本中选举出新的 leader 副本。选举算法确保新的 leader 副本是 ISR 中最“健康”且数据最完整的副本。这样可以保证在 leader 切换后，已确认的消息不会丢失，从而维护数据一致性。
3. 日志复制
   • follower 副本通过定期从 leader 副本拉取消息并追加到自己的日志中来保持同步。Kafka 使用基于日志的复制协议，确保副本之间的日志顺序和内容一致。通过这种方式，当 leader 副本出现故障时，新选举的 leader 副本可以继续提供服务，且数据与之前的 leader 保持一致。