面试题：如何在微服务架构下设计一个高效可靠的异步通信机制来处理高并发任务

消息队列：选择 Kafka 或 RabbitMQ 。
- Kafka：适用于处理海量数据的高吞吐量场景，其分布式架构能很好应对高并发。它有分区机制，可并行处理消息，适合大数据量且对消息顺序要求不高的场景。
- RabbitMQ：轻量级，可靠性高，支持多种协议，有强大的路由和消息确认机制。适合对消息可靠性要求极高，对性能要求不是超级高吞吐量的场景。
分布式缓存：如 Redis ，用于缓存中间状态、幂等性判断标识等，辅助异步通信机制。

消息创建：在业务逻辑中，当产生需要异步处理的任务时，构造相应的消息对象，包含任务所需的完整信息，如业务ID、操作类型、相关数据等。
发送消息：
- Kafka：使用 Kafka Producer 发送消息。设置合适的分区策略，如果业务有顺序性要求，可根据业务ID等关键信息进行分区，保证同一业务相关消息进入同一分区按序处理。启用 Producer 的同步发送模式或异步回调模式，同步发送确保消息发送成功，但可能影响性能；异步回调可提高性能，同时能在回调中处理发送失败的情况。
- RabbitMQ：利用 RabbitMQ 的 Channel 发送消息。声明交换器（Exchange）和队列（Queue），并通过路由键（Routing Key）将消息发送到对应的队列。可以选择持久化消息，确保 RabbitMQ 重启后消息不丢失。

消费端初始化：
- Kafka：创建 Kafka Consumer ，配置消费组（Consumer Group），同一消费组内的消费者共同消费消息，实现负载均衡。设置自动提交偏移量（Offset）为 false ，手动提交偏移量，确保消息处理成功后再提交，防止消息重复消费。
- RabbitMQ：创建 Connection 和 Channel ，声明要消费的队列，设置消费者标签等。可以选择手动确认消息（basicAck），只有在消息成功处理后才向 RabbitMQ 发送确认，避免消息丢失。
消息处理：接收到消息后，解析消息内容，根据业务逻辑进行相应处理。如果处理过程涉及多个步骤，确保每个步骤的原子性，防止部分处理成功部分失败导致的数据不一致。

消息队列层面：
- Kafka：
  - 采用多副本机制，将消息复制到多个 Broker 节点，提高数据可靠性。配置合适的复制因子（Replication Factor），一般设置为 3 。
  - 生产者发送消息时，设置 acks = all ，确保所有副本都收到消息后才认为发送成功。
  - 消费者手动提交偏移量，在消息处理成功后提交，防止消息重复消费或丢失。
- RabbitMQ：
  - 启用持久化，将交换器、队列和消息都设置为持久化，保证 RabbitMQ 重启后数据不丢失。
  - 生产者开启事务（Transaction）或使用 Confirm 模式，确保消息成功发送到 RabbitMQ 服务器。
  - 消费者使用手动确认机制，处理完消息后向 RabbitMQ 发送确认，RabbitMQ 才会从队列中删除消息。
应用层面：
- 构建重试机制，当消息发送或消费失败时，根据失败原因和次数进行重试。可以设置重试次数上限和重试间隔时间，防止无限重试。
- 记录消息的发送和消费日志，便于排查问题和进行数据恢复。

消费端幂等处理：
- 在消费端，为每个消息生成唯一标识，如使用业务ID + 操作类型 + 时间戳等组合生成一个唯一的 ID 。
- 利用 Redis 等分布式缓存，在处理消息前，先检查该唯一标识是否已处理过。如果已处理过，直接返回处理结果，不再重复处理。
- 在业务处理逻辑中，设计幂等性的业务操作。例如，数据库层面使用 INSERT...ON DUPLICATE KEY UPDATE 语句，避免重复插入相同数据。
生产端幂等处理：
- 生产者在发送消息时，为每个消息生成唯一的消息ID 。如果发送失败进行重试，确保重试的消息ID 与首次发送的一致。消息队列在处理重复消息ID 的消息时，保证不重复处理（如 Kafka 基于日志的顺序性和偏移量机制天然支持一定程度的幂等，RabbitMQ 可通过自定义去重逻辑实现）。

星途面试题库