面试题：消息队列之RocketMQ扩展性设计考量

Question

当业务量急剧增长，需要对RocketMQ进行水平扩展时，会涉及到哪些关键环节的调整？如何保证在扩展过程中消息的有序性和可靠性不受影响？

Answer 1

关键环节调整

1. Broker 节点扩展
   • 增加 Broker 实例：根据业务增长情况，在集群中添加新的 Broker 节点，以分担原有节点的负载。需要注意新节点的配置，如存储容量、网络带宽等应与业务需求匹配。
   • 负载均衡配置：配置负载均衡器，将生产者和消费者的请求均匀分配到新添加的 Broker 节点上。可以使用硬件负载均衡器（如 F5）或软件负载均衡器（如 Nginx、HAProxy 等）。
2. Topic 分区调整
   • 增加分区数量：对业务量增长明显的 Topic 增加分区数量。通过 RocketMQ 的命令行工具或管理控制台，在不影响现有消息处理的情况下，动态增加 Topic 的分区数。
   • 重新分配分区：合理分配新的分区到各个 Broker 节点，确保每个 Broker 节点上的分区负载相对均衡。这可以通过 RocketMQ 的自动分区分配机制或手动干预来实现。
3. NameServer 扩展
   • 增加 NameServer 实例：随着 Broker 节点的增加，NameServer 的负载也会上升。增加 NameServer 实例，形成 NameServer 集群，提高 NameServer 的可用性和处理能力。
   • 同步配置：确保所有 NameServer 实例之间的配置信息同步，包括 Broker 节点的地址、Topic 信息等，以保证整个集群的一致性。
4. 生产者和消费者调整
   • 生产者：生产者需要感知到新的 Broker 节点和 Topic 分区变化。确保生产者的配置能够自动发现新的 Broker 地址，并能够将消息发送到新的分区上。可以通过使用 RocketMQ 的客户端自动发现机制来实现。
   • 消费者：消费者组需要重新平衡，以消费新分区的消息。RocketMQ 提供了自动的消费者组负载均衡机制，消费者在启动或集群发生变化时，会自动进行负载均衡，分配消费任务到各个消费者实例上。

保证消息有序性和可靠性

1. 保证消息有序性
   • 分区有序性：对于顺序消息，确保同一个业务逻辑相关的消息发送到同一个 Topic 分区。在扩展过程中，调整分区时要保证原有的分区分配逻辑不变。例如，如果原先是按照订单 ID 进行取模分配分区，扩展后仍按照相同逻辑分配。
   • 消息队列有序消费：消费者采用顺序消费模式，一个分区内的消息按照顺序依次被消费。在扩展消费者时，保证每个消费者实例对其所负责的分区进行顺序消费。可以通过设置消费者的 MessageListenerOrderly 监听器来实现顺序消费。
2. 保证消息可靠性
   • 消息持久化：确保 Broker 对消息进行持久化存储，即使 Broker 节点发生故障，消息也不会丢失。RocketMQ 支持多种持久化方式，如异步刷盘和同步刷盘。在扩展过程中，要检查新添加 Broker 节点的持久化配置是否正确，建议采用同步刷盘或异步刷盘 + 定期刷盘的策略，以保证消息的可靠性。
   • 高可用性配置：通过配置 Broker 节点的主从架构，实现高可用性。在扩展过程中，确保新添加的 Broker 节点能够正确配置为主从关系，当主节点出现故障时，从节点能够及时切换为主节点，继续提供服务。可以采用 Dledger 等机制来保证主从节点的数据一致性。
   • 消息确认机制：生产者采用同步发送方式，并等待 Broker 的确认消息。在扩展过程中，检查生产者与新 Broker 节点之间的确认机制是否正常工作，确保消息成功发送到 Broker 后才认为发送成功。同时，消费者在消费消息后，要及时向 Broker 发送确认消息，保证消息不会被重复消费。