面试题：消息队列故障注入测试的场景设计

Question

假设你负责为一个使用RabbitMQ的电商订单处理系统进行消息队列的故障注入测试。请设计至少两个不同的故障注入场景，包括场景描述、故障注入点以及预期的测试结果，以验证系统在面对消息队列故障时的稳定性和恢复能力。

Answer 1

场景一：消息队列连接中断

• 场景描述：模拟在订单处理过程中，RabbitMQ服务器与应用程序之间的网络连接突然中断，导致消息无法正常发送和接收。
• 故障注入点：在应用程序与RabbitMQ建立连接的代码部分，通过模拟网络故障（如使用工具中断网络连接）或者直接关闭RabbitMQ服务端进程来注入故障。
• 预期测试结果：
  • 应用程序能够及时检测到连接中断，并记录相应的错误日志。
  • 系统触发重试机制，在一定时间间隔后尝试重新建立与RabbitMQ的连接。
  • 订单处理不会因为短暂的连接中断而丢失，当连接恢复后，积压的订单消息能够继续被正确处理，保证订单处理的完整性和一致性。

场景二：消息队列满

• 场景描述：模拟大量订单快速涌入，导致RabbitMQ的消息队列达到容量上限，新的订单消息无法入队。
• 故障注入点：在订单消息生产端，快速发送大量订单消息，使RabbitMQ队列达到配置的最大容量。可以通过编写一个压力测试脚本，以超过正常处理速度的频率向队列发送消息来实现。
• 预期测试结果：
  • 应用程序能够捕获到消息无法入队的异常，并记录详细的错误信息，包括队列名称、当前队列状态等。
  • 系统采取相应的限流措施，例如减缓订单消息的生成速度，防止队列进一步堆积，同时可以向用户展示友好的提示信息，告知订单处理可能会有延迟。
  • 当队列有空间时（如通过增加队列容量或者加快消息消费速度），积压在系统内等待发送的订单消息能够成功入队并被正常处理，保证系统在高负载情况下的稳定性和可靠性。