面试题：消息队列之RocketMQ自定义监控指标体系设计

Question

若需要为一个使用RocketMQ的大型分布式电商系统设计一套自定义监控指标体系，以保障订单处理等关键业务流程的稳定高效运行，你会如何设计，需要考虑哪些关键因素，以及如何与现有监控工具集成？

Answer 1

设计思路

1. 确定关键业务指标
   • 订单相关：
     • 订单创建成功率：统计成功创建订单的数量与尝试创建订单总数量的比率，用于判断订单创建流程是否正常。
     • 订单创建耗时：记录从用户发起订单创建请求到订单在系统中成功创建的时间，可按不同订单类型（如普通订单、促销订单等）细分，以发现潜在的性能瓶颈。
     • 订单处理时长：从订单创建到订单状态变更为已处理（如已发货、已完成等）的时间，衡量整个订单处理流程的效率。
   • 消息队列相关：
     • 消息发送成功率：成功发送到RocketMQ的消息数量与尝试发送消息总数的比例，反映消息发送环节的稳定性。
     • 消息发送耗时：记录从应用程序调用发送消息接口到收到RocketMQ确认消息发送成功的时间，用于排查消息发送延迟问题。
     • 消息积压数量：统计RocketMQ中未被消费的消息数量，若积压过多，可能导致订单处理延迟等问题。
     • 消息消费成功率：成功消费的消息数量与从RocketMQ拉取的消息总数的比率，判断消息消费逻辑是否正常。
     • 消息消费耗时：从消息被消费者拉取到处理完成的时间，用于优化消费端性能。
2. 分层监控
   • 应用层：监控应用程序与RocketMQ交互的接口调用情况，如发送消息、接收消息的方法调用次数、异常次数等。
   • 消息队列层：关注RocketMQ自身的运行指标，如Broker的CPU、内存使用率，Topic的分区负载均衡情况等。
   • 业务逻辑层：针对订单处理的具体业务逻辑，监控各个业务步骤的执行情况，如库存扣减、支付处理等环节与订单处理流程结合的相关指标。

关键因素

1. 数据准确性：确保监控数据来源可靠，采集过程中数据不丢失、不重复，如使用可靠的消息队列监控插件或SDK进行数据采集。
2. 实时性：对于订单处理等关键业务，需要及时获取监控指标数据，以便快速发现和处理问题。采用实时数据采集和计算技术，如流计算框架Flink等，实时计算关键指标。
3. 可扩展性：随着电商系统业务量的增长和功能的扩展，监控指标体系也应能方便地扩展。设计指标体系时采用模块化、分层的架构，便于新增指标或修改现有指标的计算逻辑。
4. 关联性：将不同层面的监控指标进行关联分析，例如将消息发送失败与订单创建失败关联起来，帮助快速定位问题根源。

与现有监控工具集成

1. Prometheus + Grafana：
   • 数据采集：利用Prometheus的客户端库（如Java的Micrometer）在应用程序中采集自定义监控指标数据，并暴露为Prometheus可抓取的格式。对于RocketMQ，可使用社区提供的一些Exporter（如rocketmq_exporter）将RocketMQ的指标数据转换为Prometheus能识别的格式。
   • 数据展示：将Prometheus采集到的数据接入Grafana，通过Grafana创建可视化仪表盘，展示订单处理相关的关键监控指标，如订单创建成功率趋势图、消息积压数量变化曲线等。可以根据不同的业务需求和角色，定制多个仪表盘。
2. 阿里云ARMS（应用实时监控服务）：
   • 数据上报：在应用程序中集成ARMS的SDK，按照ARMS规定的数据格式上报自定义监控指标数据。对于RocketMQ，ARMS可能有相应的集成方案，如通过特定配置将RocketMQ的指标数据收集到ARMS平台。
   • 监控与分析：在ARMS平台上利用其提供的强大的监控和分析功能，对订单处理相关指标进行实时监控、异常告警等操作。ARMS还支持分布式链路追踪，可结合订单处理流程的分布式特性，深入分析性能瓶颈和故障原因。