面试题：消息队列RocketMQ审计功能实现中的关键技术点

Question

在RocketMQ实现审计功能时，需要记录哪些关键信息来满足审计需求？如何确保这些审计信息的准确性和完整性，并且对系统性能影响最小？

Answer 1

需记录的关键信息

1. 消息基本信息
   • 消息ID：每个消息在RocketMQ中有唯一的标识，可用于准确追踪单个消息的全生命周期。
   • 主题（Topic）：表明消息所属的业务类别，方便按业务维度进行审计分析。
   • 队列ID：有助于了解消息在集群中的分布和处理路径。
2. 消息生产信息
   • 生产者ID：标识消息的发送方，可用于追踪消息来源的业务主体。
   • 生产时间：记录消息产生的准确时间，对分析消息产生的时间序列和业务操作时间关联至关重要。
3. 消息消费信息
   • 消费者ID：标识消息的接收方，可用于审计消息的消费主体。
   • 消费时间：记录消息被成功消费的时间，用于衡量消息从生产到消费的时延。
   • 消费结果：如消费成功、消费失败及失败原因等，方便排查消费过程中的问题。
4. 系统相关信息
   • Broker地址：记录消息存储和转发的Broker节点位置，有助于定位故障和分析集群负载。

确保准确性和完整性且对性能影响最小的方法

1. 准确性和完整性
   • 采用同步刷盘策略：在消息发送和消费成功后，使用同步刷盘确保消息及相关审计信息被持久化到磁盘，避免因系统故障丢失信息。例如，在Broker配置文件中设置 flushDiskType = SYNC_FLUSH。
   • 使用事务机制：对于关键业务消息，通过RocketMQ的事务消息确保消息生产、消费和审计信息记录的原子性。例如，在生产者发送事务消息时，先发送半消息，确认Broker接收成功后，执行本地事务，并根据本地事务结果向Broker提交或回滚事务消息，同时记录审计信息。
   • 数据校验：在消息生产、消费和审计信息记录的各个环节，对关键信息进行校验，如消息ID的格式、时间戳的有效性等。可以通过自定义消息过滤器在Broker端进行校验。
2. 对性能影响最小
   • 异步记录审计信息：使用异步线程池或消息队列来记录审计信息，避免审计操作阻塞消息的正常生产和消费流程。例如，在生产者和消费者端分别创建一个线程池，将审计信息记录任务提交到线程池中执行。
   • 批量处理：对审计信息进行批量记录，减少I/O或数据库操作次数。比如，在异步记录审计信息时，将一定数量的审计记录攒成一批后再进行持久化操作。
   • 优化存储：选择高性能的存储方案，如使用分布式文件系统（如HDFS）或高性能数据库（如TiDB）来存储审计信息。同时，对存储的数据进行合理的分区和索引设计，以提高查询效率。