面试题：消息队列对比之RocketMQ与Kafka

Question

请阐述RocketMQ和Kafka在消息存储机制上的主要区别，以及这些区别如何影响它们在高并发场景下的性能表现？

Answer 1

消息存储机制主要区别

1. 存储结构：
   • RocketMQ：采用基于CommitLog的存储结构，所有主题的消息都顺序写入到一个CommitLog文件中，同时通过ConsumeQueue作为消息的逻辑队列，存储消息在CommitLog中的物理偏移量等元数据。这种结构便于消息的顺序写入，提高了写入性能。例如，一个新消息到来，直接追加写入CommitLog文件末尾。
   • Kafka：采用分区（Partition）的概念，每个分区内的消息是顺序存储的。每个分区对应一个或多个日志段（Log Segment）文件，消息按顺序写入日志段文件。当一个日志段文件达到一定大小或时间限制后，会创建新的日志段文件。如一个Kafka分区可能有多个log文件，分别命名为00000000000000000000.log、00000000000000010000.log等。
2. 刷盘策略：
   • RocketMQ：支持同步刷盘和异步刷盘两种策略。同步刷盘是指消息写入CommitLog文件后，立即将数据刷写到磁盘，保证数据不丢失，但会影响写入性能；异步刷盘则是将消息先写入内存缓冲区，再批量异步刷盘，写入性能高，但可能在系统崩溃时丢失少量数据。
   • Kafka：默认采用异步刷盘机制，通过配置参数log.flush.interval.messages和log.flush.interval.ms等控制刷盘时机。它依赖操作系统的Page Cache，先将消息写入Page Cache，再由操作系统异步刷盘到磁盘，写入性能较高，但同样存在系统崩溃时数据丢失的风险。
3. 消息删除策略：
   • RocketMQ：消息在CommitLog文件中的删除采用定时删除机制，默认每30秒扫描一次CommitLog文件，删除已消费且过期的消息。同时，ConsumeQueue中的元数据也会相应删除。
   • Kafka：消息删除主要基于日志段文件的保留策略，通过配置log.retention.hours（默认168小时，即7天）等参数，当日志段文件达到保留时间或大小限制时，会被删除。

对高并发场景性能表现的影响

1. 写入性能：
   • RocketMQ：基于CommitLog的顺序写入和异步刷盘策略，在高并发写入场景下能达到较高的写入性能。由于消息顺序写入单个文件，减少了磁盘I/O寻道时间，而异步刷盘进一步提高了写入效率。但如果采用同步刷盘，写入性能会受到磁盘I/O速度的限制。
   • Kafka：利用分区和Page Cache机制，高并发写入性能也很出色。消息顺序写入分区日志段文件，并且借助操作系统的Page Cache，减少了磁盘I/O操作。由于默认异步刷盘，在高并发写入时能承受较高的写入压力。总体来说，在高并发写入场景下，两者性能都较高，但Kafka的默认异步刷盘策略在写入性能上可能略胜一筹。
2. 读取性能：
   • RocketMQ：通过ConsumeQueue快速定位消息在CommitLog中的位置，在高并发读取场景下，能较快地从CommitLog文件中读取消息。但由于消息存储在一个CommitLog文件中，随着文件增大，读取可能会受到一定影响。
   • Kafka：每个分区独立存储，在高并发读取时，可以并行从不同分区读取消息，提高了读取性能。同时，由于Kafka依赖Page Cache，对于热点数据的读取速度非常快。因此，在高并发读取场景下，Kafka的分区并行读取优势使其在性能上表现较好。
3. 数据可靠性与性能平衡：
   • RocketMQ：同步刷盘保证了数据的强一致性和可靠性，但牺牲了部分写入性能；异步刷盘提高了写入性能，但存在数据丢失风险。用户可根据业务需求灵活选择刷盘策略。
   • Kafka：默认异步刷盘机制在保证高写入性能的同时，存在一定的数据丢失风险。虽然可以通过调整刷盘参数提高数据可靠性，但这可能会降低写入性能。相比之下，RocketMQ在数据可靠性与性能平衡方面提供了更灵活的选择，而Kafka更侧重于高并发性能，数据可靠性方面相对较弱（默认配置下）。