面试题：Redis渐进式rehash并发写操作时如何保障数据完整性

Question

当进行渐进式rehash时，如果有并发的写操作，Redis是怎样通过并发控制策略保证数据在新旧哈希表间转移时不丢失、不重复且数据结构完整，请详细阐述。

Answer 1

1. 写操作处理方式

• 针对新增键值对：当有新的写操作（新增键值对）发生时，Redis 会将新的键值对直接写入新哈希表。这样做是因为新哈希表是最终要使用的完整哈希表，直接写入新表可以保证在 rehash 完成后，新的数据也能被正确管理，不会丢失。
• 针对更新键值对：对于更新操作，同样将更新后的键值对写入新哈希表。如果该键之前在旧哈希表中，在后续 rehash 迁移该键值对到新表时，新表中已存在最新值，能保证数据的一致性，不会出现重复更新旧表数据导致的不一致问题。

2. 并发控制机制

• 锁机制：Redis 使用了单线程模型处理命令请求，但在一些模块（如集群模式下部分操作）可能会涉及多线程。在进行渐进式 rehash 时，对于可能发生并发写操作的场景，Redis 会采用锁机制。例如，在对哈希表进行修改操作（写操作）时，会获取相应的锁。这个锁可以保证在同一时间只有一个写操作能够修改哈希表，避免了多个写操作同时进行导致的数据结构损坏或数据丢失、重复等问题。当获取到锁的写操作完成后，才会释放锁，允许其他写操作进行。
• 复制写时：在进行渐进式 rehash 过程中，写操作会在新旧哈希表上都进行操作（从概念上来说，实际写新表，旧表只是逻辑上的对应处理）。具体来说，对于新增或更新的键值对，在新表写入后，会记录相关操作（在 AOF 日志等机制中），确保即使在 rehash 过程中系统崩溃，重启后也能通过重放日志来恢复完整的数据结构，保证数据不丢失、不重复。在主从复制场景下，主节点的写操作也会同步到从节点，保证数据一致性，从节点在接收主节点同步数据时，会按照主节点的操作顺序和逻辑来更新自身数据，确保数据结构完整。

3. rehash 过程与写操作协同

• 渐进式 rehash 基本原理：Redis 的渐进式 rehash 是逐步将旧哈希表中的键值对迁移到新哈希表。每次 rehash 操作会从旧哈希表中迁移一小部分键值对到新哈希表。在这个过程中，读操作会同时检查新旧哈希表，以保证数据的正常读取。
• 与写操作协同：写操作与渐进式 rehash 操作相互配合。写操作优先保证数据写入新哈希表，同时记录操作日志。而渐进式 rehash 过程中，每次迁移的一小部分键值对不会影响写操作的进行，写操作也不会干扰到渐进式 rehash 的正常迁移流程。当旧哈希表中的所有键值对都迁移到新哈希表后，旧哈希表被释放，完成整个 rehash 过程，此时数据完整且无丢失、重复情况。