面试题：ElasticSearch 副分片节点并发控制下的数据一致性如何保障

Question

在 ElasticSearch 副分片节点处理过程进行并发控制时，数据一致性是关键问题。请详细说明在高并发场景下，如何通过并发控制策略保证副分片与主分片之间的数据一致性，以及不同副分片之间的数据同步机制。

Answer 1

保证副分片与主分片数据一致性的并发控制策略

1. 乐观并发控制：
   • ElasticSearch 采用版本号机制实现乐观并发控制。当主分片更新数据时，版本号递增。副分片在同步数据时，会携带版本号。如果副分片上的数据版本号低于主分片，就会进行数据更新，确保数据一致性。例如，主分片对文档{id:1, content:'new content'}进行更新，版本号从 1 变为 2 。副分片在同步时发现本地版本号为 1 ，则会获取主分片的新版本数据进行更新。
2. 写入队列与顺序处理：
   • 主分片维护一个写入队列，所有的写请求按顺序进入队列。主分片处理完写请求后，将更新操作发送给副分片。副分片同样按顺序处理来自主分片的更新操作，这样能保证副分片与主分片的数据处理顺序一致，从而保证数据一致性。比如，主分片先收到更新文档 A 的请求，再收到更新文档 B 的请求，处理完后按顺序发送给副分片，副分片也按此顺序更新，避免数据不一致。
3. 故障处理与重新同步：
   • 当副分片节点出现故障恢复后，会向主分片请求数据同步。主分片会根据副分片的当前状态，确定需要同步的数据范围（如从某个版本号之后的数据），重新发送数据给副分片，确保副分片的数据与主分片一致。例如，副分片节点因网络故障离线，恢复后告知主分片其当前版本号，主分片从该版本号之后的数据开始同步给副分片。

不同副分片之间的数据同步机制

1. 主分片作为数据分发中心：
   • 主分片负责将更新操作发送给所有的副分片。主分片在处理完写请求后，会并行地向各个副分片发送更新指令。这种方式能保证各个副分片几乎同时接收到相同的更新操作，减少不同副分片之间的数据差异时间。例如，主分片更新文档后，同时向三个副分片发送更新请求，让它们同步数据。
2. 基于日志的同步：
   • ElasticSearch 使用事务日志（translog）记录所有的写操作。主分片将写操作记录到事务日志后，再发送给副分片。副分片在接收到更新操作后，也会记录到本地的事务日志，并按顺序应用这些操作。这样即使在网络波动等情况下，也能通过事务日志保证数据的准确同步。比如，网络短暂中断导致部分副分片未及时收到更新，恢复后可根据事务日志重新应用操作进行同步。
3. 定期全量同步与增量同步结合：
   • 除了实时的增量同步（每次主分片更新后发送给副分片），ElasticSearch 还会定期进行全量同步。在全量同步时，主分片会将所有数据发送给副分片，副分片直接替换本地数据。这种方式能在一定时间间隔内，确保所有副分片的数据完全一致，避免因增量同步过程中的一些异常导致的数据不一致积累。例如，每天凌晨进行一次全量同步，保证各个副分片之间数据的一致性。