面试题：ElasticSearch等待活动分片时的应对策略及底层原理

Question

当ElasticSearch出现等待活动分片的情况，有哪些常见的应对策略？并详细说明这些策略在ElasticSearch底层是如何实现的，涉及到哪些关键组件和机制？

Answer 1

常见应对策略及底层实现

1. 增加副本数
   • 策略：通过增加副本数量，使得集群在部分分片不可用时，仍能有足够的副本分片来提供服务。
   • 底层实现：Elasticsearch 中的副本分片是主分片的拷贝，数据完全一致。当增加副本数时，Master 节点会负责协调分配新的副本分片到合适的节点上。涉及到的关键组件有 Master 节点，它负责集群的元数据管理和节点状态协调；节点间的通信机制，用于传输分片数据，通过 TCP 协议进行数据同步，将主分片的数据复制到新的副本分片所在节点。
2. 修复故障节点
   • 策略：排查并修复出现故障的节点，使原本等待的活动分片可以重新分配到该节点。
   • 底层实现：Elasticsearch 集群通过节点间的心跳机制来检测节点的健康状态。当一个节点发生故障，Master 节点会感知到，并将该节点上的分片标记为不可用。修复故障节点后，该节点重新加入集群，Master 节点会根据集群状态和分片分配策略，重新将等待的活动分片分配到该节点。这里关键组件有 Master 节点用于重新分配决策，以及节点发现机制，让新修复节点能够重新加入集群并与其他节点建立连接。
3. 重新分配分片
   • 策略：手动干预分片的分配，将等待的活动分片强制分配到其他健康节点上。
   • 底层实现：可以使用 Elasticsearch 的 API 进行手动分片分配。Master 节点接收到重新分配的指令后，会根据集群的当前状态和节点负载等信息，调整分片分配策略，将指定的等待活动分片分配到合适的目标节点。这涉及到 Master 节点对集群元数据的修改，以及数据传输机制，将分片数据从原存储位置（如果有）或其他副本处传输到新分配的节点。
4. 调整分片分配延迟
   • 策略：适当延长分片分配的等待时间，给集群更多时间来自动处理等待活动分片的情况，避免不必要的干预。
   • 底层实现：通过修改 Elasticsearch 的配置参数来调整分片分配延迟。在配置文件中设置相关参数，Master 节点在进行分片分配决策时，会依据这个延迟时间来等待更多合适的条件出现，例如等待故障节点恢复、等待网络稳定等。这个过程主要涉及 Master 节点的决策机制，它会在延迟时间内持续监控集群状态，等待满足最佳分配条件后再进行分片分配。