面试题：ElasticSearch 集群加入流程中如何平衡数据负载与 Master 选举优化

Question

当新节点加入 ElasticSearch 集群时，既要考虑数据负载的均衡，又要确保 Master 选举过程高效稳定。请详细说明如何在这两者之间找到平衡，以及涉及到的关键机制和配置参数有哪些？

Answer 1

数据负载均衡与 Master 选举平衡策略

1. 数据负载均衡：
   • 分片分配机制：Elasticsearch 会自动将索引数据分成多个分片，并根据集群状态动态分配这些分片到不同节点。新节点加入时，Elasticsearch 会重新平衡分片分布，确保每个节点的数据负载大致相同。例如，通过 cluster.routing.allocation.balance.shard 参数控制分片分配的平衡程度，默认值为 0.45，值越大越倾向于平衡分配。
   • 副本分配：副本分片不仅提供数据冗余，也有助于负载均衡。当新节点加入，Elasticsearch 会将部分副本分片分配到新节点。可通过 cluster.routing.allocation.balance.replica 参数（默认 0.45）调整副本分配的平衡。
2. Master 选举高效稳定：
   • 节点角色划分：明确划分 Master - eligible 节点（具有成为 Master 资格的节点）和 Data 节点。只有 Master - eligible 节点参与 Master 选举，这样减少选举范围，提高选举效率。通过 node.master: true 配置该节点为 Master - eligible 节点，node.data: true 配置为 Data 节点。
   • 选举算法：Elasticsearch 使用 Zen Discovery 协议进行 Master 选举，基于 Bully 算法的变体。为确保选举稳定，要保证 Master - eligible 节点之间网络稳定。可配置 discovery.zen.ping.unicast.hosts 来指定用于节点发现的主机列表，帮助快速发现并连接到合适的 Master - eligible 节点。
   • 选举超时配置：discovery.zen.fd.ping_timeout 参数设置节点间心跳检测的超时时间，默认 3s。若网络不稳定，适当调大该值可避免因短暂网络波动导致不必要的 Master 重新选举。
3. 两者平衡：
   • 动态调整：密切监控集群状态，根据节点负载和选举情况动态调整配置参数。例如，当新节点加入后，若发现数据负载不均衡，可适当调整 cluster.routing.allocation.balance.shard 和 cluster.routing.allocation.balance.replica 值；若 Master 选举频繁不稳定，检查网络并调整 discovery.zen.fd.ping_timeout 等选举相关参数。
   • 资源规划：在节点硬件资源规划上，为 Master - eligible 节点分配相对稳定且足够的资源（如 CPU、内存），确保 Master 选举和管理集群状态的性能。同时，合理规划 Data 节点资源以承载数据负载，避免因资源不足导致分片分配不合理或影响选举过程。