面试题：ElasticSearch选主配置在集群扩展时的兼容性考量

Question

当ElasticSearch集群规模进行扩展，例如从5个节点扩展到10个节点，选主相关配置（如discovery.zen.minimum_master_nodes等）在兼容性方面需要做哪些调整？为什么？请详细说明调整过程及可能遇到的风险和应对措施。

Answer 1

1. 配置调整

• 计算 discovery.zen.minimum_master_nodes 值：在 Elasticsearch 中，discovery.zen.minimum_master_nodes 的推荐值计算公式为 (master eligible nodes / 2) + 1。
  • 当集群从 5 个节点扩展到 10 个节点时，假设所有节点都有资格成为主节点。5 个节点时，discovery.zen.minimum_master_nodes 推荐值为 (5 / 2) + 1 = 3；10 个节点时，推荐值为 (10 / 2) + 1 = 6。所以需要将 discovery.zen.minimum_master_nodes 值从 3 调整为 6。
• 修改配置文件：在每个节点的 elasticsearch.yml 配置文件中，修改 discovery.zen.minimum_master_nodes 参数为新计算的值 6 。修改完成后，重启 Elasticsearch 服务使配置生效。

2. 调整原因

• 脑裂问题：discovery.zen.minimum_master_nodes 这个配置是为了防止脑裂。脑裂是指集群在网络问题等情况下，分裂成多个子集群，每个子集群都认为自己是主集群，从而导致数据不一致等问题。设置合适的 discovery.zen.minimum_master_nodes 值，能确保在大多数情况下只有一个主集群。当集群规模扩大时，如果不调整该值，可能会因为达不到形成主集群所需的最少主节点数，导致选举失败，或者在网络问题时更容易出现脑裂。

3. 可能遇到的风险

• 选举失败：在修改配置重启过程中，如果部分节点重启不及时或出现故障，可能导致当前存活的节点数达不到新的 discovery.zen.minimum_master_nodes 值，从而使主节点选举失败，集群无法正常工作。
• 集群中断服务：重启节点过程中，集群的部分功能可能会受到影响，例如索引写入、搜索等操作可能会失败，导致短时间内服务中断。

4. 应对措施

• 滚动重启：不要一次性重启所有节点，而是逐个或逐批重启节点。这样可以保证在重启过程中，始终有足够数量的节点满足 discovery.zen.minimum_master_nodes 的要求，维持集群的正常运行。
• 监控与预警：在重启过程中，通过 Elasticsearch 的监控工具（如 Kibana 中的监控页面）实时监控集群状态，包括节点健康状况、主节点选举情况等。设置合理的预警机制，当出现节点异常或选举问题时及时通知运维人员。
• 备份与恢复：在进行配置调整和节点重启前，对重要数据进行备份。如果在调整过程中出现数据丢失等严重问题，可以通过备份数据进行恢复。