面试题：ElasticSearch Master选举异常处理及对集群状态的影响

Question

当ElasticSearch发生Master选举异常时，如何进行故障排查和处理？这种异常对集群状态会产生哪些影响，如何在处理过程中尽量减少对业务的影响？

Answer 1

故障排查

1. 网络问题：
   • 使用工具如 ping 检查节点间网络连通性，查看是否存在丢包或高延迟。
   • 确认防火墙配置，确保 ElasticSearch 通信端口（如9300等）开放，节点间可正常通信。
2. 节点配置：
   • 检查 elasticsearch.yml 配置文件，确保 cluster.name 所有节点一致，node.master 等关键配置无误。
   • 查看节点的磁盘空间、内存使用情况，避免因资源不足导致异常。可使用 df -h 查看磁盘空间，free -h 查看内存使用。
3. 日志分析：
   • 查看 ElasticSearch 日志文件（通常在 logs 目录下），查找与 Master 选举相关的错误信息，如 MasterNotDiscoveredException 等，从中获取线索。
4. 集群状态查看：
   • 使用 ElasticSearch REST API（如 GET /_cluster/state）查看集群状态，了解当前 Master 节点信息、节点状态及分片分配情况。

处理措施

1. 解决网络问题：
   • 如果是网络连通性问题，修复网络故障，重新启动节点，让节点重新加入集群进行 Master 选举。
   • 若防火墙导致问题，调整防火墙策略，开放必要端口，然后重启相关节点。
2. 修正配置：
   • 若配置有误，修改 elasticsearch.yml 配置文件后，重启节点使配置生效。注意重启节点时，要按照一定顺序，避免集群状态剧烈波动。
3. 资源调整：
   • 若因资源不足，增加磁盘空间或内存资源，然后重启受影响节点。

对集群状态的影响

1. 集群不稳定：Master 选举异常期间，集群可能处于不稳定状态，无法正常处理写操作，读操作也可能受到影响，出现请求超时等情况。
2. 分片分配异常：Master 负责管理分片分配，选举异常可能导致分片无法正常分配，部分索引的副本分片可能处于未分配状态，影响数据的可用性和冗余性。
3. 元数据更新问题：Master 维护集群的元数据，选举异常可能使元数据无法及时更新，导致节点间元数据不一致。

减少对业务影响的方法

1. 使用副本：确保集群有足够的副本分片，在 Master 选举异常时，副本分片可继续提供读服务，一定程度上保证业务的读操作正常进行。
2. 优雅重启：处理问题时，尽量采用优雅重启方式，即先将节点设置为 drain 模式，等待其处理完现有请求后再重启，减少对业务实时请求的影响。
3. 监控与预警：建立完善的监控体系，实时监测集群状态，在 Master 选举异常发生前发出预警，提前采取措施，降低对业务的影响。