面试题：ElasticSearch集群健康状态从绿色变为黄色，可能由哪些原因导致及如何排查

Question

假设一个原本健康状态为绿色的ElasticSearch集群，突然变为黄色状态。请分析可能导致这种变化的原因，并说明你会采取哪些排查步骤和方法来定位具体问题。

Answer 1

可能导致的原因

1. 副本分片未分配：某些节点故障、网络问题或磁盘空间不足等原因，导致副本分片无法分配到合适的节点上。例如，一个节点因硬件故障离线，其上承载的副本分片无法在其他节点重新分配，集群就可能变黄。
2. 索引元数据问题：索引的设置、别名等元数据出现异常，如错误的索引配置可能阻止副本分片正常分配。
3. 节点失联：部分节点与集群失去连接，但尚未达到触发集群变红（所有副本分片均不可用）的程度。可能是网络波动、节点负载过高导致心跳检测超时等。

排查步骤和方法

1. 查看集群健康信息：
   • 使用Elasticsearch API，如GET /_cluster/health，该命令返回的信息会详细说明集群状态、节点数量、活动分片和副本数量等。通过分析这些数据，可初步判断是哪些索引或分片存在问题。
   • 关注status字段为yellow时，unassigned_shards字段显示的未分配分片数量及相关索引信息。
2. 检查节点状态：
   • 执行GET /_cat/nodes?v命令，查看每个节点的状态，包括节点的负载、磁盘使用情况、是否有异常标记等。如果有节点显示为unassigned或存在高负载、磁盘空间不足等情况，可能是导致副本分片未分配的原因。
   • 检查节点日志（通常在logs目录下），查看是否有节点启动异常、网络连接问题或其他错误信息。
3. 分析索引元数据：
   • 通过GET /_cat/indices?v查看所有索引的健康状态，确认哪些索引处于异常状态。重点关注pri（主分片数量）、rep（副本分片数量）和docs.count等字段。
   • 使用GET /{index_name}/_settings获取特定索引的设置，检查是否存在不合理的配置，如错误的副本数量设置、索引路由设置等。
4. 网络排查：
   • 检查节点间的网络连接，确保没有网络隔离、端口被封禁等问题。可以使用ping命令检查节点间的连通性，以及telnet检查Elasticsearch服务端口（默认为9200和9300）是否可访问。
   • 查看网络设备（如路由器、交换机）的日志，确认是否存在网络故障或异常流量。
5. 磁盘空间检查：
   • 在每个节点上检查磁盘使用情况，确保有足够的空间来承载新分配的分片。可使用df -h命令查看磁盘空间使用情况。如果某个节点磁盘已满或接近满，可能导致分片无法分配，需清理磁盘空间或调整分片分配策略。