面试题：ElasticSearch集群状态调整：当ElasticSearch集群处于黄色状态时，如何通过调整分片和副本设置来使其恢复到绿色状态？

Question

假设你有一个ElasticSearch集群当前处于黄色状态，这意味着部分副本尚未分配。请阐述如何通过调整索引的分片和副本数量，以及可能涉及到的集群配置调整，来确保集群恢复到绿色健康状态，同时说明操作过程中需要注意的事项。

Answer 1

1. 分析黄色状态原因

ElasticSearch 集群处于黄色状态，表明所有主分片都已分配，但部分副本分片未分配。可能原因有节点故障、磁盘空间不足、资源不足等。

2. 调整索引分片和副本数量

• 减少副本数量：
  • 可以通过 ElasticSearch 的 API 来调整索引的副本数量。例如，使用如下的 API 请求：

PUT /your_index_name/_settings
{
    "index": {
        "number_of_replicas": 0
    }
}

- 这样可以暂时减少副本数量，使集群中的副本分片更容易分配，从而可能恢复到绿色状态。但此方法会降低数据的冗余度和高可用性。

• 增加节点：
  • 如果是因为节点资源不足导致副本无法分配，可以增加新的节点到集群中。在 ElasticSearch 配置文件（elasticsearch.yml）中，配置新节点的相关参数，如 cluster.name（集群名称需与现有集群一致）、node.name（节点唯一名称）、network.host（节点绑定的 IP 地址）、discovery.seed_hosts（种子节点列表，用于节点发现）等。
  • 启动新节点后，ElasticSearch 集群会自动将未分配的副本分片分配到新节点上，有助于恢复到绿色状态。

3. 集群配置调整

• 磁盘空间检查与调整：
  • 使用 df -h 等命令检查每个节点的磁盘使用情况。如果某个节点磁盘空间不足，清理不必要的文件或者增加磁盘空间。
  • 可以通过 ElasticSearch 的 cluster.routing.allocation.disk.threshold_enabled 配置项来控制基于磁盘空间的分片分配。例如，设置当磁盘使用率达到 90% 时，停止向该节点分配新的分片：

cluster.routing.allocation.disk.threshold_enabled: true
cluster.routing.allocation.disk.watermark.high: 90%
cluster.routing.allocation.disk.watermark.low: 85%
cluster.routing.allocation.disk.watermark.flood_stage: 95%

• 资源配置调整：
  • 检查节点的内存、CPU 等资源使用情况。如果资源紧张，可以适当调整 ElasticSearch 的 JVM 堆大小。在 jvm.options 文件中，通过 -Xms 和 -Xmx 参数设置初始堆大小和最大堆大小。例如：

-Xms4g
-Xmx4g

- 同时，确保操作系统层面也为 ElasticSearch 进程分配了足够的资源。

4. 注意事项

• 数据一致性：在减少副本数量时，要充分评估数据丢失的风险，因为副本减少会降低数据冗余度。在后续操作允许的情况下，应尽快恢复合适的副本数量。
• 性能影响：增加或减少节点、调整副本数量等操作可能会对集群性能产生影响。在生产环境操作前，最好在测试环境进行模拟操作，评估性能变化。
• 版本兼容性：在调整集群配置和操作索引时，要确保所使用的 ElasticSearch 版本支持相应的 API 和配置选项，避免因版本不兼容导致操作失败或出现异常行为。
• 监控与备份：操作过程中，要密切监控集群状态，使用 _cat/health、_cat/shards 等 API 实时查看集群健康状况和分片分配情况。同时，在操作前对重要数据进行备份，以防操作失误导致数据丢失。