面试题：在复杂业务场景下ElasticSearch集群allocation资源分配策略的动态调整

1. 基于业务查询负载周期性变化调整策略

监控与分析：
- 使用Elasticsearch自带的监控工具（如X-Pack Monitoring）或第三方监控工具（如Prometheus + Grafana），对查询负载进行实时监控。记录查询的响应时间、吞吐量等指标，分析出业务查询负载的周期性规律，比如是白天高、晚上低，还是工作日高、周末低等。
动态调整副本数量：
- 在查询负载低谷期，适当增加副本数量。通过Elasticsearch的API（如PUT /_cluster/settings）动态修改索引的副本数设置，例如：

{
    "persistent": {
        "index.number_of_replicas": "2"
    }
}

这样可以提高数据的冗余度，增强数据安全性，同时为即将到来的负载高峰期提供更多的查询资源。 - 在查询负载高峰期，适当减少副本数量，将更多的资源（如CPU、内存、磁盘I/O）分配给主分片的查询处理。同样通过上述API将副本数降低，如：

{
    "persistent": {
        "index.number_of_replicas": "1"
    }
}

资源队列与优先级：
- 为不同类型的查询请求设置资源队列和优先级。例如，对于关键业务查询（如用户登录验证相关的查询）设置高优先级，而对于一些报表生成等非实时性查询设置低优先级。在负载高峰期，优先处理高优先级的查询请求，确保关键业务不受影响。可以通过插件（如Curator）来实现基于时间和优先级的查询调度。

2. 应对数据量持续增长的策略

动态扩展节点：
- 当监控到数据量持续增长且现有节点的磁盘使用率接近阈值（如80%）时，自动触发节点扩展流程。可以使用云平台（如AWS、阿里云）的自动伸缩功能，根据预先设定的规则（如磁盘使用率、索引文档数等指标）动态添加新的节点到集群。例如在AWS中，可以通过创建Auto Scaling Group，并配置相应的触发条件来实现。
索引数据预分片规划：
- 在创建索引时，根据预估的数据量增长趋势，合理设置分片数量。可以通过计算数据量的增长率，结合单个分片的合理存储大小（如建议单个分片不超过50GB）来确定初始分片数。例如，如果预计未来一年内数据量增长10倍，当前数据量为100GB，单个分片建议存储50GB，那么初始分片数可设置为(100 * 10) / 50 = 20。随着数据量的增长，可以通过_split API对分片进行动态拆分。
数据清理与归档：
- 对于一些历史数据，如果查询频率较低，可以进行清理或归档。可以使用Elasticsearch的生命周期管理（ILM）功能，根据数据的创建时间或其他自定义字段，将老数据移动到冷存储（如使用成本较低的磁盘类型），甚至删除不再需要的数据。例如，设置一个策略，将一年前的数据移动到冷节点：

{
    "policy": {
        "phases": {
            "hot": {
                "min_age": "0ms",
                "actions": {
                    "rollover": {
                        "max_size": "50gb",
                        "max_age": "30d"
                    }
                }
            },
            "warm": {
                "min_age": "30d",
                "actions": {
                    "allocate": {
                        "include": {
                            "box_type": "warm"
                        }
                    }
                }
            },
            "cold": {
                "min_age": "90d",
                "actions": {
                    "allocate": {
                        "include": {
                            "box_type": "cold"
                        }
                    }
                }
            },
            "delete": {
                "min_age": "365d",
                "actions": {
                    "delete": {}
                }
            }
        }
    }
}

3. 针对集群节点硬件配置差异的策略

节点角色划分：
- 根据节点的硬件配置，合理划分节点角色。例如，将高配置节点（如拥有更多CPU核心、大内存、高速磁盘的节点）设置为master候选节点和data节点，用于处理集群管理任务和存储热点数据。低配置节点设置为data节点，主要存储冷数据或作为副本存储节点。通过修改elasticsearch.yml文件中的node.master和node.data参数来设置节点角色：

node.master: true
node.data: true
# 对于低配置节点
node.master: false
node.data: true

分片分配感知：
- 在分配分片时，让Elasticsearch感知节点的硬件配置差异。可以通过自定义分配过滤器（如使用cluster.routing.allocation.awareness.attributes），将不同类型的分片分配到合适的节点上。例如，将需要大量计算资源的聚合查询相关的分片分配到高配置节点，而将只读的历史数据分片分配到低配置节点。可以在elasticsearch.yml文件中配置：

cluster.routing.allocation.awareness.attributes: hardware_type

然后在节点启动时，通过环境变量或配置文件指定节点的hardware_type属性，如high_performance或low_performance。

资源隔离与限制：
- 对于不同硬件配置的节点，设置资源隔离和限制。可以使用操作系统的资源管理工具（如cgroups）来限制每个节点的CPU、内存使用量。例如，对于低配置节点，限制其内存使用不超过2GB：

cgcreate -g memory:es_low_perf_node
echo "2G" > /sys/fs/cgroup/memory/es_low_perf_node/memory.limit_in_bytes

在Elasticsearch配置中，通过bootstrap.memory_lock: true确保进程内存不被交换，进一步优化资源使用。同时，在节点间数据复制时，根据节点的网络带宽情况，合理调整复制速度，避免高配置节点因大量数据复制影响正常业务处理。可以通过indices.recovery.max_bytes_per_sec参数设置数据复制速度限制。

面试题：在复杂业务场景下ElasticSearch集群allocation资源分配策略的动态调整

知识考点

面试题答案

1. 基于业务查询负载周期性变化调整策略

2. 应对数据量持续增长的策略

3. 针对集群节点硬件配置差异的策略