面试题：ElasticSearch负载均衡类deciders的配置与调优

Question

假设你负责一个高并发读写的ElasticSearch集群，在使用负载均衡类deciders时，你会如何进行配置和调优，以适应不同业务场景的需求，提高集群整体效率，并说明关键参数的作用。

Answer 1

1. 负载均衡类deciders配置与调优

1.1 了解不同负载均衡deciders

• RandomDecider：随机选择一个节点进行操作。适用于对节点性能差异不敏感，追求简单分配的场景。
• ShardAwarenessDecider：考虑分片感知，尽量将请求分配到包含所需分片副本的节点，减少跨节点数据传输。适合读操作较多，对数据局部性要求高的业务场景。
• WeightedShardAllocationDecider：根据节点的权重分配请求，权重可基于节点的硬件资源（如CPU、内存、磁盘空间等）进行设置。适用于节点硬件配置差异较大的集群。

1.2 配置与调优步骤

• 分析业务场景：
  • 如果业务读写操作相对均衡且对节点性能差异不敏感，可优先考虑RandomDecider。
  • 若读操作远多于写操作，且数据局部性对性能影响较大，ShardAwarenessDecider更为合适。
  • 当集群节点硬件配置差异明显时，WeightedShardAllocationDecider能更好地利用资源。
• 修改配置文件：
  • 在Elasticsearch的elasticsearch.yml文件中配置负载均衡decider。例如，要使用ShardAwarenessDecider，可添加如下配置：

cluster.routing.allocation.deciders:
  - shard_awareness

• 对于WeightedShardAllocationDecider，还需配置节点权重。假设节点1的CPU性能更强，设置其权重为2，其他节点权重为1，可在elasticsearch.yml中为节点1添加：

cluster.routing.allocation.node.weight: 2

• 动态调整：
  • 使用Elasticsearch的API实时调整负载均衡策略。例如，通过/_cluster/settings API动态修改decider相关配置：

curl -X PUT -H 'Content-Type: application/json' http://localhost:9200/_cluster/settings -d'
{
  "persistent": {
    "cluster.routing.allocation.deciders": [
      "weighted_shard_allocation"
    ]
  }
}
'

• 监控集群性能指标（如CPU使用率、磁盘I/O、请求响应时间等），根据业务流量变化适时调整decider和相关参数。

2. 关键参数作用

• cluster.routing.allocation.deciders：指定使用的负载均衡decider，通过配置该参数可在不同decider间切换以适应业务场景。
• cluster.routing.allocation.node.weight：用于WeightedShardAllocationDecider，定义节点权重，影响请求在不同节点间的分配比例，使资源丰富的节点承担更多请求，充分利用集群资源。