面试题：ElasticSearch复杂聚合场景下的性能调优

索引设计

字段映射优化
- 数据类型选择：对于数值类型，选择合适的整数类型（如 byte、short、integer、long）或浮点数类型（float、double），避免过度使用高精度类型造成不必要的空间浪费。例如，如果数值范围在 -128 到 127 之间，使用 byte 类型。
- 日期字段：使用 date 类型，并指定合适的格式，如 yyyy - MM - dd HH:mm:ss。避免在日期字段上进行字符串存储，因为日期类型在聚合和范围查询时效率更高。
- 嵌套字段：如果有嵌套结构的数据，合理使用嵌套类型。例如，对于包含多个对象的数组，每个对象内部又有多个属性的情况，使用嵌套类型。但要注意，嵌套类型会增加查询和聚合的复杂度，所以尽量简化嵌套层次。
索引分片和副本设置
- 分片数量：根据数据量和集群规模合理设置分片数。一般原则是每个分片大小控制在 10GB - 50GB 之间。如果数据量非常大且涉及多个索引，可以适当增加分片数，但不能过多，过多分片会增加集群管理开销。例如，对于一个预计有 1TB 数据的索引，可以设置 20 - 100 个分片。
- 副本数量：副本主要用于提高数据可用性和读性能。在数据量非常大且读操作频繁的场景下，可以适当增加副本数量，但每个副本都会占用额外的存储空间。一般设置 1 - 3 个副本，具体根据读负载和硬件资源来调整。

查询语句优化

聚合操作优化
- 减少不必要的聚合：仔细分析业务需求，只进行必要的聚合操作。例如，如果业务只关心某个时间段内的总量，就不需要同时进行 terms 聚合来获取每个分类的详细数量。
- 使用 sub - aggregation 合理组织嵌套聚合：对于嵌套聚合场景，确保内层聚合和外层聚合的逻辑合理。例如，在外层使用 terms 聚合按类别分组，内层使用 date_histogram 聚合统计每个类别在不同时间的分布情况，要注意内层聚合的数据量不要过大，否则会影响性能。
- 提前过滤数据：在聚合之前，使用 filter 子句对数据进行过滤，减少参与聚合的数据量。例如，只对特定时间范围或特定条件的数据进行聚合。例如：

{
    "query": {
        "bool": {
            "filter": [
                {
                    "range": {
                        "timestamp": {
                            "gte": "2023 - 01 - 01",
                            "lte": "2023 - 12 - 31"
                        }
                    }
                }
            ]
        }
    },
    "aggs": {
        // 聚合操作
    }
}

多索引查询优化
- 使用 multi - search：如果需要从多个索引获取数据进行聚合，可以使用 multi - search API。它可以在一次请求中发送多个搜索请求，减少网络开销。例如：

POST _msearch
{ "index": "index1" }
{ "query": { "match_all": {} }, "aggs": { "my_agg": { "terms": { "field": "category" } } } }
{ "index": "index2" }
{ "query": { "match_all": {} }, "aggs": { "my_agg": { "terms": { "field": "category" } } } }

索引别名：为多个相关索引创建别名，在查询时通过别名来操作多个索引，这样在索引结构变化（如新增索引、删除索引）时，只需要修改别名配置，而不需要修改查询语句。例如：

POST _aliases
{
    "actions": [
        {
            "add": {
                "index": "index1",
                "alias": "my_aliased_index"
            }
        },
        {
            "add": {
                "index": "index2",
                "alias": "my_aliased_index"
            }
        }
    ]
}

然后在查询中使用别名：

{
    "index": "my_aliased_index",
    "query": {
        "match_all": {}
    },
    "aggs": {
        // 聚合操作
    }
}

集群配置

硬件资源优化
- 内存配置：确保 Elasticsearch 节点有足够的内存。Elasticsearch 会将索引数据和查询结果缓存到内存中，所以内存越大，缓存命中率越高，查询性能也就越好。一般建议将节点物理内存的一半分配给 Elasticsearch 的堆内存，但不要超过 32GB（因为 Java 的对象指针压缩在 32GB 以上会失效，影响性能）。
- 磁盘配置：使用高速磁盘，如 SSD。Elasticsearch 在写入和读取数据时，磁盘 I/O 性能对整体性能影响较大。SSD 相比传统机械硬盘，具有更高的读写速度，可以显著提升数据处理速度。
- CPU 配置：根据节点的角色（如数据节点、协调节点等）合理分配 CPU 资源。数据节点在处理大量数据时需要较多的 CPU 资源进行数据的索引和检索，协调节点在处理查询请求的分发和结果合并时也需要一定的 CPU 资源。一般来说，每个节点可以分配 4 - 8 个 CPU 核心，具体根据实际负载调整。
节点角色优化
- 数据节点：主要负责存储和处理数据。在数据量非常大的情况下，可以增加数据节点的数量来提高数据存储和处理能力。但要注意，数据节点过多会增加集群的管理复杂度和网络开销。
- 协调节点：负责接收客户端请求，将请求分发到各个数据节点，并合并各个数据节点返回的结果。可以适当增加协调节点的数量来提高请求处理能力，特别是在高并发查询的场景下。一般建议协调节点数量为 3 - 5 个，具体根据查询负载调整。
- 主节点：负责管理集群的元数据和状态信息。主节点不需要太多的资源，但要保证其稳定性，一般设置 3 - 5 个主节点候选，通过选举机制选出主节点。避免主节点成为性能瓶颈，因为主节点故障会导致集群重新选举，影响整体可用性。
集群参数优化
- indices.memory.index_buffer_size：这个参数控制每个分片用于索引数据的内存缓冲区大小，默认是 10% 的堆内存。在数据写入量非常大的情况下，可以适当增加这个参数值，但要注意不要过度占用堆内存，以免影响其他操作。
- thread_pool.search.size：控制搜索线程池的大小，默认值是 CPU 核心数的 1.5 倍。在高并发查询场景下，可以适当增加这个值来提高查询处理能力，但也要注意不要过多，以免耗尽系统资源。
- indices.fielddata.cache.size：用于设置字段数据缓存的大小，聚合操作会大量使用这个缓存。如果聚合操作频繁，可以适当增加这个值，但要根据可用内存来调整，避免内存溢出。

面试题：ElasticSearch复杂聚合场景下的性能调优

知识考点

面试题答案

索引设计

查询语句优化

集群配置