面试题：ElasticSearch滚动查询在高并发场景下的性能优化

Question

假设你在一个高并发的应用场景中，需要频繁使用ElasticSearch滚动查询处理大量数据。描述你会采取哪些措施来优化滚动查询的性能，例如从索引设计、查询参数调整、资源分配等方面进行阐述。

Answer 1

索引设计

1. 字段映射优化：
   • 对于不需要进行全文搜索的字段，设置index: false，减少索引体积，从而加快查询速度。例如，如果有一个存储图片二进制数据的字段，该字段不会用于搜索，就可以设置不索引。
   • 合理设置字段的数据类型，例如对于日期字段，使用date类型，避免使用text类型，以提高日期范围查询的效率。
2. 分片和副本设置：
   • 分片：根据数据量和硬件资源合理规划分片数量。如果数据量预计会持续增长，初始分片数可以适当多一些，但不宜过多，避免过多分片带来的管理开销。例如，对于TB级别的数据，每个分片大小控制在几十GB到100GB左右较为合适。
   • 副本：在高并发场景下，副本数量可以根据读请求的压力来调整。如果读请求非常高，可以适当增加副本数量，但要注意副本过多会占用更多的磁盘空间和网络资源，一般2 - 3个副本比较常见。

查询参数调整

1. 滚动参数优化：
   • size参数：设置合适的size值，不宜过大也不宜过小。过大可能导致内存占用过高，过小则会增加滚动次数，降低效率。一般可以根据数据的平均大小和服务器内存情况来设置，例如对于文档数据量较小的场景，size设置为1000 - 5000比较合适。
   • scroll参数：合理设置滚动时间，滚动时间过短可能导致查询还未完成滚动就过期，过长则会占用过多的资源。可以根据预计的数据处理时间来设置，例如设置为5 - 10分钟。
2. 查询条件优化：
   • 避免使用通配符查询：通配符查询（如*开头的查询）性能较差，尽量使用精确查询或者前缀查询替代。例如，将name: *smith替换为name: smith*（如果业务允许）。
   • 使用过滤器缓存：对于频繁使用的过滤条件，ElasticSearch会缓存过滤器结果，以提高后续查询的性能。例如，经常按照某个固定的日期范围或者类别进行查询，可以利用过滤器缓存。

资源分配

1. 硬件资源：
   • 内存：确保ElasticSearch节点有足够的内存，ElasticSearch会将索引数据加载到内存中以加快查询速度。一般建议将物理内存的一半分配给ElasticSearch的堆内存，但要根据服务器的整体用途进行调整。
   • CPU：高并发的滚动查询会消耗较多的CPU资源，尽量使用多核CPU的服务器，并根据查询负载调整ElasticSearch节点数量，充分利用CPU资源。
2. 集群资源：
   • 节点角色分配：在多节点集群中，合理分配节点角色。例如，将专门用于处理查询的节点（数据节点和协调节点）与负责管理集群状态的主节点分开，避免主节点因过多的查询负载而影响集群的稳定性。
   • 负载均衡：使用负载均衡器（如HAProxy、Nginx等）将高并发的滚动查询请求均匀分配到各个ElasticSearch节点上，避免单个节点压力过大。