面试题：优化ElasticSearch搜索性能时如何考虑文档分发策略

Question

当你在优化ElasticSearch的搜索性能时，结合文档分发的原理，你会从哪些角度调整文档分发策略，从而提升整体搜索性能？请详细说明。

Answer 1

1. 索引分片数量：
   • 原理：Elasticsearch将索引划分为多个分片，每个分片是一个独立的Lucene索引。文档根据其ID通过哈希算法分配到不同的分片。合理的分片数量能确保文档均匀分布，提升并行处理能力。
   • 调整策略：根据数据量和硬件资源预估合适的分片数。如果分片过少，可能导致单个分片数据量过大，影响搜索性能；分片过多则会增加管理开销。例如，对于中小规模数据集，可先以少量分片（如5 - 10个）开始测试，随着数据增长，根据实际性能表现增加分片。同时，要考虑节点数量，一般每个节点上的分片数量不宜过多，避免资源竞争。
2. 副本数量：
   • 原理：副本是分片的拷贝，用于提供高可用性和分担读请求。副本与主分片分布在不同节点上，文档写入主分片后会同步到副本。
   • 调整策略：根据读请求的负载调整副本数量。如果读操作频繁，可适当增加副本数量，将读请求分散到多个副本分片上，提升读取性能。但副本过多会占用更多磁盘空间和网络带宽用于同步数据，因此要在性能和资源消耗间找到平衡。例如，对于读多写少的场景，可设置2 - 3个副本；对于写操作频繁的场景，可适当减少副本数量。
3. 路由规则：
   • 原理：文档在写入时，Elasticsearch通过路由规则决定其存储在哪个分片上。默认使用文档ID的哈希值进行路由。
   • 调整策略：对于一些特定应用场景，可自定义路由规则。例如，在多租户应用中，可按租户ID进行路由，将同一租户的文档都路由到相同的分片上，这样在搜索该租户相关文档时，可减少跨分片搜索的开销，提升搜索性能。但自定义路由要谨慎，确保数据分布相对均衡，避免某些分片负载过高。
4. 文档分布均衡：
   • 原理：Elasticsearch通过自动分片分配机制将分片均匀分布在集群节点上。但在一些情况下，如节点配置差异或数据增长不均衡，可能导致文档分布不均。
   • 调整策略：定期监控节点的负载情况，包括CPU、内存、磁盘I/O等。如果发现某个节点负载过高，可使用Elasticsearch提供的API手动迁移分片，将负载过高节点上的分片迁移到负载较低的节点，以实现文档分布均衡，提升整体搜索性能。同时，在添加新节点时，要合理规划节点配置，避免因节点配置差异导致新节点成为性能瓶颈。