面试题：ElasticSearch 建立索引时，如何通过合理设置分片与副本提升效率

Question

在 ElasticSearch 建立索引场景下，阐述分片和副本数量的设置原则，以及它们是怎样影响索引建立效率的，并举例说明不同业务场景下较为合适的设置。

Answer 1

分片和副本数量设置原则

1. 分片数量
   • 初期规划：在索引创建初期，应根据数据量的预估来设置分片数量。若数据量较小，过多分片会增加管理开销；数据量较大时，过少分片可能导致单个分片存储过大，影响查询性能。一般而言，单个分片建议存储量不超过 30GB - 50GB 为宜。例如，预计索引数据总量为 100GB，可考虑设置 3 - 5 个分片。
   • 动态调整：随着业务发展，数据量增长，若发现单个分片数据存储接近上限，可考虑通过 Elasticsearch 的 reindex 等功能进行分片的重新分配或增加分片数量。
2. 副本数量
   • 高可用性：副本主要用于提供数据冗余和高可用性。对于重要业务数据，为防止节点故障丢失数据，可适当增加副本数量。例如，对于金融交易数据，建议设置 2 - 3 个副本，确保即使部分节点出现故障，数据仍可正常访问和操作。
   • 资源限制：副本会占用额外的存储空间和系统资源（如 CPU、内存等）。在资源有限的情况下，应权衡副本数量。例如，对于一些测试环境或非关键业务，设置 1 个副本即可满足基本的容错需求，又不会过多消耗资源。

对索引建立效率的影响

1. 分片数量
   • 正向影响：适当增加分片数量可以提高索引建立的并行度。因为 Elasticsearch 在索引数据时，会并行地向各个分片写入数据。例如，设置 5 个分片比设置 1 个分片，在索引建立时，理论上能在相同时间内处理更多的数据量，加快索引建立速度。
   • 负向影响：分片过多会增加系统的管理开销。每个分片都需要维护自己的元数据、文件句柄等，过多分片会导致这些开销增大，从而在一定程度上降低索引建立效率。此外，过多分片还可能导致数据分布不均匀，部分分片压力过大，也会影响整体索引效率。
2. 副本数量
   • 负向影响：副本数量增加会降低索引建立效率。因为在索引数据写入主分片后，还需要同步到各个副本分片。副本数量越多，同步的次数和数据量就越大，整体的索引建立时间也就越长。例如，设置 3 个副本比设置 1 个副本，在索引建立时需要更多的时间来完成副本同步。

不同业务场景下的设置举例

1. 日志数据场景
   • 特点：日志数据通常数据量较大，但对实时性要求相对不高，且对数据准确性要求较高。
   • 设置：分片数量可根据预估的日志数据总量来设置，如每天产生 100GB 日志数据，可设置 3 - 5 个分片。副本数量可设置为 1 - 2 个，既能保证一定的高可用性，又不会过多影响索引效率。例如，设置 4 个分片，1 个副本。
2. 电商商品搜索场景
   • 特点：数据量适中，对查询性能和高可用性要求较高，索引更新频率相对较低。
   • 设置：分片数量可根据商品数据量设置，如预计有 50GB 商品数据，可设置 2 - 3 个分片。为保证高可用性和快速响应查询，副本数量可设置为 2 - 3 个。例如，设置 3 个分片，2 个副本。
3. 物联网设备监控数据场景
   • 特点：数据量巨大且产生频率高，对实时性要求极高，同时对数据一致性要求相对较低。
   • 设置：应设置较多的分片以提高索引并行度，如根据预估的数据流量，设置 10 - 20 个分片。副本数量可设置为 1 个，在保障一定容错性的同时，优先保证索引建立效率。例如，设置 15 个分片，1 个副本。