面试题：ElasticSearch 索引结构对全文检索效率的影响及优化策略

Question

详细分析 ElasticSearch 的索引结构（如倒排索引等）是如何影响全文检索效率的，针对不同的应用场景，应该怎样设计和优化索引结构以提升检索效率？

Answer 1

ElasticSearch索引结构对全文检索效率的影响

1. 倒排索引
   • 原理：倒排索引是ElasticSearch的核心索引结构。它将文档集合中的每个词（term）映射到包含该词的文档列表。例如，对于文档集合{D1: "苹果好吃", D2: "香蕉好吃"}，倒排索引会记录“苹果”对应D1，“香蕉”对应D2，“好吃”对应D1和D2。
   • 对检索效率影响：这种结构使得ElasticSearch能快速定位包含特定词的文档。在全文检索中，当用户输入查询词时，系统直接从倒排索引中查找该词，然后获取对应的文档列表，极大减少了扫描文档的范围，提高检索效率。例如，要查找包含“苹果”的文档，无需遍历所有文档，直接从“苹果”对应的倒排列表获取相关文档。
2. 索引分片与副本
   • 原理：ElasticSearch将索引切分为多个分片（shard），每个分片可分布在不同节点上，副本（replica）则是分片的拷贝。例如，一个索引可以分为3个分片，每个分片有2个副本。
   • 对检索效率影响：分片机制使得索引可以水平扩展，处理大规模数据。当有查询请求时，不同分片可并行处理，提高检索速度。副本不仅提供数据冗余和高可用性，在查询时也可分担读请求，进一步提升检索效率。例如，在高并发读场景下，多个副本可以同时处理读请求，减轻单个分片的压力。
3. 词项字典与 postings list
   • 原理：词项字典存储所有的词（term），postings list记录每个词在文档中的位置等详细信息。例如，词项字典中有“苹果”，其对应的postings list记录“苹果”在文档中出现的文档ID、位置等。
   • 对检索效率影响：词项字典通常采用树形结构（如FST - Finite State Transducer）等高效数据结构存储，便于快速查找词项。而postings list的压缩和存储方式（如Frame Of Reference编码等）影响从词项到文档的映射获取速度，进而影响检索效率。

不同应用场景下索引结构设计与优化

1. 大数据量高并发读场景
   • 设计：增加分片数量，合理分配副本。例如，对于数十亿文档的索引，可将索引分为数十个分片，每个分片有多个副本。这样在高并发读时，不同分片和副本能并行处理读请求。
   • 优化：采用高效的词项字典和postings list存储与压缩方式。例如，使用FST结构的词项字典减少内存占用并提高查找速度，对postings list采用适合大数据量的压缩算法，减少磁盘I/O。
2. 实时性要求高的场景
   • 设计：采用较小的刷新间隔（refresh interval），使新文档能尽快被索引。但刷新操作会有一定性能开销，所以要权衡。例如，将刷新间隔设为1秒，可实现近实时索引。
   • 优化：对索引结构进行预热。在系统启动或负载较低时，预先加载常用的词项字典和postings list到内存，减少实时检索时的磁盘I/O，提高响应速度。
3. 复杂查询场景
   • 设计：使用多字段索引和复合索引。例如，对于电商商品查询，可能需要对商品名称、描述、类别等多个字段建立索引。可使用multi - field类型，对不同字段采用不同的分析器，以满足不同查询需求。对于需要同时查询多个字段组合条件的，可建立复合索引。
   • 优化：调整查询相关性算分。通过自定义算分公式，让ElasticSearch更符合业务需求。例如，在搜索商品时，商品名称匹配的权重可设置得比描述匹配的权重大，使搜索结果更符合用户期望。