面试题：复杂场景下ElasticSearch searchtype对搜索结果相关性的影响及优化

Question

在一个包含大量文档且文档结构复杂的ElasticSearch集群中，使用不同的searchtype对搜索结果的相关性有怎样的影响？如何根据业务需求选择合适的searchtype并进行优化，以提高搜索结果的相关性？请举例说明。

Answer 1

不同searchtype对搜索结果相关性的影响

1. query_then_fetch
   • 原理：先在每个分片上执行查询，返回文档ID及排序相关信息（如得分），然后根据这些ID去主分片或副本分片上拉取文档完整内容。
   • 对相关性影响：它是默认的搜索类型，能保证相关性得分计算的准确性，因为每个分片独立计算得分然后汇总。但如果文档分布不均匀，可能导致某些分片负载高，影响整体相关性计算的效率，不过对最终相关性结果影响不大。
2. dfs_query_then_fetch
   • 原理：在执行query_then_fetch之前，先在每个分片上执行一次分布式词频统计（DFS）。这个统计会收集每个分片上的词频信息，然后汇总到协调节点，协调节点再将这些信息分发给每个分片，用于精确计算相关性得分。
   • 对相关性影响：相比query_then_fetch，它能更准确地计算相关性得分，因为考虑了全局的词频信息。尤其在处理跨分片搜索且文档分布不均匀时，能显著提高相关性计算的准确性。但由于增加了DFS步骤，性能会有所下降。
3. query_and_fetch
   • 原理：直接在每个分片上执行查询，并同时返回文档完整内容。没有先查询ID再拉取文档内容的两步操作。
   • 对相关性影响：虽然它减少了网络开销，性能相对较好，但由于没有先汇总得分再拉取文档，在跨分片搜索时，可能无法保证所有文档都按准确的相关性得分排序，导致相关性准确性略有下降。尤其是在文档数量多、分布复杂的集群中，这种影响可能更明显。
4. dfs_query_and_fetch
   • 原理：结合了dfs_query_then_fetch的分布式词频统计和query_and_fetch的直接拉取文档内容的特点。先进行DFS统计词频，然后直接在每个分片上执行查询并返回文档完整内容。
   • 对相关性影响：能提供最准确的相关性得分，因为全面考虑了全局词频信息。然而，由于它结合了DFS和直接拉取文档内容，性能开销较大，在大规模集群中可能会对性能产生较大压力。

根据业务需求选择合适searchtype及优化

1. 业务需求为快速获取大致相关结果
   • 选择：query_and_fetch。例如在一个实时搜索的场景中，用户输入关键词后希望能尽快看到一些相关结果，对结果的精确相关性要求不是特别高，更注重响应速度。
   • 优化：可以适当减少返回的字段，只返回关键信息，降低网络传输和处理开销。同时，合理设置分片数量，避免单个分片数据量过大影响查询性能。
2. 业务需求为获取高度相关且准确的结果，对性能有一定容忍度
   • 选择：dfs_query_then_fetch或dfs_query_and_fetch。比如在学术文献搜索场景中，用户希望搜索到的文献与自己的需求高度相关，对搜索结果的准确性要求很高。
   • 优化：对于dfs_query_then_fetch，可以通过缓存部分词频统计信息，减少重复的DFS操作开销。对于dfs_query_and_fetch，可以优化集群配置，增加硬件资源来提升性能，如增加内存以支持更复杂的计算，使用高速存储设备减少磁盘I/O延迟。同时，对查询语句进行优化，避免复杂度过高的查询。
3. 业务需求为平衡相关性和性能
   • 选择：query_then_fetch。例如在一个商品搜索平台，既希望搜索结果有较好的相关性，又要保证快速响应以提供良好的用户体验。
   • 优化：可以对索引进行优化，如采用合适的分词器，提高关键词匹配的准确性，进而提升相关性。同时，通过调整分片副本数量，在保证高可用性的前提下优化查询性能，如根据流量高峰低谷动态调整副本数量。