面试题：如何优化 ElasticSearch 任务提交过程中的索引性能？

Question

假设你负责优化 ElasticSearch 任务提交过程中的索引性能，已知索引数据量较大且查询复杂。请说明你会采取哪些具体策略来提升索引性能，包括但不限于索引结构设计、字段类型选择、索引刷新策略调整等方面，并阐述其原理。

Answer 1

索引结构设计

1. 分拆索引：将大索引按业务维度（如时间、地区等）拆分为多个小索引。原理是小索引数据量小，在进行写入、查询操作时，I/O 和内存开销更小，可提升性能。例如，日志数据按日期分拆索引，查询特定日期数据时，只需检索对应小索引。
2. 使用父子文档或嵌套文档：对于具有层次关系的数据，合理选择父子文档或嵌套文档结构。父子文档通过 parent 和 child 关系关联，适合关系较松散的层次数据，查询时父文档和子文档分开存储和检索，可减少数据冗余；嵌套文档适合紧密关联的数据，将子文档嵌入父文档存储，查询时可一次性检索到相关数据，但可能导致数据冗余增加。原理是根据数据关系特点，优化存储和检索方式。

字段类型选择

1. 选择合适的基本类型：对于数值型字段，优先使用固定长度的类型（如 long 而非 integer，float 而非 double），只要能满足数据范围需求。原理是固定长度类型存储效率更高，可减少存储开销和查询时的解析时间。例如，年龄字段使用 integer 即可。
2. 日期类型：使用 date 类型存储日期数据，避免使用字符串存储日期。date 类型支持按日期范围查询等操作，内部有优化的存储和查询机制，原理是针对日期数据特点进行优化，而字符串日期查询需要进行额外的解析和比较。

索引刷新策略调整

1. 增大刷新间隔：默认情况下 Elasticsearch 每秒自动刷新一次索引，可适当增大刷新间隔（如设置为 5 秒或更长）。原理是刷新操作会将内存中的数据写入磁盘生成新的段，频繁刷新会产生较多小的段，增加合并开销。增大间隔可减少段的生成频率，提高写入性能，但会导致数据在内存中停留时间变长，查询实时性略有下降。
2. 手动控制刷新：在批量写入数据时，先禁用自动刷新，待数据全部写入后手动执行一次刷新操作。原理是避免在批量写入过程中频繁自动刷新，减少不必要的 I/O 操作，提高整体写入效率。

其他策略

1. 使用过滤器缓存：对于经常使用的过滤器条件，启用过滤器缓存。Elasticsearch 会缓存过滤器结果，下次相同过滤条件查询时直接使用缓存结果，减少磁盘 I/O 和计算开销，提升查询性能。
2. 优化查询语句：避免使用通配符查询（如 *）在字段开头的情况，因为这种查询无法利用倒排索引，需全量扫描数据。尽量使用 term 查询、range 查询等可利用索引的查询方式，原理是利用索引结构快速定位数据。
3. 增加副本数量：适当增加索引副本数量，可提高查询并发处理能力。原理是副本可分担读请求，在高并发查询场景下，更多副本能更快响应查询请求，但会增加存储开销。