面试题答案
一键面试1. 分片数量初始设计
- 预估数据量与增长趋势：根据业务历史数据以及未来一段时间的增长预估，计算大致的数据量。例如，如果每月数据量增长10GB，预计未来一年数据量将达到120GB。
- 硬件资源考量：考虑集群所在服务器的磁盘、内存和CPU资源。假设每台服务器有1TB磁盘空间，16GB内存，8核CPU，结合数据量预估，合理分配每个分片的大小。一般建议每个分片不超过50GB，以平衡搜索性能和资源利用。
- 写入性能测试：在测试环境中，模拟不同分片数量下的实时写入数据场景，通过监控写入速率、响应时间等指标，确定最佳初始分片数量。例如，当分片数量从10增加到20时，写入速率明显提升且响应时间在可接受范围内，那么可初步确定分片数量为20。
2. 分片分配策略
- 基于节点负载均衡：Elasticsearch内置的分配策略会尽量将分片均匀分配到不同节点。但为了避免单个节点负载过高，可通过调整
cluster.routing.allocation.balance.shard参数来优化分片分配。取值范围为0 - 1，0表示完全不考虑分片数量均衡，1表示完全均衡。例如，设置为0.8，可在一定程度上保证分片在节点间相对均衡分布。 - 感知时间序列数据特征：由于数据具有时间序列特征，可按照时间维度进行分片分配。比如按天或按周为单位，将近期的数据分片尽量分配到性能较好的节点上，因为近期数据查询频率可能更高。可通过自定义路由来实现这一目标，在写入数据时，根据时间戳计算路由值，确保相同时间范围的数据被路由到特定的一组节点。
3. 弹性伸缩策略
- 基于数据量的伸缩：设置数据量阈值，当某个分片的数据量接近或超过设定的最大值（如50GB）时，触发分片分裂操作。可通过Elasticsearch提供的API或监控工具来实现自动检测和分裂。例如，使用
_splitAPI将一个大的分片分裂为两个较小的分片。同时，当数据量减少时，如某些历史数据不再频繁访问，可考虑合并分片，通过_forcemergeAPI将多个小分片合并为一个大分片，减少分片数量，提高查询性能。 - 基于负载的伸缩：监控节点的CPU、内存、磁盘I/O和网络负载等指标。当某个节点负载过高（如CPU使用率超过80%，内存使用率超过90%）时，将该节点上的部分分片迁移到其他负载较低的节点。可通过Elasticsearch的
cluster.routing.allocation.decider模块自定义负载感知策略，根据负载情况动态调整分片分配。同时，当集群整体负载持续升高，可添加新的节点，并自动将分片分配到新节点上，以提高集群的整体处理能力。 - 基于查询压力的伸缩：监控查询的响应时间和吞吐量。如果查询响应时间明显变长（如超过100ms）或吞吐量下降（如每秒查询次数低于设定的阈值），说明查询压力过大，此时可适当增加分片数量或调整分片分配，以提高查询性能。可通过Elasticsearch的
_catAPI或监控工具实时获取查询相关指标，触发弹性伸缩操作。
4. 避免数据热点和性能瓶颈
- 哈希取模与随机化：在写入数据时，通过哈希取模算法将数据均匀分配到各个分片，避免数据集中在某些特定分片上。同时，可引入一定的随机化因素，如在哈希值基础上加上一个随机数，进一步分散数据。这样能有效避免写入热点。
- 定期滚动索引：对于时间序列数据，定期创建新的索引，将新数据写入新索引，旧索引用于历史数据查询。例如，每天创建一个新索引，按照时间顺序依次滚动。这样可避免单个索引数据量过大，同时减少查询时的扫描范围，提高查询性能。滚动索引时，要注意索引别名的使用，确保应用程序无需修改即可访问到最新数据。
- 缓存机制：在应用层或Elasticsearch集群前设置缓存，如使用Redis。对于频繁查询的热点数据，先从缓存中获取，减少对Elasticsearch的查询压力。同时，设置合理的缓存过期时间，确保数据的一致性。例如，对于一些实时性要求不高的统计数据，缓存时间可设置为1小时，对于实时性要求较高的数据，缓存时间可设置为1分钟。