面试题：Hbase待合并HFile集合选择策略对系统性能的影响

Question

结合《HBase待合并HFile集合选择策略的设计》，详细分析不同的HFile集合选择策略会如何影响Hbase系统的读写性能，在高并发读写场景下又会有怎样不同的表现？

Answer 1

不同HFile集合选择策略对HBase系统读写性能的影响

1. 按大小选择策略
   • 读性能：如果选择较大的HFile集合进行合并，在读取时，由于单个HFile数据量较大，可能需要扫描的数据范围更广，导致读延迟增加。但从整体存储布局优化角度看，合并后HFile数量减少，读时需要遍历的文件数减少，对于某些顺序读场景可能有一定性能提升。
   • 写性能：在写操作时，大的HFile集合合并可能需要较长时间，会占用较多系统资源，影响写入的响应时间。而且在合并过程中，可能会导致部分写请求等待，降低写性能。
2. 按时间选择策略
   • 读性能：选择较旧的HFile集合进行合并，可能会将一些长时间未被更新但频繁读取的数据进行合并。这对于读性能的影响取决于数据的访问模式，如果是热点数据，旧数据的合并可能不会影响读性能；但如果是非热点数据，可能会因为不必要的合并导致读时扫描到更多无用数据，降低读性能。
   • 写性能：这种策略相对来说对写性能影响较小，因为合并的决策主要基于时间，而不是写入的数据量。不过，如果长时间未合并的HFile数据量积累较大，合并时仍可能对写操作产生一定的资源竞争，影响写性能。
3. 混合选择策略
   • 读性能：综合考虑大小和时间因素，能够在一定程度上平衡读性能。既避免了过大HFile带来的扫描负担，又能及时清理旧数据，优化存储布局，提高读操作的效率。对于读请求较多且数据访问模式复杂的场景，这种策略能更好地适应。
   • 写性能：通过合理权衡大小和时间，减少了极端情况下大HFile合并或长时间未合并对写性能的影响，使得写操作在大多数情况下能保持相对稳定的性能。

高并发读写场景下的不同表现

1. 按大小选择策略
   • 读场景：在高并发读时，大HFile合并后减少文件遍历数量的优势可能更明显，能在一定程度上缓解读压力。但如果HFile过大，扫描时间过长，可能会导致读请求排队，降低整体读并发能力。
   • 写场景：高并发写时，大HFile合并占用资源多，可能导致写请求频繁等待，严重影响写并发性能，甚至可能引发系统响应缓慢或阻塞。
2. 按时间选择策略
   • 读场景：高并发读时，如果旧数据并非热点数据，按时间合并可能增加不必要的读扫描负担，降低读并发性能。但如果旧数据是热点数据，及时合并可能优化存储结构，提升读并发能力。
   • 写场景：高并发写时，由于合并主要基于时间，写操作相对受影响较小，但当旧HFile积累到一定程度集中合并时，仍可能对写并发产生冲击。
3. 混合选择策略
   • 读场景：在高并发读场景下，通过综合大小和时间因素选择合并集合，能更好地适应不同的数据访问模式，优化读性能，提高读并发能力，减少读请求排队现象。
   • 写场景：高并发写时，该策略可以更合理地分配系统资源，避免因合并操作过度影响写性能，维持较高的写并发水平。