面试题：HBase Compaction高级策略性能调优之参数影响

Question

在HBase Compaction高级策略中，像hbase.hstore.compaction.min和hbase.hstore.compaction.max这样的参数，对Compaction性能有怎样具体的影响？如何根据业务场景合理调整这些参数？

Answer 1

hbase.hstore.compaction.min参数影响及调整

• 对Compaction性能的影响：该参数定义了一次Compaction最少合并的StoreFile数量。如果设置过小，如设为1，那么每次Compaction只合并一个文件，失去了Compaction合并文件减少文件数量以提升读取性能的意义，且频繁的小Compaction会增加I/O开销。如果设置过大，比如设为10，在数据量小的情况下，可能长时间无法满足Compaction条件，导致文件数量过多，影响读取性能。
• 根据业务场景调整：对于写入频繁且数据量较大的业务场景，可以适当提高此值，如设为5 - 8，减少不必要的小Compaction次数，提升整体性能。对于写入量小且读取频繁的场景，可设为2 - 3，及时合并文件，降低读取时的文件查找开销。

hbase.hstore.compaction.max参数影响及调整

• 对Compaction性能的影响：此参数规定了一次Compaction最多合并的StoreFile数量。若设置过大，如设为50，在进行Compaction时会涉及大量文件的合并，这将极大地消耗系统资源，包括I/O、内存等，可能导致HBase服务性能严重下降，甚至影响其他业务。若设置过小，如设为5，可能无法充分利用Compaction合并文件的优势，文件数量不能有效减少，读取性能提升有限。
• 根据业务场景调整：对于硬件资源充足且写入量大的场景，可以适当提高该值，如15 - 20，能更有效地减少文件数量，提升读取性能。对于硬件资源有限的场景，应降低此值，如8 - 12，避免因过度合并文件导致系统资源耗尽，保障系统的稳定性。