面试题：特定场景下HBase Compaction高级策略优化方案及效益评估

Question

假设一个高写入量、低读取频率且对存储空间敏感的业务场景，你会如何选择和优化HBase Compaction高级策略？请详细说明优化方案，并对优化后的成本效益进行量化评估。

Answer 1

选择策略

在高写入量、低读取频率且对存储空间敏感的业务场景下，可选择 SteppingCompactionPolicy。该策略特点是在满足一定条件时，将小文件逐步合并成大文件，能有效减少文件数量，同时相对其他策略（如 LeveledCompactionPolicy 等），更适合对存储空间敏感的场景，因为它不会像 LeveledCompactionPolicy 那样为了避免读放大而保留较多文件，而是以合并文件减少存储碎片化为主。

优化方案

1. 调整合并阈值：
   • hbase.hstore.compaction.min：默认值为3，可适当提高，比如设置为5。这样只有当StoreFile数量达到5个时才触发合并，减少不必要的小文件合并，降低写入时的性能开销。因为高写入量场景下频繁小文件合并会影响写入性能。
   • hbase.hstore.compaction.max：默认值为10，可根据实际业务写入量调整。如果写入量极大，可适当降低，例如设置为8，防止一次性合并过多文件导致系统资源耗尽。
2. 设置写入缓冲区大小：
   • hbase.hregion.memstore.flush.size：默认值为128MB，可适当增大，如设置为256MB。这能让更多数据在内存中累积，减少Flush次数，从而减少生成的StoreFile数量，间接降低Compaction频率。但要注意不要设置过大，避免内存溢出。
3. 优化合并调度：
   • 使用 hbase.regionserver.thread.compaction 参数调整合并线程数。在高写入量场景下，可适当增加线程数，例如从默认的3增加到5，加快合并速度，但要监控系统资源，防止过多线程导致系统资源紧张。

成本效益量化评估

1. 存储成本：
   • 优化前，由于频繁写入产生大量小文件，文件碎片化严重，假设存储利用率为60%。优化后，通过调整Compaction策略和参数，文件合并更合理，存储利用率可提升至80%。以10TB存储容量为例，优化前实际有效存储数据为6TB，优化后可存储8TB数据，节省了2TB存储成本。假设每TB存储成本为500元/年，则每年节省存储成本1000元。
2. 写入性能成本：
   • 优化前，由于频繁的小文件Compaction，写入性能受影响，假设每秒写入1000条记录，延迟为50ms。优化后，减少了不必要的Compaction，写入性能提升，每秒可写入1200条记录，延迟降低至30ms。按照业务写入需求每天写入100万条记录计算，优化前写入完成需要约2.78小时，优化后仅需约2.31小时，每天节省约0.47小时。如果服务器每小时成本为10元，则每天节省成本约4.7元。
3. 读取性能成本：
   • 优化前读取频率低，假设平均每天读取100次，每次读取延迟为100ms。优化后，虽然以合并文件减少存储碎片化为主，但由于文件数量减少，读取性能略有提升，每次读取延迟降低至80ms。每天节省的读取延迟时间为100 * (100 - 80) = 2000ms = 2s。对业务影响较小，但长期来看，如果读取量增大，优化后的读取性能优势将更明显。

总体而言，通过对HBase Compaction高级策略的优化，在存储成本和写入性能成本上有较为明显的节省，虽然读取性能提升对当前低读取频率场景影响不大，但为未来业务发展提供了更好的基础。