面试题：如何在HBase Compaction基本流程中对磁盘I/O资源进行针对性优化

磁盘类型升级：将机械硬盘（HDD）更换为固态硬盘（SSD），SSD的随机读写性能远高于HDD，能够显著提升I/O速度。
增加磁盘数量：通过增加磁盘数量，分散I/O负载，提升整体的I/O带宽。例如，使用RAID 0（但需注意数据安全性）或JBOD（Just a Bunch of Disks）方式。
优化网络配置：确保存储节点与HBase节点之间网络带宽足够，避免因网络瓶颈影响磁盘I/O。可以升级网络设备，如更换高速网卡、交换机等。

hbase.hstore.compaction.max.size：调整该参数，限制单个StoreFile在触发Compaction前的最大大小。适当增大该值，可以减少小文件Compaction的频率，降低I/O负载。例如，如果当前值为256MB，可以根据实际情况调整为512MB或1GB。
hbase.hstore.compaction.min.size：设置触发Compaction的最小StoreFile大小。适当增大此值，避免频繁对过小文件进行Compaction。比如，从默认的128KB增大到256KB。
hbase.hstore.compaction.ratio：这个参数定义了触发Compaction时，StoreFile大小与最小StoreFile大小的比例关系。调整该比例，可以控制Compaction的触发频率。若当前值为10，可适当降低为5，减少不必要的Compaction。
hbase.regionserver.global.memstore.upperLimit 和 hbase.regionserver.global.memstore.lowerLimit：调整这两个参数，控制MemStore占用RegionServer堆内存的上限和下限。合理增大上限值，使得数据在MemStore中停留更长时间，减少数据刷写到磁盘的频率，从而降低I/O压力。例如，将上限从默认的40%适当调整为50%。

分层Compaction算法优化：在分层Compaction算法中，优化文件选择策略。优先选择具有相似时间戳或数据范围的文件进行Compaction，减少不必要的数据移动和I/O操作。例如，根据文件创建时间或数据的rowkey范围进行分组，在分组内进行Compaction。
自适应Compaction：开发自适应算法，根据当前系统的I/O负载情况动态调整Compaction策略。如在I/O负载较低时，增加Compaction的频率和并行度；在I/O负载高时，降低Compaction活动。可以通过监控磁盘I/O队列长度、CPU使用率等指标来实现自适应调整。
异步Compaction：将Compaction操作设计为异步执行，避免Compaction过程阻塞其他关键的HBase操作，如读写请求。可以使用多线程或异步任务框架来实现异步Compaction。

I/O调度算法调整：根据磁盘类型选择合适的I/O调度算法。对于SSD，选择noop或deadline调度算法，减少不必要的I/O调度开销；对于HDD，选择CFQ（Completely Fair Queuing）算法，保证I/O请求的公平性。例如，在Linux系统中，通过修改 /sys/block/sda/queue/scheduler 文件来切换调度算法。
调整系统缓存：增大操作系统的磁盘缓存，使更多的I/O操作可以在内存中完成，减少实际的磁盘I/O。在Linux系统中，可以通过调整 vm.swappiness 参数（降低该值，如从默认的60调整到10），减少数据交换到磁盘的频率，同时增大 vm.dirty_ratio 和 vm.dirty_background_ratio，让系统缓存更多的脏数据，延迟刷盘操作。

知识考点