面试题：HBase不同存储方式性能评估之高级难度题

Question

假设在高写入负载场景下，对比HBase默认存储方式与一种优化后的自定义存储方式，从数据写入流程、数据持久化机制等方面分析两者性能差异，并说明如何通过调整HBase配置参数来优化默认存储方式的写入性能。

Answer 1

数据写入流程差异

• HBase默认存储方式：客户端将数据发送到RegionServer，RegionServer先写入MemStore（内存存储结构），当MemStore达到一定阈值（如128MB）后，会触发Flush操作，将数据写入HFile（磁盘存储文件）。写入过程涉及WAL（Write-Ahead Log），用于故障恢复，先写WAL再写MemStore。
• 优化后的自定义存储方式：可能会改变数据在内存中的组织形式，例如采用更高效的内存数据结构来减少内存占用与读写开销，或者改变写入WAL和MemStore的顺序，甚至可能绕过部分默认的中间环节，直接将数据以特定优化格式写入磁盘，减少多次数据转换开销。

数据持久化机制差异

• HBase默认存储方式：通过Flush将MemStore数据写入HFile持久化。HFile有特定的格式，包括元数据、数据块等。并且通过HLog（即WAL）保证数据不丢失，当RegionServer故障重启时，会回放HLog恢复未持久化的数据。
• 优化后的自定义存储方式：自定义持久化格式可能与HFile不同，可能会采用更紧凑的磁盘布局，减少磁盘I/O操作。例如，按数据访问模式进行数据分块存储，提高读取与写入效率。同时，可能设计新的故障恢复机制，减少HLog回放带来的性能损耗。

优化默认存储方式写入性能的配置参数调整

1. MemStore相关参数
   • hbase.hregion.memstore.flush.size：默认128MB，可以根据服务器内存情况适当增大，减少Flush频率，但不能过大以免OOM（Out Of Memory）。
   • hbase.hregion.memstore.block.multiplier：控制MemStore占RegionServer堆内存比例，默认0.4，可适当调整，如提高到0.5，让MemStore能使用更多内存。
2. WAL相关参数
   • hbase.regionserver.wal.syncinterval：控制WAL刷盘间隔，默认1000ms，可适当增大，但会增加故障时数据丢失风险。
   • hbase.regionserver.wal.hsync：是否每次写入都进行同步操作，可设为false采用异步刷盘提高性能，但同样增加数据丢失风险。
3. 其他参数
   • hbase.hstore.blockingStoreFiles：当一个Store中的HFile数量达到此值时，会触发Compact操作，可适当增大，减少小文件数量和Compact频率。
   • hbase.regionserver.global.memstore.lowerLimit 和 hbase.regionserver.global.memstore.upperLimit：分别控制所有MemStore占用堆内存的下限和上限，可根据实际情况调整，优化整体内存使用。