面试题：Hbase中本地memstore分配缓冲区的作用及简单配置方式

Question

请阐述Hbase本地memstore分配缓冲区有什么作用？并简要说明在Hbase配置文件中，针对本地memstore缓冲区配置的主要参数有哪些，它们大致的作用分别是什么？

Answer 1

Hbase本地memstore分配缓冲区的作用

1. 数据缓存：在数据写入HBase时，不会立即持久化到磁盘，而是先写入到MemStore这个内存缓冲区中。这减少了磁盘I/O操作的频率，因为如果每次写入都直接操作磁盘，磁盘I/O性能瓶颈会严重影响系统整体写入性能。
2. 数据排序：MemStore按照RowKey对数据进行排序。当数据最终刷写到磁盘形成StoreFile时，数据已经是有序的，这对于HBase基于RowKey的快速查询非常重要，使得查询操作能够利用这种有序性快速定位到所需数据。
3. 批量写入：MemStore缓冲区积累到一定程度（达到配置的阈值）后，会批量刷写到磁盘。批量操作比多次小的写入操作更高效，能有效提高磁盘I/O利用率。

HBase配置文件中针对本地memstore缓冲区配置的主要参数及作用

1. hbase.hregion.memstore.flush.size
   • 作用：指定单个MemStore的刷写阈值。当MemStore中的数据量达到该阈值时，会触发一次刷写操作，将MemStore中的数据写入到磁盘，生成一个新的StoreFile。默认值通常为128MB，适当调整该值可以平衡写入性能和内存使用。如果设置过大，会占用较多内存，但减少刷写频率，适合写入量较大且内存充足的场景；设置过小，刷写频繁，磁盘I/O压力大，但能及时释放内存，适用于内存紧张的场景。
2. hbase.regionserver.global.memstore.upperLimit
   • 作用：定义RegionServer上所有MemStore占用堆内存的上限比例。例如，设置为0.4，表示所有MemStore最多可使用RegionServer堆内存的40%。当所有MemStore占用内存总和达到这个比例时，会触发RegionServer上所有Region的MemStore刷写操作，以防止内存溢出。
3. hbase.regionserver.global.memstore.lowerLimit
   • 作用：这是RegionServer上所有MemStore占用堆内存的下限比例。当由于刷写操作使得所有MemStore占用内存下降到该比例时，RegionServer不再强制刷写MemStore。它与hbase.regionserver.global.memstore.upperLimit共同协作，控制MemStore的刷写节奏，保证系统在内存使用和写入性能之间达到平衡。
4. hbase.hregion.memstore.block.multiplier
   • 作用：用于控制MemStore何时停止接收新的写入。当MemStore大小达到hbase.hregion.memstore.flush.size乘以该参数值时，Region将不再接收新的写入请求，直到有MemStore刷写完成释放空间。该参数默认值为2.0，通过调整它可以避免在接近刷写阈值时新写入导致的内存抖动等问题。