面试题：复杂业务场景下Hbase MemStore GC问题预防策略的定制与调优

Question

假设在一个具有高并发写入、频繁小范围读取且数据时效性要求高的复杂业务场景中使用Hbase。现已知该场景下MemStore容易出现GC问题，在不改变硬件配置的前提下，如何定制一套完整且高效的MemStore GC问题预防策略，并详细说明策略实施过程中的调优要点和监控指标。

Answer 1

预防策略

1. 合理设置MemStore大小：
   • 根据业务写入量和数据特点，适当调整hbase.hregion.memstore.flush.size参数。例如，如果写入量非常大，可以适当增大此值，但不宜过大，避免内存占用过多导致频繁GC。一般可从默认的128MB开始，逐步根据实际情况调整，如调整到256MB或384MB。
   • 同时，通过hbase.regionserver.global.memstore.size参数设置MemStore占用RegionServer堆内存的比例，通常设置为0.4左右较为合适，可避免过多内存分配给MemStore而影响其他组件。
2. 优化写入方式：
   • 采用批量写入的方式，减少单个写入操作的频率。可以使用Hbase的Put列表进行批量提交，这样不仅可以减少网络开销，还能让MemStore更高效地管理内存，减少频繁小数据写入带来的内存碎片化问题。
   • 对于写入数据进行预排序，按照RowKey的顺序写入，有助于数据在MemStore中更好地组织，减少后续Flush和Compact操作的成本。
3. 调整Flush策略：
   • 启用hbase.hregion.memstore.block.multiplier参数，当MemStore使用量达到hbase.hregion.memstore.flush.size的hbase.hregion.memstore.block.multiplier倍时，阻止新的写入，以防止MemStore过度膨胀。例如，设置hbase.hregion.memstore.block.multiplier为2，当MemStore使用量达到2 * hbase.hregion.memstore.flush.size时，新写入将被阻止，直到MemStore进行Flush操作。
   • 调整hbase.hregion.memstore.flush.size.lower.limit参数，设置MemStore开始Flush的下限值，避免MemStore长时间处于接近上限但未达到上限的状态，减少不必要的GC压力。例如，设置为hbase.hregion.memstore.flush.size的0.8倍。
4. 配置Region数量：
   • 根据业务数据量和写入并发度，合理规划Region数量。过少的Region可能导致写入热点，使单个Region的MemStore压力过大；过多的Region则会增加管理成本和资源消耗。可以通过预分区的方式，按照RowKey的分布特点提前创建合适数量的Region。例如，如果RowKey是时间戳，可以按照时间范围进行预分区。

调优要点

1. 监控内存使用情况：
   • 密切关注JVM堆内存中MemStore的使用情况，通过JMX等工具查看MemStore Size指标。确保MemStore内存使用在合理范围内，避免接近或超过hbase.regionserver.global.memstore.size设置的比例。
   • 监控GC日志，分析GC的频率和时长。频繁的Full GC可能意味着MemStore内存设置不合理或存在内存泄漏问题，需要及时调整。
2. Flush和Compact性能：
   • 观察Flush操作的频率和耗时。过于频繁的Flush可能导致磁盘I/O压力增大，影响系统性能；而Flush耗时过长可能是因为写入数据量过大或磁盘性能瓶颈。可以通过HBase的hbase:metrics表查看Flush相关指标，如hbase.regionserver.flushQueueSize（Flush队列大小）、hbase.regionserver.StoreFileSynthesisTime（StoreFile合成时间，与Compact操作相关）等。
   • 对于Compact操作，要注意合并策略的选择。例如，SteppingCompactionPolicy适用于小文件合并，LeveledCompactionPolicy适用于大文件合并，根据业务数据特点选择合适的策略，避免Compact过于频繁或耗时过长。
3. 网络和磁盘I/O：
   • 高并发写入和频繁读取可能导致网络和磁盘I/O压力增大。监控网络带宽使用率，避免网络成为瓶颈。可以通过系统工具（如iftop等）查看网络流量。
   • 对于磁盘I/O，监控磁盘读写速度和I/O队列长度。使用iostat等工具查看磁盘性能指标，确保磁盘性能满足业务需求。如果磁盘I/O压力过大，可以考虑优化磁盘配置（如使用RAID 0+1等方式提高读写性能）或使用SSD磁盘。

监控指标

1. MemStore相关指标：
   • hbase.hregion.memstore.size：当前MemStore的大小，用于监控MemStore是否接近或超过设置的上限。
   • hbase.hregion.memstore.blocked：是否因为MemStore达到限制而阻止新的写入，可判断当前MemStore是否处于阻塞状态。
2. Flush相关指标：
   • hbase.regionserver.flushQueueSize：Flush队列中等待Flush的Region数量，反映Flush操作的压力。
   • hbase.regionserver.StoreFileSynthesisTime：StoreFile合成时间，间接反映Compact操作的性能。
3. GC相关指标：
   • jvm.gc.collector.young.collectionCount：年轻代GC次数，频繁的年轻代GC可能意味着内存分配不合理。
   • jvm.gc.collector.old.collectionCount：老年代GC次数，老年代GC频繁可能表示内存泄漏或大对象分配问题。
   • jvm.gc.collector.young.collectionTime：年轻代GC耗时，用于评估年轻代GC的效率。
   • jvm.gc.collector.old.collectionTime：老年代GC耗时，同样用于评估老年代GC的效率。
4. 网络和磁盘I/O指标：
   • 网络：
     • net.bytesIn：网络接收字节数，用于监控网络接收流量。
     • net.bytesOut：网络发送字节数，用于监控网络发送流量。
   • 磁盘：
     • disk.readBytes：磁盘读取字节数，反映磁盘读取性能。
     • disk.writeBytes：磁盘写入字节数，反映磁盘写入性能。
     • disk.await：磁盘I/O等待时间，用于评估磁盘I/O是否存在瓶颈。