面试题答案
一键面试1. 感知高并发场景
- 指标监控：
- 读写请求速率：通过统计单位时间内到达HBase的读写请求数量来衡量并发程度。例如，每秒处理的Get请求数或Put请求数，如果该数值持续快速增长且超过一定阈值，如超过系统平常处理能力的80%，则可认为进入高并发场景。
- 响应时间：监测读写操作的平均响应时间和99%响应时间。当平均响应时间大幅上升，或者99%响应时间显著变长时，表明系统处理压力增大，可能处于高并发场景。比如，正常情况下读操作平均响应时间为100ms，突然上升到500ms，就需要关注。
- 队列长度：观察HBase内部请求队列（如RegionServer的请求队列）的长度。若队列长度持续增长且长时间维持在较高水平，意味着请求处理速度跟不上请求到达速度，是高并发的一个表现。
- 基于机器学习的预测： 收集历史高并发场景数据及相关指标，训练机器学习模型（如LSTM等时间序列预测模型）。模型可以根据当前的系统指标数据预测未来一段时间内是否会进入高并发场景，提前做好准备。例如，根据过去一周内每天不同时段的读写速率、响应时间等数据训练模型，模型能预测当天某个时段是否可能出现高并发。
2. 自适应调整内存分配
- 动态MemStore大小调整：
- 高并发写场景：当感知到高并发写时，适当增大MemStore的内存分配。因为在高并发写时，更多的数据需要先写入内存中的MemStore再批量刷写到磁盘。例如，系统平常MemStore占用RegionServer堆内存的40%，在高并发写场景下，可以逐步将其提升到60%。
- 高并发读场景：高并发读场景下，如果读请求频繁命中MemStore，也可适当增大MemStore内存，以减少磁盘I/O。但如果读请求多命中BlockCache，则可考虑适当减少MemStore内存，增大BlockCache内存。
- BlockCache内存调整： 在高并发读场景下，如果发现大量读请求从磁盘读取数据（即BlockCache命中率低），则增大BlockCache内存占比。比如，从原来的30%提升到40%，以缓存更多的数据块，提高读性能。同时，采用更合理的缓存淘汰策略，如LRU - K等，在有限的内存中保留更“热”的数据块。
3. 跳跃表结构调整
- 增加层数：在高并发读场景下，为了提高查找效率，可以动态增加跳跃表的层数。例如，当读请求速率达到一定阈值，并且平均响应时间开始上升时，为跳跃表添加一层新的索引。这样可以使查找操作跳过更多的节点，减少查找路径长度，提高查找效率。
- 优化节点间距：对于高并发写场景，考虑到插入操作频繁，若跳跃表节点间距过小，插入操作时的节点分裂和调整开销较大；若间距过大，查找效率会受影响。可以根据写请求的并发程度，动态调整节点间距。例如，在高并发写初期，适当增大节点间距，减少插入开销；随着写操作的持续，根据系统性能反馈，动态微调节点间距，平衡插入和查找性能。
4. 实际案例分析
- 案例：某互联网公司使用HBase存储用户行为数据，在业务高峰期，如大型促销活动期间，会出现高并发读写场景。读操作主要是分析用户实时行为，写操作是记录用户的各种行为日志。
- 挑战：
- 内存抖动：在高并发场景下，频繁调整MemStore和BlockCache内存大小，可能导致内存抖动，影响系统稳定性。例如，由于读请求和写请求交替出现高并发，MemStore和BlockCache内存占比反复调整，使得垃圾回收频繁发生，系统性能大幅下降。
- 跳跃表结构调整延迟：在高并发场景下，跳跃表结构调整（如增加层数）需要一定时间，在调整过程中，系统性能可能会受到影响。例如，在增加跳跃表层数时，需要对现有数据进行重新组织和索引，这期间读性能会下降。
- 应对策略：
- 内存抖动：设置合理的内存调整阈值和调整频率。例如，当MemStore或BlockCache内存占比变化超过10%时才进行调整，且调整间隔不小于1分钟，避免频繁调整。同时，采用预分配内存策略，在系统启动时，预先划分一定比例的内存作为备用内存，用于高并发场景下的快速内存分配，减少垃圾回收压力。
- 跳跃表结构调整延迟：采用渐进式调整策略。比如，在增加跳跃表层数时，先对部分数据进行索引调整，逐步扩大范围，而不是一次性对所有数据进行调整。这样可以在调整过程中尽量减少对系统性能的影响。同时，提前预测高并发场景，在业务低峰期预先对跳跃表结构进行优化，降低高并发时的调整压力。