面试题：Hbase中布隆过滤器空间效率优化的基础方法

Question

在Hbase中，简要阐述布隆过滤器空间效率优化的常见基础方法有哪些，并说明每种方法对过滤器性能和存储的影响。

Answer 1

1. 调整哈希函数数量
   • 方法：通过改变哈希函数的数量，在误判率和空间使用之间寻找平衡。哈希函数过少，误判率高；过多则会增加计算量且可能导致比特位过度重叠，浪费空间。
   • 对过滤器性能影响：哈希函数数量适中时，能快速准确判断元素是否可能存在，提高查询效率。若数量不合理，过高会降低性能，过低会导致误判增加，影响查询结果准确性。
   • 对存储影响：改变哈希函数数量基本不直接影响存储，但合理调整可优化空间利用，避免空间浪费或因误判增加存储负担。
2. 优化比特数组大小
   • 方法：根据数据量和预期误判率，精确计算并设置合适的比特数组大小。比特数组过小会增加误判率，过大则浪费空间。
   • 对过滤器性能影响：合适的比特数组大小可保证查询时能快速定位和判断，提高性能。若过小，误判频繁，影响查询速度和准确性；过大，虽然误判率降低，但查询时遍历比特数组的时间增加。
   • 对存储影响：比特数组大小直接决定布隆过滤器的存储空间，优化其大小可有效减少存储开销。
3. 动态调整参数
   • 方法：根据数据的实时变化（如数据量的增减），动态调整布隆过滤器的参数，如哈希函数数量和比特数组大小。
   • 对过滤器性能影响：能适应数据变化，始终保持较好的查询性能，避免因数据变化导致误判率上升或性能下降。
   • 对存储影响：可按需调整存储空间，在数据量减少时释放空间，增加时合理分配，有效优化存储使用。