面试题：Hbase中HFile基础Block的主要类型及各自功能是什么

Question

在Hbase的HFile中，基础Block有多种类型，请简述常见的基础Block类型，并详细说明每种类型Block在HBase存储与读写过程中的功能。

Answer 1

常见基础Block类型

1. Data Block
2. Meta Block
3. Trailer Block

各类型Block功能

1. Data Block
   • 存储功能：存放实际的用户数据，以KeyValue对的形式进行存储。这些KeyValue对按照RowKey排序，方便快速定位和查询数据。
   • 读写功能：读操作时，HBase会根据查询的RowKey范围从Data Block中检索出对应的KeyValue对。写操作时，新的数据会被追加到合适的Data Block位置，当Data Block达到一定大小（默认64KB）时，会触发Flush操作，将内存中的数据持久化到HFile。
2. Meta Block
   • 存储功能：用于存储一些元数据信息，比如Block索引、布隆过滤器等。Block索引记录了Data Block的位置信息，方便快速定位到存储特定RowKey的Data Block。布隆过滤器则用于快速判断某个RowKey是否存在于HFile中，减少不必要的磁盘I/O。
   • 读写功能：读操作时，先通过Meta Block中的布隆过滤器快速过滤掉不存在的数据，再利用Block索引定位到具体的Data Block进行数据读取。写操作时，更新Meta Block中的相关元数据信息，确保元数据与实际数据的一致性。
3. Trailer Block
   • 存储功能：位于HFile的末尾，存储整个HFile的元数据信息，如文件的格式版本、Data Block和Meta Block的位置及大小等。它起到了类似文件目录的作用，对整个HFile的结构进行总结和描述。
   • 读写功能：读操作时，首先读取Trailer Block获取HFile的整体结构信息，从而能够正确定位和读取其他Block的数据。写操作时，在HFile写完所有数据后，生成并写入Trailer Block，完善HFile的整体结构。