面试题：Hbase中HFile逻辑结构有哪些关键组成部分及它们的作用

Question

请详细阐述Hbase中HFile逻辑结构里，如Data Block、Meta Block、File Info等关键组成部分各自的作用，以及它们是如何协同保证数据存储和读取的？

Answer 1

Data Block

• 作用：
  • 是HFile中存储实际数据的地方，以KeyValue对的形式存放用户数据。HBase的读写操作主要围绕Data Block展开，它对提升系统性能至关重要。
  • 采用了压缩算法（如Snappy、Gzip等）来减少存储空间，提高存储效率。
  • 支持块缓存（Block Cache）机制，热门的数据块会被缓存在内存中，加快读操作的速度。
• 协同方式：在读取数据时，首先会在块缓存中查找，如果找到则直接返回数据，避免磁盘I/O；否则从磁盘读取相应的数据块。写入数据时，数据先被写入MemStore，当MemStore达到一定阈值时会刷写到磁盘形成新的HFile，数据被划分到不同的数据块中。

Meta Block

• 作用：
  • 存储一些元数据信息，这些信息用于描述HFile中其他部分的属性，比如索引信息等。不同类型的Meta Block存储不同的元数据，有助于更高效地定位和管理HFile内部的数据结构。
  • 它为HFile提供了额外的辅助信息，方便系统在处理HFile时进行更细粒度的控制和优化。
• 协同方式：在读取数据时，系统可以利用Meta Block中的索引信息快速定位到包含目标数据的Data Block位置，减少不必要的磁盘I/O。在写入数据时，Meta Block的相关索引信息也会随之更新，以维护HFile内部结构的一致性和完整性。

File Info

• 作用：
  • 记录了整个HFile的重要元数据，如HFile的版本号、压缩算法类型、最后修改时间等。这些信息对于HBase系统理解和管理HFile非常关键，是系统进行文件操作、版本控制以及兼容性处理的依据。
  • 同时也包含一些统计信息，例如KeyValue对的数量等，有助于系统进行性能分析和优化。
• 协同方式：在读取HFile时，系统首先读取File Info，根据其中的版本号、压缩算法等信息，正确地解析HFile中的其他部分数据。写入数据时，File Info中的相关统计信息会实时更新，以反映HFile最新的状态。

整体协同保证数据存储和读取

1. 存储过程：
   • 数据首先写入MemStore，当MemStore达到阈值后，会触发Flush操作，将数据写入磁盘生成HFile。
   • 在生成HFile过程中，数据被划分成Data Block，同时生成对应的Meta Block（如索引块等）来辅助定位数据块，File Info记录HFile整体的元数据信息。
2. 读取过程：
   • 系统先读取File Info，了解HFile的基本属性和格式，确定如何解析后续内容。
   • 根据Meta Block中的索引信息，快速定位到可能包含目标数据的Data Block位置。
   • 从磁盘读取相应的Data Block，若数据块在块缓存中不存在，则读取后放入块缓存，以便后续再次读取时能快速响应。最终从Data Block中解析出KeyValue对，返回给用户。