面试题：HBase集成MapReduce中TableInputFormat类的作用及关键方法

Question

在HBase集成MapReduce场景下，TableInputFormat类起到什么作用？它有哪些关键方法用于数据读取，这些方法是如何工作的？

Answer 1

TableInputFormat类的作用

在HBase集成MapReduce场景中，TableInputFormat类用于从HBase表中读取数据，并将其作为MapReduce任务的输入。它负责将HBase表中的数据按行分割成多个InputSplit，每个InputSplit由一个Mapper进行处理，从而实现并行处理HBase数据。

关键方法及工作原理

1. getSplits(JobContext context)
   • 作用：该方法用于生成InputSplit，即把HBase表的数据按行范围划分为多个逻辑分片，这些分片会被分配到不同的Mapper中并行处理。
   • 工作原理：它会根据HBase表的Region分布信息来确定每个InputSplit的起始行键和结束行键。HBase表的数据按Region存储在不同的RegionServer上，通过这种方式，TableInputFormat可以将数据的读取并行化，提高处理效率。例如，如果表中有多个Region，该方法会为每个Region或多个Region的组合生成对应的InputSplit。
2. createRecordReader(InputSplit split, TaskAttemptContext context)
   • 作用：创建一个RecordReader对象，该对象负责从InputSplit中读取数据，并将其转换为Mapper能够处理的键值对形式（通常是KeyValue对，其中Key为行键，Value为对应行的数据）。
   • 工作原理：它首先根据传入的InputSplit确定要读取的数据范围。然后，RecordReader会初始化与HBase的连接，按照指定的行范围从HBase表中逐行读取数据。在读取过程中，它会将每一行数据解析成KeyValue对象，以便Mapper进行后续处理。例如，它会根据HBase的存储格式，将底层的HFile数据解析为Mapper可理解的KeyValue对。