面试题：HBase中支撑MapReduce的关键类有哪些及其基本功能

Question

请阐述HBase中支撑MapReduce运行的关键类，比如TableInputFormat类的主要作用是什么，它如何帮助MapReduce作业从HBase表中读取数据？

Answer 1

HBase中支撑MapReduce运行的关键类

1. TableInputFormat类：
   • 主要作用：TableInputFormat类是HBase中用于MapReduce作业从HBase表读取数据的关键类。它负责定义如何将HBase表数据划分为多个输入分片（Input Split），并为每个分片创建对应的RecordReader来读取数据，从而使得MapReduce作业能够并行处理HBase表中的数据。
   • 帮助MapReduce作业从HBase表读取数据的方式：
     • 输入分片划分：TableInputFormat会根据HBase表的Region分布来划分输入分片。每个Region可以看作是HBase表数据的一个逻辑分区，TableInputFormat会为每个Region创建一个对应的Input Split。这样，MapReduce作业的每个Mapper任务就可以处理一个或多个Region的数据，实现并行处理。
     • RecordReader创建：对于每个Input Split，TableInputFormat会创建一个RecordReader。RecordReader负责从对应的HBase Region中读取数据，并将其转换为MapReduce作业中Mapper能够处理的键值对形式（通常键为ImmutableBytesWritable类型，表示HBase表的行键；值为Result类型，包含该行的所有列族和列的相关数据）。Mapper通过RecordReader逐行读取HBase表中的数据进行处理。
2. TableOutputFormat类：
   • 主要作用：TableOutputFormat类用于将MapReduce作业的输出结果写入HBase表。它定义了如何将Mapper或Reducer输出的键值对写入到HBase表的特定位置。
   • 写入数据的方式：在MapReduce作业的Reducer阶段（或如果没有Reducer，则在Mapper阶段直接输出），TableOutputFormat会将输出的键值对按照HBase表的结构进行转换和写入。键通常对应HBase表的行键，值则会被解析为相应的列族和列的数据，然后通过HBase的Put操作将数据写入到对应的表和Region中。