面试题：HBase上MapReduce前期准备之环境配置相关

Question

在进行HBase上的MapReduce开发前，需要配置哪些关键的环境变量和依赖？请至少列举出HBase、Hadoop相关的3个关键配置项，并简要说明其作用。

Answer 1

HBase相关

1. HBASE_HOME：指定HBase的安装目录。作用是让系统知道HBase程序文件所在位置，在运行HBase相关命令或启动HBase服务、进行开发时，可通过该环境变量找到HBase相关的可执行文件、配置文件等。
2. hbase-site.xml中的hbase.zookeeper.quorum：指定ZooKeeper集群的地址。HBase依赖ZooKeeper进行分布式协调，该配置项告知HBase去哪里找到ZooKeeper集群，以进行元数据管理、节点状态监控等。
3. hbase-site.xml中的hbase.rootdir：指定HBase数据在Hadoop文件系统（通常是HDFS）上的存储路径。HBase的数据最终存储在这个路径下，它决定了数据的物理存储位置，不同的部署场景可能需要根据实际的HDFS规划来设置。

Hadoop相关

1. HADOOP_HOME：指定Hadoop的安装目录。与HBASE_HOME类似，它让系统知晓Hadoop程序所在位置，无论是运行Hadoop命令、启动Hadoop服务，还是在HBase的MapReduce开发中，都需要通过该环境变量找到Hadoop相关的可执行文件、库文件和配置文件。
2. core-site.xml中的fs.defaultFS：指定Hadoop文件系统的默认文件系统URI。在HBase的MapReduce开发中，HBase数据存储在HDFS上，该配置告知Hadoop去哪里找到默认的文件系统，HBase和MapReduce任务在读写数据时需要依赖此配置确定数据的存储和访问位置。
3. mapred-site.xml中的mapreduce.framework.name：指定MapReduce框架的类型。常见值为yarn，表明使用YARN作为资源管理和调度框架。在HBase的MapReduce开发中，任务需要提交到YARN上运行，该配置项决定了MapReduce任务如何与YARN交互以获取资源并执行。