面试题：Hbase与Hive集成时，数据如何在两者间进行映射？

Question

在HBase Hive集成的数据分析应用场景下，描述Hive表结构与HBase表结构之间是如何建立映射关系的，包括字段类型的对应以及分区等关键方面。

Answer 1

1. 映射关系概述

在HBase与Hive集成中，通过创建外部表的方式建立映射。Hive使用CREATE EXTERNAL TABLE语句，并在语句中指定STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'来表明该表存储在HBase中，同时通过TBLPROPERTIES指定HBase表相关属性。

2. 字段类型对应

• 数值类型：Hive的INT、BIGINT、FLOAT、DOUBLE等数值类型可以对应HBase中以字节数组形式存储的数值数据。Hive在读取时会按照相应类型解析字节数组。
• 字符串类型：Hive的STRING类型对应HBase中字节数组存储的文本数据。Hive将字节数组按照指定字符集解码为字符串。
• 日期类型：Hive的DATE、TIMESTAMP类型，在HBase中同样以字节数组存储，Hive读取时按日期时间格式解析。

3. 分区方面

• Hive分区与HBase：Hive的分区在HBase中并非直接对应的分区概念。Hive通过在表定义中使用PARTITIONED BY语句定义分区字段。HBase依靠行键设计来模拟类似分区效果。例如，将Hive分区字段值嵌入到HBase行键开头部分，这样在HBase中可以通过行键范围快速定位数据，类似于Hive分区筛选数据的效果。同时，Hive查询时根据分区字段过滤条件，转化为对HBase行键的范围查询，提高查询效率。