面试题：复杂业务场景下Hbase部分键扫描行键设计的综合考量

Question

某电商平台使用Hbase存储用户订单数据，业务需求包括按用户ID、订单时间、商品类别等多种维度进行部分键扫描。请设计一套行键策略，满足这些复杂的查询需求，同时要考虑数据的均匀分布、扩展性以及数据维护成本。并阐述该策略在应对数据量快速增长和业务逻辑变更时的适应性和可调整性。

Answer 1

行键策略设计

1. 行键组成：采用复合行键的方式，将用户ID、订单时间和商品类别编码后组合。例如：UserID（固定长度填充，保证排序一致性） + OrderTime（时间戳，采用倒序存储，方便查询近期订单） + CommodityCategoryID（固定长度编码）。
2. 编码方式：
   • 用户ID：如果用户ID是数字类型，可以使用固定长度的二进制编码，不足部分补零。例如，假设用户ID最大为10位数字，不足10位前面补零，保证所有用户ID编码后长度一致，这样在HBase中基于行键排序时能保证按用户ID有序。
   • 订单时间：使用时间戳，并且为了方便查询近期订单，采用倒序存储。例如，将20240101120000（格式为YYYYMMDDHHMMSS）转换为99991231235959 - 20240101120000得到倒序的时间戳。
   • 商品类别ID：同样采用固定长度编码，如商品类别ID是数字类型，也按固定长度填充，不足部分补零。

优势分析

1. 满足多维度查询：
   • 按用户ID查询：由于行键前缀是用户ID，HBase可以通过前缀扫描快速定位到特定用户的所有订单数据。
   • 按订单时间查询：时间戳倒序存储，在给定时间范围时，能快速定位到满足条件的订单数据。
   • 按商品类别查询：行键中包含商品类别ID，通过部分键扫描可以查询特定商品类别的订单。
2. 数据均匀分布：如果用户ID、商品类别ID分布相对均匀，这种复合行键方式可以保证数据在HBase集群中相对均匀分布。因为行键的组合是多种因素综合，避免了单一因素（如仅按用户ID）导致的数据倾斜。
3. 扩展性：随着数据量增长，HBase会自动进行Region分裂，复合行键的方式不会影响HBase的自动扩展机制。由于行键设计考虑了多种维度，在扩展时能保证各维度查询性能不受太大影响。
4. 数据维护成本：编码方式相对简单，固定长度编码易于理解和维护。而且在数据更新时，由于行键主要是查询维度信息，一般情况下不需要频繁更新行键，降低了维护成本。

应对数据量快速增长和业务逻辑变更的适应性和可调整性

1. 数据量快速增长：
   • Region分裂：HBase基于行键范围进行Region分裂，复合行键的设计能让数据均匀分布在不同Region上，在数据量增长时，Region分裂可以自动平衡负载，保证查询性能。
   • 预分区：可以根据预估的数据量和增长趋势，提前进行预分区。例如，根据用户ID的范围进行预分区，这样在数据量快速增长时，能更快地适应并保证查询效率。
2. 业务逻辑变更：
   • 新增查询维度：如果需要新增查询维度，如按订单金额范围查询，可以在现有行键基础上，增加订单金额的编码部分。由于HBase支持部分键扫描，新的行键设计依然可以满足多维度查询需求。
   • 修改现有维度：如果某个维度（如商品类别编码方式）发生变化，可以通过数据迁移的方式，将旧数据按新的编码方式重新写入HBase。虽然这需要一定的运维成本，但由于行键设计的灵活性，这种调整是可行的。