面试题：HBase高级模式之协处理器应用场景及实现

HBase协处理器主要应用场景

数据校验：在数据写入HBase之前进行格式、范围等方面的校验，确保数据的合法性。例如，对于某列数据限定必须为数字且在一定范围内。
数据审计：记录数据的修改历史，包括谁修改了数据、何时修改等信息。这在很多对数据变更记录有严格要求的场景中非常有用，如金融行业。
二级索引构建：HBase本身没有内置的二级索引机制，通过协处理器可以在数据写入时同步构建二级索引，方便根据非主键列进行快速查询。
聚合计算：在数据写入或读取时进行实时的聚合计算，如计算某列的总和、平均值等。这可以减少在查询时进行全表扫描的开销。

实现简单Observer协处理器步骤

代码编写
- Maven依赖：在pom.xml中添加HBase相关依赖。

<dependencies>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>2.4.10</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-server</artifactId>
        <version>2.4.10</version>
    </dependency>
</dependencies>

- **编写Observer协处理器类**：继承`BaseRegionObserver`类，重写相应的方法。例如，下面是一个简单的在数据写入前记录日志的协处理器。

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.coprocessor.BaseRegionObserver;
import org.apache.hadoop.hbase.coprocessor.ObserverContext;
import org.apache.hadoop.hbase.coprocessor.RegionCoprocessorEnvironment;
import org.apache.hadoop.hbase.regionserver.wal.WALEdit;
import org.apache.hadoop.hbase.util.Bytes;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;

public class SimpleObserver extends BaseRegionObserver {
    private static final Logger LOG = LoggerFactory.getLogger(SimpleObserver.class);

    @Override
    public void prePut(ObserverContext<RegionCoprocessorEnvironment> e, Put put, WALEdit edit, boolean writeToWAL) throws IOException {
        for (Cell cell : put.getFamilyCellMap().get(Bytes.toBytes("cf"))) {
            String rowKey = Bytes.toString(CellUtil.cloneRow(cell));
            String qualifier = Bytes.toString(CellUtil.cloneQualifier(cell));
            String value = Bytes.toString(CellUtil.cloneValue(cell));
            LOG.info("PrePut - RowKey: {}, Qualifier: {}, Value: {}", rowKey, qualifier, value);
        }
    }
}

打包：使用mvn clean package命令将代码打包成一个JAR文件。
部署
- 上传JAR到HBase节点：将打包好的JAR文件上传到所有HBase RegionServer节点的某个目录下，如/opt/hbase/lib/。
- 配置HBase：修改HBase的hbase-site.xml文件，添加如下配置，指定协处理器的类路径。

<configuration>
    <property>
        <name>hbase.coprocessor.region.classes</name>
        <value>com.example.SimpleObserver</value>
    </property>
</configuration>

重启HBase：重启HBase服务，使配置生效。此时，SimpleObserver协处理器就已经部署并会在数据写入前记录相关日志。

星途面试题库

面试题：HBase高级模式之协处理器应用场景及实现

知识考点

面试题答案

HBase协处理器主要应用场景

实现简单Observer协处理器步骤