面试题：Hbase中HBase复制原理涉及哪些关键组件

Question

请阐述HBase复制原理过程中涉及到的关键组件，并简要说明每个组件在复制流程里承担的职责。

Answer 1

关键组件及职责

1. RegionServer
   • 职责：负责存储和管理HBase中的数据，是数据读写的核心节点。在复制过程中，RegionServer捕获数据的修改操作，如Put、Delete等，并将这些操作记录到预写日志（WAL，Write - Ahead Log）中。这些日志记录是复制的基础数据来源。
2. WAL（Write - Ahead Log）
   • 职责：在HBase中，所有数据修改操作首先会写入WAL。在复制场景下，WAL中的日志记录会被发送到主集群的Replication Source，为复制提供可靠的、顺序的修改记录，保证数据修改的持久性和一致性，以便后续能够准确地将这些修改同步到其他集群。
3. Replication Source
   • 职责：位于主集群，负责从RegionServer的WAL中读取日志记录，并将这些记录按照一定的格式和规则进行整理和封装，然后通过网络发送给相应的Replication Sink。它协调和管理主集群中数据修改的捕获与发送过程。
4. Replication Sink
   • 职责：位于从集群，接收来自主集群Replication Source发送的日志记录。接收到记录后，Replication Sink会对这些记录进行解析，然后将解析后的数据按照HBase的写入规则应用到从集群的RegionServer上，从而实现数据从主集群到从集群的复制。
5. ZooKeeper
   • 职责：在HBase复制中，ZooKeeper用于协调和管理集群状态信息。它记录主从集群的拓扑结构、Replication Source和Replication Sink的状态等关键信息。同时，通过ZooKeeper的选举机制，确保在集群出现故障或节点变动时，复制过程能够正确地恢复和继续，保证复制的可靠性和一致性。