面试题答案
一键面试1. 记录同步位点
- 在正常同步时，源集群为每个同步任务维护一个位点记录，例如记录已同步到的最后一行数据的RowKey以及时间戳等信息。可以将这些位点信息存储在一个特殊的HBase表中，每行对应一个同步任务，便于管理和查询。
2. 故障检测与通知
- 心跳机制：源集群和目标集群定时互相发送心跳消息，以检测网络连接状态。如果源集群在一定时间内未收到目标集群的心跳，判定出现网络分区故障。
- 监控与报警：部署监控系统，实时监测网络连接状态以及同步任务的运行情况。一旦检测到网络分区故障，立即向运维人员发送报警信息。
3. 数据标记与版本控制
- 数据标记：在源集群中，对每个写入的数据添加一个同步状态标记，例如“未同步”“正在同步”“已同步”。当数据成功同步到目标集群后，更新标记为“已同步”。
- 版本控制：为每个数据行添加版本号，每次数据更新时版本号递增。在同步过程中，目标集群根据版本号判断是否为最新数据，避免覆盖新数据。
4. 网络恢复后的处理
- 位点检查与重同步：网络恢复后，源集群首先检查同步位点记录。从记录的位点开始，重新向目标集群发送未同步的数据。在发送数据时，携带数据的标记和版本号。
- 目标集群验证：目标集群接收到数据后，根据数据的标记判断是否为重复数据。如果标记为“已同步”，则丢弃该数据。对于标记为“未同步”的数据，根据版本号与本地数据比较。若版本号更高，则更新本地数据；若版本号相同或更低，则忽略该数据。
5. 重试机制与日志记录
- 重试机制：对于在重同步过程中失败的数据传输，设置重试次数和重试间隔。每次重试失败后，适当增加重试间隔时间，避免对网络造成过大压力。
- 日志记录：在源集群和目标集群都记录详细的同步日志，包括每次同步操作的时间、数据内容、操作结果等信息。当出现问题时，通过分析日志可以快速定位问题原因。
6. 一致性校验
- 定期全量校验：在网络恢复并完成重同步后，定期进行源集群和目标集群数据的全量一致性校验。可以通过比较两个集群中相同RowKey的数据的哈希值或其他摘要信息，快速定位不一致的数据行。
- 修复不一致数据：对于校验出的不一致数据，根据预先设定的规则进行修复，例如以源集群数据为准，将源集群的数据覆盖到目标集群。