面试题答案
一键面试选举元数据保障数据恢复正确性与完整性的流程及关键技术点
- 节点状态与故障检测
- 流程：Elasticsearch 集群中每个节点都定期向其他节点发送 ping 请求，以检测节点的存活状态。当多个节点同时故障时，存活节点在一段时间内收不到故障节点的响应，就会将其标记为故障。
- 关键技术点：基于 gossip 协议的节点发现与状态检测机制，通过定期交换节点状态信息，使得每个节点都能知晓集群中其他节点的大致状态。这种机制能够快速感知节点故障，即使在复杂网络环境下也能保持一定的健壮性。
- 选举过程
- 流程：
- 当故障节点数超过一定阈值（通常是超过半数节点故障会导致集群脑裂风险等复杂情况，但这里讨论部分节点故障下的选举），集群需要重新选举主节点。具有 master 资格的节点（配置文件中
node.master: true）开始参与选举。 - 选举过程基于 Bully 算法的变体。每个具有 master 资格的节点会给自己分配一个选举 ID（通常基于节点的唯一标识和启动时间等因素生成），并向其他具有 master 资格的节点发送选举请求。
- 收到选举请求的节点会比较请求节点的选举 ID 和自己的选举 ID，如果请求节点的选举 ID 更高，就会投票给该节点，并停止自己的选举进程；如果自己的选举 ID 更高，则拒绝投票并继续发起自己的选举请求。
- 当某个节点收到超过半数具有 master 资格节点的投票时，它就成为新的主节点。
- 当故障节点数超过一定阈值（通常是超过半数节点故障会导致集群脑裂风险等复杂情况，但这里讨论部分节点故障下的选举），集群需要重新选举主节点。具有 master 资格的节点（配置文件中
- 关键技术点：
- 选举 ID 生成：确保选举 ID 的唯一性和单调性，使得选举过程能够公平、有序地进行。通常结合节点的 UUID、启动时间戳等信息生成，保证在集群生命周期内每次选举的 ID 都能合理区分。
- 法定人数（quorum）：选举需要超过半数具有 master 资格节点的投票，这是保证选举结果一致性和防止脑裂的关键。通过这种方式，只有大多数节点认可的节点才能成为主节点，保证新主节点的权威性。
- 流程：
- 元数据恢复
- 流程：
- 新选举出的主节点从持久化存储（如本地文件系统的元数据文件，通常位于
data目录下的meta子目录）中加载集群元数据，包括索引的设置、映射、分片分配等信息。 - 主节点将加载的元数据同步给集群中的其他节点。其他节点收到元数据后，根据元数据中的分片分配信息，开始恢复本地存储的分片数据。
- 对于那些存储在故障节点上的分片，如果有副本存在，主节点会根据副本的分布情况，将副本分片提升为新的主分片，并重新分配到存活节点上。如果没有副本，这些分片的数据就可能丢失，但 Elasticsearch 提供了一定的机制（如快照与恢复功能）来尽量减少数据丢失的影响。
- 新选举出的主节点从持久化存储（如本地文件系统的元数据文件，通常位于
- 关键技术点：
- 元数据持久化：采用类似日志结构合并树（LSM - Tree）的思想，将元数据的修改操作以日志形式记录，定期合并到持久化存储中，保证元数据的一致性和可恢复性。例如，每次索引创建、删除、设置修改等操作都会记录在元数据日志文件中。
- 分片分配与副本提升：主节点根据集群当前状态（节点存活情况、磁盘使用情况等）和元数据中的分片分配策略，合理地将副本分片提升为主分片并重新分配。这个过程需要考虑数据均衡、节点负载等因素，以保障集群性能。例如，使用基于权重的分片分配算法，根据节点的资源（CPU、内存、磁盘等）设置权重，优先将分片分配到权重较高的节点上。
- 流程：
- 数据恢复与一致性检查
- 流程：
- 节点在恢复分片数据后，会进行数据一致性检查。通过比较分片的版本号（每个分片都有一个版本号，每次数据修改都会递增），确保不同副本之间的数据一致性。
- 如果发现版本不一致，节点会根据版本号和操作日志（记录了每个分片上的所有数据修改操作）进行数据修复。例如，如果一个副本的版本号较低，它会从版本号较高的副本上拉取缺失的操作日志并应用，以达到数据一致。
- 当所有节点的数据一致性检查和修复完成后，集群进入稳定状态，恢复正常服务。
- 关键技术点：
- 版本号管理：为每个分片维护一个全局唯一的版本号，在数据修改时严格递增，通过版本号可以快速判断数据的新旧程度，是保障数据一致性的核心标识。
- 操作日志：记录每个分片上的所有数据修改操作，包括文档的创建、更新、删除等。操作日志采用追加写的方式，保证数据修改的顺序性和可追溯性，用于数据恢复和一致性修复。
- 流程：