系统自动恢复流程
- 副本集内部选举：
- 当某个分片的一个副本集成员出现故障时，该副本集内会触发选举机制。根据MongoDB的选举规则，剩余的健康成员会竞争成为主节点。通常，具有最新oplog（操作日志）且优先级较高的节点会赢得选举成为新的主节点。如果优先级相同，会根据节点的日志时间戳等因素进行选举。
- 数据同步：
- 新主节点产生后，其他从节点会开始与新主节点进行数据同步。它们会从新主节点拉取oplog，将自身的数据更新到与新主节点一致的状态。这个过程是自动进行的，通过复制oplog中的操作来使从节点的数据与主节点保持同步。
- 分片集群感知：
- 分片集群的配置服务器（config server）会感知到副本集内成员的变化。配置服务器会更新集群元数据，记录该分片副本集的新状态，包括新的主节点信息等。
- 路由服务器（mongos）会定期从配置服务器获取最新的元数据。当元数据更新后，mongos会相应地调整对该分片的请求路由，确保客户端的读写请求能够正确地发送到该分片的新主节点或健康的从节点上。
手动干预确保数据一致性和可用性
- 检查副本集状态：
- 使用
rs.status()命令在副本集成员上检查副本集的状态。这个命令会显示每个成员的状态，包括是否是主节点、从节点，以及同步状态等信息。例如：
rs.status()
- 仔细查看输出结果中的
stateStr字段，确认成员状态。PRIMARY表示主节点，SECONDARY表示从节点等。如果发现异常状态的节点，进一步分析原因。
- 修复网络问题：
- 如果故障是由于网络问题导致的，检查网络连接。在服务器上使用命令如
ping、traceroute等工具检查与其他副本集成员及集群其他组件（如配置服务器、mongos）的网络连通性。
- 例如，在Linux系统上：
ping <目标节点IP>
traceroute <目标节点IP>
- 解决网络故障，如修复网线、调整防火墙规则等，确保副本集成员之间能够正常通信。
- 数据一致性检查与修复：
- 使用
rs.syncFrom()命令手动指定从节点从特定的主节点进行同步，以确保数据一致性。例如，如果某个从节点同步出现问题，可以在该从节点上执行：
rs.syncFrom("<主节点的主机名或IP:端口>")
- 还可以使用
db.printSlaveReplicationInfo()命令查看从节点的复制状态信息，了解同步延迟等情况。例如：
db.printSlaveReplicationInfo()
- 如果发现数据差异较大，可以考虑进行全量数据同步。先停止从节点的复制，然后使用
rs.syncFrom()进行全量同步，同步完成后再启动复制。
- 调整副本集配置：
- 如果发现某个节点经常出现故障，可以考虑调整副本集的配置。例如，降低该节点的优先级（如果计划重新启用它），避免它频繁参与选举成为主节点。使用
rs.conf()命令查看当前副本集配置，然后使用rs.reconfig()命令进行配置修改。例如，修改配置文件cfg：
var cfg = rs.conf();
cfg.members[<节点索引>].priority = <新的优先级值>;
rs.reconfig(cfg);
- 注意，在进行配置修改时要谨慎操作，确保不会影响整个副本集的正常运行。
- 添加或替换节点：
- 如果故障节点无法修复，可以考虑添加新节点或替换故障节点。使用
rs.add()命令添加新节点到副本集。例如：
rs.add("<新节点的主机名或IP:端口>")
- 如果要替换故障节点，先移除故障节点（如果可能的话），使用
rs.remove("<故障节点的主机名或IP:端口>")，然后再添加新节点并确保其同步数据。
