面试题：MongoDB副本集日志中常见的故障类型及排查方法

Question

在MongoDB副本集环境下，日志中可能出现多种故障相关信息。请列举至少三种常见的故障类型，并阐述针对每种故障类型，如何通过分析副本集日志进行排查？

Answer 1

常见故障类型及排查方法

1. 网络故障
   • 故障描述：副本集成员之间网络连接不稳定或中断，导致数据同步、选举等操作异常。
   • 排查方法：在副本集日志中查找诸如“connection refused”“network timeout”等关键词。关注日志中与心跳检测相关的信息，正常情况下，副本集成员间会定时发送心跳包以确认彼此状态。若心跳相关日志出现频繁超时或连接失败记录，可能存在网络问题。还可以检查系统网络配置，使用工具如ping、traceroute等从副本集成员服务器测试网络连通性。
2. 节点同步故障
   • 故障描述：副本集成员之间数据同步出现问题，可能导致数据不一致。
   • 排查方法：查看日志中“syncing to”“rollback”等相关记录。“syncing to”表示节点正在从其他节点同步数据，若长时间处于此状态或同步进度停滞，需关注。“rollback”表示发生回滚，通常意味着数据同步出现冲突。检查日志中同步起始时间、同步进度更新时间戳等，判断同步是否正常进行。同时，确认副本集成员的 oplog（操作日志）是否正常， oplog 记录了数据库的所有更改操作，若 oplog 出现异常（如大小异常、记录不完整等），会影响同步。
3. 选举故障
   • 故障描述：副本集进行主节点选举时失败或选举结果异常。
   • 排查方法：在日志中搜索“election”相关内容。查看选举发起的原因（如主节点失联、网络分区恢复等）。关注选举过程中各节点的投票信息，正常选举应遵循一定规则，若出现不合理的投票结果（如票数异常、不符合选举优先级等），可判断选举故障。同时，确认节点的选举优先级配置是否正确，配置错误可能导致选举结果不符合预期。
4. 磁盘空间不足故障
   • 故障描述：节点所在服务器磁盘空间不足，可能影响数据写入、日志记录等操作。
   • 排查方法：查找日志中类似“disk full”“write failed due to low disk space”等错误提示。此外，通过系统命令（如df -h）查看服务器磁盘使用情况，若磁盘使用率过高且MongoDB相关数据目录所在分区空间紧张，结合日志错误可判断是磁盘空间不足导致故障。同时，检查日志文件大小及增长趋势，过大的日志文件可能会耗尽磁盘空间。
5. 配置错误故障
   • 故障描述：副本集配置文件设置有误，影响副本集正常运行。
   • 排查方法：在日志中查找“configuration error”“invalid settings”等相关信息。仔细核对副本集配置文件，确认成员节点信息、选举优先级、仲裁节点设置等是否正确。若日志中提示配置项不识别或配置冲突，需修正相应配置。还可以通过rs.conf()命令查看当前副本集配置，与预期配置对比，找出差异并修复。