面试题：MariaDB 选择性复制的性能调优及故障排查

Question

在大规模数据场景下，MariaDB 选择性复制出现性能瓶颈。请详细分析可能导致性能问题的因素，从网络、存储、复制配置等多个层面阐述，并说明对应的性能调优策略。若在选择性复制过程中出现数据不一致故障，描述详细的故障排查流程和修复方法。

Answer 1

性能瓶颈因素分析及调优策略

1. 网络层面
   • 因素：
     • 网络带宽不足：大规模数据复制时，数据传输量大，若网络带宽有限，会导致复制延迟。
     • 网络抖动：不稳定的网络连接，可能造成数据包丢失或重传，影响复制性能。
   • 调优策略：
     • 升级网络设备，增加网络带宽，确保有足够的带宽用于数据复制。
     • 优化网络拓扑，减少网络节点，降低网络延迟和抖动。使用QoS（Quality of Service）策略，优先保障复制相关的网络流量。
2. 存储层面
   • 因素：
     • 磁盘I/O性能低：复制过程中涉及大量数据的读写操作，若磁盘性能不佳，如机械硬盘读写速度慢，会成为性能瓶颈。
     • 存储容量不足：复制数据不断增加，若存储容量不足，会导致复制失败。
   • 调优策略：
     • 采用高速存储设备，如SSD（固态硬盘），提升磁盘I/O性能。
     • 定期清理不必要的历史数据，扩展存储容量，确保有足够空间用于复制数据。
3. 复制配置层面
   • 因素：
     • 复制线程数不合理：若配置的复制线程数过少，无法充分利用系统资源；过多则可能导致资源竞争。
     • 过滤规则复杂：选择性复制时，复杂的过滤规则会增加数据库的处理负担。
   • 调优策略：
     • 根据服务器硬件资源，合理调整复制线程数，通过测试确定最佳线程数量。
     • 简化过滤规则，减少不必要的条件判断，提高复制效率。可以对过滤条件进行优化，避免全表扫描等操作。

数据不一致故障排查流程和修复方法

1. 故障排查流程
   • 检查复制状态：使用 SHOW SLAVE STATUS\G 命令查看从库复制状态，检查 Seconds_Behind_Master 等关键指标，确认是否存在延迟。查看 Last_Error 字段，获取可能的错误信息。
   • 对比数据：
     • 选择关键表进行数据对比，可以使用工具如 pt-table-checksum 来快速比较主从库数据。
     • 针对不一致的表，仔细检查数据差异，确定是部分数据不一致还是整表数据异常。
   • 审查复制配置：
     • 检查主从库的配置文件，确保复制相关参数（如 server_id、log_bin 等）正确配置。
     • 确认选择性复制的过滤规则是否正确，有无因规则错误导致数据丢失或重复。
   • 查看日志：
     • 查看主库的二进制日志（binary log），分析数据变更记录，确定数据在主库的写入情况。
     • 查看从库的中继日志（relay log），检查从库接收和应用日志的过程是否有异常。
2. 修复方法
   • 数据修复：
     • 如果是少量数据不一致，可以手动在从库上执行 UPDATE、INSERT 或 DELETE 语句来修正数据，使其与主库一致。但操作前需谨慎确认数据，避免误操作。
     • 对于大量数据不一致，可考虑重新搭建从库。停止从库复制，删除从库数据，重新配置复制，从主库完整同步数据。
   • 配置修正：
     • 如果是复制配置错误导致的问题，修改相应的配置参数，重启数据库服务，并重新启动复制。在修改配置后，要密切监控复制状态，确保数据一致性。