面试题：在复杂业务场景下如何优化MariaDB多源复制的性能

Question

假设存在一个复杂业务场景，多个数据源同时向MariaDB进行多源复制，数据量庞大且读写频繁。请阐述从网络配置、服务器参数调整、复制拓扑设计等方面，如何对MariaDB多源复制进行性能优化，以满足业务需求。

Answer 1

网络配置

1. 带宽优化 确保网络带宽足够满足大量数据传输需求。对多源复制过程中涉及的各个数据源与 MariaDB 服务器之间的网络连接进行带宽升级，尽量减少因带宽不足导致的数据传输瓶颈。例如，将网络带宽从百兆升级到千兆甚至更高。
2. 网络拓扑优化 采用扁平化网络拓扑结构，减少网络跳数。比如避免复杂的多级路由架构，直接使用核心交换机连接数据源和 MariaDB 服务器，降低网络延迟。同时，合理分配 VLAN，将数据源与 MariaDB 服务器划分到同一 VLAN 内，减少广播域范围，提高网络传输效率。
3. 网络设备性能 选择高性能的网络设备，如交换机和路由器。设备需具备高速转发能力和大容量缓存，以应对大量的数据流量。例如，选用背板带宽高、包转发率快的企业级交换机。

服务器参数调整

1. 内存参数
   • InnoDB Buffer Pool：增大 innodb_buffer_pool_size 参数值，让更多的数据能缓存到内存中，减少磁盘 I/O。根据服务器内存大小，一般可设置为物理内存的 60% - 80%。例如，服务器有 32GB 内存，可设置 innodb_buffer_pool_size 为 20GB 左右。
   • Sort Buffer：适当增大 sort_buffer_size 参数，优化排序操作性能。不过要注意不能设置过大，以免消耗过多内存，通常可设置为 2MB - 8MB。
   • Read Buffer：合理调整 read_buffer_size 参数，提升顺序读取性能。同样需控制大小，一般设置为 256KB - 1MB。
2. 线程参数
   • Thread Cache：增大 thread_cache_size 参数，缓存空闲线程，减少创建和销毁线程的开销。可根据服务器负载情况设置，一般为 32 - 256。
   • Max Connections：根据业务并发量合理设置 max_connections 参数，既要满足业务连接需求，又不能设置过大导致服务器资源耗尽。可通过监控业务并发连接数逐步调整，例如初始设置为 500，根据实际情况增减。
3. 日志参数
   • InnoDB Log File：适当增大 innodb_log_file_size 参数，减少日志切换频率，提升写入性能。一般可设置为 2GB - 4GB，但需注意设置过大可能会增加恢复时间。同时，合理设置 innodb_log_files_in_group 参数，通常为 2 - 4 个日志文件。

复制拓扑设计

1. 主从架构优化
   • 多主一从：如果业务允许，可以采用多主一从的复制拓扑。每个主服务器处理部分数据源的数据写入，从服务器负责汇总数据。这样可以分散写入压力，提高整体写入性能。但要注意多主之间的数据一致性问题，可通过设置合适的同步策略来解决。
   • 级联复制：构建级联复制拓扑，即主服务器将数据复制到一级从服务器，一级从服务器再将数据复制到二级从服务器等。这样可以减轻主服务器的复制压力，将负载分散到各级从服务器上。例如，对于数据量庞大的场景，可设置 1 个主服务器，3 个一级从服务器，每个一级从服务器再连接 2 个二级从服务器。
2. 负载均衡 在主服务器前端部署负载均衡器，如 HAProxy 或 Nginx。将来自不同数据源的写入请求均匀分配到多个主服务器上，实现负载均衡。例如，通过 HAProxy 的加权轮询算法，根据主服务器的性能情况分配不同的权重，让性能好的主服务器处理更多的请求。
3. 复制过滤 在从服务器上使用复制过滤功能，只复制业务需要的数据。通过 replicate-do-table 或 replicate-ignore-table 等参数，指定需要复制或忽略的表。这样可以减少从服务器的复制数据量，提高复制性能。例如，对于一些日志表等非关键业务表，可以设置忽略复制。