面试题：复杂业务场景下MongoDB集群容量规划与扩展策略优化

Question

有一个电商平台，其业务涵盖商品展示、订单处理、用户评价等多个复杂业务场景，数据量增长迅速且读写模式复杂。请基于MongoDB设计一套全面的集群容量规划与扩展策略，包括初始容量规划、不同业务场景下的读写性能优化、以及在业务高峰期的动态扩展策略，并详细说明各策略的实施细节和预期效果。

Answer 1

初始容量规划

1. 数据量预估：
   • 分析历史数据（若有），统计商品数量、订单量、用户评价数量的年/月增长率。例如，过去一年商品数量增长了50%，订单量增长了60%，用户评价增长了40%。以此为基础预估未来1 - 3年的数据量。
   • 考虑业务拓展计划，如计划开拓新市场，可能带来额外的商品上架、订单增长等，将这些因素纳入数据量预估。
2. 硬件资源规划：
   • CPU：根据预估的数据量和读写操作复杂度，一般每个MongoDB节点建议配置4 - 8核CPU。如果读操作居多且数据量较大，偏向8核配置以满足查询处理需求；若写操作频繁，4 - 6核也能较好应对。
   • 内存：MongoDB会将经常访问的数据缓存到内存。建议每个节点分配16 - 32GB内存，具体取决于数据量。例如，预计存储100GB活跃数据，考虑到内存缓存命中率等因素，32GB内存较为合适，可有效减少磁盘I/O。
   • 存储：计算数据增长空间，假设预计未来3年数据量增长到1TB，考虑一定冗余（如20%），则初始存储容量应规划为1.2TB。可选用大容量机械硬盘（如8TB/10TB）组成RAID阵列（如RAID 5或RAID 6）保证数据安全性和可用性。

不同业务场景下的读写性能优化

1. 商品展示：
   • 读优化：
     • 索引设计：为商品的关键展示字段（如商品ID、类别、品牌等）创建复合索引。例如，若用户常通过类别和品牌筛选商品，创建{category: 1, brand: 1}的复合索引，1表示升序排列，能大幅加快查询速度。
     • 缓存策略：采用二级缓存，一级缓存使用Redis，将热门商品数据（如销量前100的商品）缓存到Redis，直接从Redis读取数据，减少对MongoDB的读压力；二级缓存利用MongoDB的内存缓存，对于较新但访问量不是特别高的商品，通过MongoDB内存缓存读取。
   • 写优化：
     • 批量操作：当商家批量上架商品时，使用批量插入操作。如在Node.js中，使用collection.insertMany()方法，一次提交多个商品数据插入，减少数据库交互次数，提高写入效率。
     • 合理分片：按商品类别进行分片，使不同类别的商品写入分散到不同分片，避免单个分片写入压力过大。
2. 订单处理：
   • 读优化：
     • 索引优化：对订单ID、用户ID、订单状态等字段创建索引。例如，创建{user_id: 1, order_status: 1}索引，方便快速查询特定用户的不同状态订单。
     • 聚合查询优化：当统计订单相关数据（如不同地区的订单金额总和）时，合理使用聚合管道的优化策略，如先在分片上进行部分聚合，再在主节点汇总，减少数据传输量。
   • 写优化：
     • 异步写入：采用异步写入机制，当用户下单后，先将订单数据写入消息队列（如Kafka），由后台任务从消息队列消费数据并写入MongoDB，这样可提高下单响应速度，同时保证数据最终一致性。
     • 事务处理：利用MongoDB 4.0+的多文档事务功能，确保订单创建、库存扣减等操作的原子性，防止数据不一致问题。
3. 用户评价：
   • 读优化：
     • 索引设置：为评价ID、商品ID、用户ID创建索引，方便快速查询特定商品或用户的评价。如创建{product_id: 1, rating: -1}索引（-1表示降序），可快速获取高评分商品的评价。
     • 投影查询：只返回需要的字段，如在查询评价列表时，只返回评价内容、评分、用户昵称等必要字段，减少数据传输量。
   • 写优化：
     • 限流写入：设置写入速率限制，防止短时间内大量评价写入导致数据库压力过大。例如，通过令牌桶算法，每秒只允许一定数量的评价写入请求进入数据库。
     • 数据预处理：在前端对用户评价进行简单的格式检查和敏感词过滤，减少无效写入。

业务高峰期的动态扩展策略

1. 自动分片扩展：
   • 实施细节：MongoDB提供自动分片功能，当数据量或负载达到一定阈值时，集群自动将数据分片到新的节点。通过监控工具（如MongoDB Cloud Manager）设置分片阈值，如数据量达到单个分片容量的80%或读写操作的响应时间超过设定值（如50ms）时触发分片扩展。在新增节点时，确保节点的硬件配置与现有节点匹配，按照集群配置要求加入集群。
   • 预期效果：有效应对数据量增长和业务高峰期读写压力，保持集群性能稳定，避免单个分片过载，提高系统的整体可用性和扩展性。
2. 副本集扩展：
   • 实施细节：在业务高峰期，增加副本集成员。例如，平时副本集为1主2从，高峰期可临时扩展到1主4从。通过MongoDB的管理命令（如rs.add()）添加新的从节点。新节点同步主节点数据，分担读压力。同时，要确保网络带宽足够，以支持新节点的数据同步。
   • 预期效果：提高系统的读性能，将读请求分散到多个从节点，降低主节点压力，保证业务高峰期读操作的响应速度。
3. 垂直扩展：
   • 实施细节：对现有节点进行硬件升级，如增加CPU核心数、扩大内存容量、更换更快的存储设备（如从机械硬盘升级到固态硬盘）。在升级前，需要对业务进行评估，选择业务低谷期进行升级操作，并提前备份数据。升级后，重新调整MongoDB的配置参数，如内存分配参数等，以适应新的硬件环境。
   • 预期效果：在不增加节点数量的情况下，提升单个节点的处理能力，从而提升整个集群的性能，应对业务高峰期的负载。但垂直扩展存在一定上限，当达到硬件瓶颈时，需结合水平扩展（分片和副本集扩展）。