面试题：复杂业务场景下微服务架构自动扩缩容与负载均衡的优化策略

Question

假设存在一个电商微服务系统，在促销活动期间会面临高并发请求。阐述如何结合自动扩缩容与负载均衡技术对该系统进行优化，以应对流量的剧烈波动，同时保证系统的稳定性和响应速度，需考虑网络延迟、资源利用率等因素。

Answer 1

自动扩缩容

1. 基于指标监控
   • CPU 利用率：设定一个阈值，例如当 CPU 利用率持续超过 80%时，触发自动扩容，增加服务器实例。当 CPU 利用率低于 30% 一段时间后，触发自动缩容，减少服务器实例。
   • 内存使用率：类似 CPU 利用率，监控内存使用率，防止内存溢出导致服务崩溃。例如内存使用率超过 70% 考虑扩容，低于 40% 考虑缩容。
   • 请求队列长度：如果请求队列长度持续增长且超过一定阈值，说明当前服务器处理能力不足，需要扩容。当队列长度下降到较低水平时，可以缩容。
2. 实现方式
   • 云平台服务：利用云提供商（如 AWS、阿里云等）提供的自动伸缩组（Auto Scaling Group）功能。以 AWS 为例，可通过创建启动模板定义服务器配置，设置伸缩策略基于上述指标动态调整实例数量。
   • 容器编排工具：使用 Kubernetes（K8s），它支持基于 CPU、内存等资源指标的 Horizontal Pod Autoscaler（HPA）自动扩缩容。通过配置 HPA，可根据资源使用情况自动调整 Pod 的数量。

负载均衡

1. 负载均衡器选型
   • 四层负载均衡（如 LVS、F5）：工作在传输层（TCP/UDP），根据 IP 和端口进行负载均衡。优点是性能高，能处理大量并发连接，适用于流量较大且对性能要求高的场景。例如电商系统中静态资源（图片、CSS、JS 等）的请求可通过四层负载均衡处理。
   • 七层负载均衡（如 Nginx、HAProxy）：工作在应用层（HTTP/HTTPS），可以根据 URL、HTTP 头信息等进行负载均衡。优点是灵活性高，能更好地根据业务需求分配流量。例如电商系统中动态请求（用户登录、下单等）可通过七层负载均衡处理。
2. 负载均衡算法
   • 轮询算法：将请求依次分配到各个服务器实例，适合服务器性能相近的场景。
   • 加权轮询算法：根据服务器的性能为每个服务器分配不同的权重，性能高的服务器权重高，分配到的请求更多，适用于服务器性能有差异的场景。
   • 最少连接算法：将请求分配到当前连接数最少的服务器实例，能更好地利用服务器资源，适用于长连接较多的应用。
3. 网络延迟与优化
   • 负载均衡器部署位置：尽量部署在靠近用户的边缘节点，减少网络传输距离，降低延迟。例如使用内容分发网络（CDN）结合负载均衡，CDN 缓存静态资源并在边缘节点进行分发，负载均衡器在 CDN 节点处对请求进行分配。
   • 健康检查：负载均衡器定期对后端服务器进行健康检查，如通过发送 HTTP 请求或 TCP 连接检测。一旦发现服务器异常，立即停止向其分配请求，保证服务的稳定性。同时，及时将异常服务器从负载均衡池中移除，并在服务器恢复正常后重新加入。
4. 资源利用率优化
   • 连接复用：负载均衡器支持连接复用功能，减少建立新连接的开销，提高资源利用率。例如在 Nginx 中可通过配置 keepalive 参数实现 HTTP 连接复用。
   • 缓存功能：对于一些频繁访问且不经常变化的数据，负载均衡器可开启缓存功能。如 Nginx 可以配置对静态资源的缓存，减少后端服务器的压力，提高响应速度。