面试题答案
一键面试1. 了解任务特性
- 分析计算密集型任务：此类任务主要消耗CPU资源，如复杂的数据聚合、排序操作。对这类任务，应分配更多CPU资源，同时确保有足够内存维持数据处理过程中的中间状态。
- 分析内存密集型任务：例如处理大规模数据集的缓存、图计算等任务，需要大量内存来存储数据。在保证基本CPU需求前提下，重点分配内存资源。
2. 基于资源请求与限制分配
- 设置资源请求（Requests）：根据任务过往运行数据或预估资源使用情况，为每个容器设置CPU和内存的请求量。这是容器期望获取的资源量，Kubernetes调度器以此为依据分配节点资源。例如，一个简单的数据清洗任务，预估需要0.5个CPU核心和1GB内存，就设置
requests.cpu=0.5，requests.memory=1Gi。 - 设置资源限制（Limits）：为防止容器过度占用资源，设置CPU和内存的限制值。若容器尝试使用超过限制的资源，可能会被终止。如对于内存密集型任务，设置
limits.memory=2Gi，避免其因内存泄漏等问题耗尽节点内存。
3. 使用节点亲和性与反亲和性
- 节点亲和性：若某些大数据任务对节点硬件有特殊要求（如需要特定型号的GPU），可使用节点亲和性将容器调度到满足条件的节点上。这样可使任务获得合适的资源，也避免资源浪费。例如，标注有GPU资源的节点，任务通过
nodeSelector或nodeAffinity规则调度到该节点。 - 反亲和性：对于一些相互干扰较大的大数据任务（如都为计算密集型且对网络带宽需求高），使用反亲和性规则确保它们不被调度到同一节点，减少相互干扰。如通过
podAntiAffinity规则实现。
4. 动态资源分配
- 基于指标的自动扩缩容（HPA/VPA）：
- 水平自动扩缩容（HPA）：依据CPU使用率、内存使用率等指标，自动调整运行的容器副本数量。例如，设置当CPU使用率超过80%时，自动增加一个容器副本；当低于40%时，减少一个副本。
- 垂直自动扩缩容（VPA）：根据容器实际运行时的资源使用情况，动态调整容器的资源请求和限制。如发现某容器长期使用超过请求的CPU资源，VPA可自动增加其CPU请求值。
5. 资源隔离
- 使用cgroups：Kubernetes底层利用cgroups实现资源隔离。通过cgroups为每个容器设置CPU份额（如
cpu.shares）和内存限制（如memory.limit_in_bytes），确保容器只能使用分配到的资源，避免相互干扰。
6. 监控与优化
- 实时监控：利用Prometheus、Grafana等工具实时监控容器的CPU和内存使用情况。通过监控数据发现资源分配不合理的容器，如某个容器长期处于资源不足或过度分配状态。
- 持续优化：根据监控数据，不断调整资源分配策略。对于新的大数据任务，先进行小规模测试，根据测试结果确定合适的资源分配方案，随着任务负载变化，持续优化资源配置。