面试题：容器化应用监控中，如何通过Prometheus监控容器资源使用情况

Question

在容器化应用环境下，阐述如何利用Prometheus来监控容器的CPU、内存等资源使用情况，包括Prometheus的配置步骤，以及如何关联容器与监控指标。

Answer 1

Prometheus配置步骤

1. 安装Prometheus：可以通过官方提供的二进制文件下载，解压并运行。例如在Linux系统中，下载对应版本后解压：

tar -xvf prometheus-<version>.tar.gz
cd prometheus-<version>
./prometheus --config.file=prometheus.yml

2. 配置抓取目标：编辑prometheus.yml文件，添加用于抓取容器指标的数据源。如果使用Kubernetes环境，可以利用Kubernetes的服务发现机制。例如：

scrape_configs:
  - job_name: 'kubernetes - cadvisor'
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: kube - state - metrics.kube - system.svc.cluster.local:8080

这里通过Kubernetes服务发现获取节点信息，然后重写地址和标签，以便Prometheus能正确抓取指标。

3. 配置指标映射：Prometheus本身不会直接获取容器详细的CPU、内存指标，需要借助其他工具如cAdvisor。在Prometheus配置中确保能从cAdvisor获取相关指标。例如，在prometheus.yml中配置：

  - job_name: 'cadvisor'
    static_configs:
      - targets: ['<cadvisor - address>:8080']

cAdvisor会暴露容器的CPU、内存等指标，Prometheus按配置抓取。

关联容器与监控指标

1. 标签关联：在Prometheus中，每个指标都可以带有标签（label）。容器相关指标可以通过特定标签与容器关联。例如，cAdvisor暴露的指标可能包含container_name标签，Prometheus在抓取时保留这个标签。这样通过container_name标签就可以唯一标识一个容器及其对应的CPU、内存等指标。
2. 借助中间层（如Kubernetes）：在Kubernetes环境下，Kubernetes为每个容器分配了唯一的标识符（如Pod的UID等）。Prometheus通过与Kubernetes集成，可以利用Kubernetes提供的元数据信息（如通过Kubernetes API Server获取Pod、Container等信息），将这些元数据以标签形式附加到从cAdvisor抓取的指标上，从而实现容器与监控指标的准确关联。例如，通过kube_pod_container_info指标中的pod_name、container_name等标签与其他容器资源使用指标（如container_cpu_usage_seconds_total、container_memory_usage_bytes）进行关联。