面试题答案
一键面试指标收集
- 选型
- Prometheus：开源的监控系统，拥有强大的数据模型和查询语言。它能够以拉取（pull）的方式从各种Exporter收集指标数据，并且支持水平扩展，非常适合云原生环境下服务数量众多且动态变化的场景。
- Exporter：针对不同的RPC框架，如gRPC有相应的gRPC Exporter，它可以将gRPC服务的内部指标（如请求数量、响应延迟、错误率等）暴露出来供Prometheus收集。
- 工作方式
- 在每个运行RPC服务的容器或节点上部署对应的Exporter。Exporter会定期收集RPC服务的指标数据，例如，gRPC Exporter会采集gRPC服务的请求计数、不同类型请求的延迟分布等指标。
- Prometheus按照设定的时间间隔（如每15秒）从各个Exporter拉取指标数据，并存储在其时间序列数据库中。运维人员和开发人员可以通过Prometheus的查询语言PromQL对这些数据进行分析和查询，例如查询某段时间内特定RPC服务的平均响应延迟。
链路追踪
- 选型
- Jaeger：开源的分布式链路追踪系统，由Uber开源。它具有良好的扩展性，支持多种数据采样策略，并且与云原生生态系统有很好的集成。
- OpenTracing API：一种通用的分布式追踪API标准，允许不同的RPC框架通过统一的方式实现链路追踪功能。许多流行的RPC框架（如gRPC）都有基于OpenTracing的实现。
- 工作方式
- 在RPC服务的代码中，基于OpenTracing API进行埋点。当一个RPC请求进入服务时，创建一个新的Span（代表一次工作单元），并在处理过程中传递Span上下文。例如，在gRPC服务端接收到请求时，创建一个Span，记录请求开始时间等信息，在处理完成后记录结束时间，并将Span发送给Jaeger。
- Jaeger收集来自各个服务的Span数据，通过Span之间的父子关系和上下文信息，构建出完整的调用链路。开发人员可以通过Jaeger的UI界面查看某个请求在整个系统中的调用路径，包括经过了哪些RPC服务，每个服务的处理时间等，便于快速定位故障点。
日志管理
- 选型
- Elasticsearch：分布式搜索引擎，具有高扩展性和高性能，适合存储和检索海量日志数据。
- Logstash：数据收集、处理和转发工具，可以从各种来源（如文件、系统日志等）收集日志数据，并对其进行过滤、转换等处理，然后发送到Elasticsearch。
- Kibana：Elasticsearch的可视化界面，用于创建仪表板、搜索和分析日志数据。
- Fluentd：轻量级日志收集器，在云原生环境中可灵活部署在每个节点上，负责将节点上的各种日志数据收集起来并发送给Logstash或直接发送到Elasticsearch。
- 工作方式
- 在每个运行RPC服务的容器或节点上部署Fluentd，Fluentd会实时收集容器内或节点上产生的日志文件。例如，RPC服务输出到标准输出的日志会被Fluentd捕获。
- Fluentd将收集到的日志数据发送给Logstash（也可直接发往Elasticsearch）。Logstash对日志数据进行处理，比如添加时间戳、提取关键信息等，然后将处理后的日志数据发送到Elasticsearch进行存储。
- 运维人员和开发人员可以通过Kibana界面在Elasticsearch存储的海量日志数据中进行搜索。例如，根据RPC请求的ID在日志中查找相关的详细信息，包括请求参数、响应结果、服务内部处理过程中的关键日志记录等，辅助故障排查。
协同工作
- 指标与链路追踪协同
- 通过在链路追踪的Span中添加与指标相关的标签（如服务名称、RPC方法名称等），可以将链路追踪数据与指标数据关联起来。例如，当在Jaeger中发现某个RPC调用延迟过高的链路时，可以通过这些标签在Prometheus中查询对应服务和方法的详细指标数据，如平均延迟、延迟分布等，进一步分析性能问题的原因。
- 指标与日志协同
- 在指标数据中记录一些关键标识（如请求ID），同时在日志数据中也包含这些标识。当Prometheus监测到异常指标（如错误率突然升高）时，可以通过关键标识在Kibana中快速定位到产生错误的具体日志记录，了解错误发生的详细上下文信息，如请求参数、服务内部的错误堆栈等，有助于深入分析故障原因。
- 链路追踪与日志协同
- 在链路追踪的Span数据和日志数据中都包含请求ID等关联标识。当在Jaeger中发现一条异常的调用链路时，可以利用请求ID在Kibana中查找该请求在各个服务中产生的详细日志，获取更多关于请求处理过程中的信息，如服务内部的中间状态、错误信息等，更全面地排查故障。