面试题：Python日志记录与异常追踪之性能优化与分布式场景

思路

生成唯一标识：在系统入口为每个请求生成一个全局唯一的请求ID（例如UUID），这个ID将贯穿整个请求在各个服务间的调用链路。
传递标识：通过消息队列传递消息时，将请求ID作为消息的一部分一起发送，确保每个服务处理该请求时都能获取到这个ID。
记录标识：每个服务在记录日志时，将请求ID包含在日志信息中，以便后续通过请求ID来聚合和关联不同服务产生的日志。
异常处理与标识关联：当服务发生异常时，将请求ID与异常信息一起记录，并通过消息队列发送到专门的异常处理服务，便于追踪异常发生的具体链路。

技术与工具

日志记录
- Python内置logging模块：通过自定义Formatter将请求ID添加到日志记录格式中。例如：

import logging

class RequestIDFilter(logging.Filter):
    def __init__(self, request_id):
        self.request_id = request_id

    def filter(self, record):
        record.request_id = self.request_id
        return True

logger = logging.getLogger(__name__)
request_id = "123e4567-e89b-12d3-a456-426614174000"
filter = RequestIDFilter(request_id)
logger.addFilter(filter)
formatter = logging.Formatter('%(asctime)s - %(request_id)s - %(levelname)s - %(message)s')
ch = logging.StreamHandler()
ch.setFormatter(formatter)
logger.addHandler(ch)

- **第三方日志库**：如`structlog`，它提供了更灵活和强大的日志记录功能，便于添加请求ID等上下文信息。

2. 消息队列 - RabbitMQ：可靠的消息队列，支持消息持久化、多种消息模式等。可以在消息属性中添加请求ID。 - Kafka：高吞吐量的分布式消息系统，适合大数据量的消息传递场景。通过自定义消息头传递请求ID。 3. 异常追踪 - Sentry：强大的实时事件日志记录和聚合平台，能够捕获Python应用中的异常，并通过添加请求ID作为标签，方便在Sentry界面上按请求ID筛选和追踪异常。 - 自定义异常处理服务：可以基于Flask或Django搭建一个简单的服务，接收来自各个服务发送的包含请求ID的异常消息，并存储到数据库（如Elasticsearch）中，方便查询和分析。 4. 链路追踪 - OpenTelemetry：可用于分布式系统的链路追踪，它能生成和传播追踪上下文（包含trace ID和span ID等），与请求ID配合使用，可以更详细地了解请求在各个服务间的调用路径和时间消耗，辅助定位问题。

星途面试题库

面试题：Python日志记录与异常追踪之性能优化与分布式场景

知识考点

面试题答案

思路

技术与工具