面试题：Python中pytest性能测试：复杂场景下的性能瓶颈定位与优化

定位性能瓶颈步骤

代码审查：
- 对多线程部分，检查线程间的资源竞争、锁的使用是否合理。例如，过度使用全局锁可能导致线程阻塞。
- 数据库交互部分，查看SQL语句是否优化，是否有不必要的查询或频繁的连接操作。
- 网络通信部分，确认数据传输量是否过大，网络请求是否过于频繁。
使用性能分析工具：
- cProfile：
  - 在代码中使用import cProfile，然后在要分析的函数或模块入口添加cProfile.run('your_function()')。例如，如果怀疑数据库交互函数db_query有问题，可以这样写：

import cProfile
def db_query():
    # 数据库查询代码
    pass
cProfile.run('db_query()')

 - 分析输出结果，重点关注`ncalls`（函数调用次数）、`tottime`（函数自身运行时间，不包括调用其他函数的时间）和`cumtime`（函数及其调用的所有函数的总运行时间）。高`ncalls`且`cumtime`较长的函数可能是性能瓶颈点。

line_profiler：
- 安装line_profiler（pip install line_profiler）。
- 使用@profile装饰器标记要分析的函数。例如：

@profile
def network_send():
    # 网络发送数据代码
    pass

 - 运行`kernprof -l -v your_script.py`，它会逐行显示函数中每行代码的运行时间，帮助定位具体耗时的代码行。

3. 日志记录：

在关键操作前后添加日志，记录操作开始和结束时间。例如，在数据库查询函数前后添加日志：

import logging
logging.basicConfig(level = logging.INFO)
def db_query():
    start_time = time.time()
    # 数据库查询代码
    end_time = time.time()
    logging.info(f"db_query took {end_time - start_time} seconds")
    return result

分析日志，找出耗时较长的操作。

针对不同类型瓶颈的优化策略

I/O瓶颈：
- 数据库I/O：
  - 优化查询：使用索引来加速查询。例如，如果经常按某个字段查询，可以为该字段创建索引CREATE INDEX idx_field_name ON your_table(field_name)。
  - 连接池：使用数据库连接池，如DBUtils，避免频繁创建和销毁数据库连接。
- 网络I/O：
  - 批量操作：如果是频繁的小数据量网络请求，考虑批量发送数据，减少请求次数。
  - 异步操作：使用asyncio库进行异步网络通信，提高并发处理能力。例如，使用aiohttp进行异步HTTP请求。
CPU瓶颈：
- 算法优化：检查是否有复杂度过高的算法。例如，将O(n²)复杂度的排序算法替换为O(n log n)的算法，如heapq模块的堆排序。
- 多进程替代多线程：对于CPU密集型任务，Python的多线程由于GIL（全局解释器锁）限制无法充分利用多核CPU。可以使用multiprocessing模块创建多进程，充分利用多核CPU资源。

使用pytest及相关工具辅助过程

pytest - benchmark：
- 安装pytest - benchmark（pip install pytest - benchmark）。
- 编写测试函数，例如：

import pytest
def db_query():
    # 数据库查询代码
    pass
def test_db_query_performance(benchmark):
    result = benchmark(db_query)

运行pytest --benchmark - save，它会记录每次测试的性能数据。可以通过--benchmark - compare选项对比不同版本代码的性能。

pytest - cov：
- 安装pytest - cov（pip install pytest - cov）。
- 运行pytest --cov = your_package，它可以生成代码覆盖率报告。确保性能测试覆盖到了所有关键模块，避免遗漏可能存在性能问题的代码。

星途面试题库

面试题：Python中pytest性能测试：复杂场景下的性能瓶颈定位与优化

知识考点

面试题答案

定位性能瓶颈步骤

针对不同类型瓶颈的优化策略

使用pytest及相关工具辅助过程