面试题：Python多线程与多进程选择策略之复杂场景下的优化

高效策略

网页下载（I/O密集型任务）：

使用多线程技术。因为I/O操作（如网页下载）在等待数据返回时，线程会处于阻塞状态，此时CPU处于空闲状态。多线程能在一个进程内利用CPU空闲时间，提高I/O操作的并发度。Python中的threading模块可实现多线程。例如：

import threading
import requests


def download_page(url):
    response = requests.get(url)
    # 处理下载的网页内容
    print(f"Downloaded {url}")


urls = ["http://example.com", "http://example2.com"]
threads = []
for url in urls:
    thread = threading.Thread(target = download_page, args=(url,))
    threads.append(thread)
    thread.start()
for thread in threads:
    thread.join()

网页解析和数据提取（计算密集型任务）：
- 采用多进程技术。由于Python的全局解释器锁（GIL），在同一时间只有一个线程能执行Python字节码，对于计算密集型任务，多线程无法利用多核CPU优势。而多进程每个进程有独立的Python解释器和内存空间，可充分利用多核CPU资源。multiprocessing模块用于多进程编程。示例如下：
```
import multiprocessing


def parse_page(html):
    # 复杂的网页解析和数据提取逻辑
    data = "Parsed data from " + html
    return data


if __name__ == '__main__':
    htmls = ["html content 1", "html content 2"]
    pool = multiprocessing.Pool(processes = multiprocessing.cpu_count())
    results = pool.map(parse_page, htmls)
    pool.close()
    pool.join()
    print(results)
```

实际应用中可能遇到的问题及解决方案

多线程：
- GIL问题：
  - 问题：由于GIL的存在，多线程在计算密集型任务中无法充分利用多核CPU。但对于I/O密集型任务影响不大。
  - 解决方案：对于I/O密集型任务，可忽略GIL影响，继续使用多线程提高I/O并发度。若部分计算密集型任务可放在多线程中（如一些简单计算且不依赖CPU密集计算的操作），可通过使用numba等库进行JIT编译，使代码在执行时绕过GIL限制，提高执行效率。
- 线程安全问题：
  - 问题：多线程共享进程内存空间，可能导致数据竞争和线程安全问题，如多个线程同时修改同一个变量。
  - 解决方案：使用锁机制（如threading.Lock）来保护共享资源。例如：
```
import threading


shared_variable = 0
lock = threading.Lock()


def increment():
    global shared_variable
    with lock:
        shared_variable += 1


threads = []
for _ in range(10):
    thread = threading.Thread(target = increment)
    threads.append(thread)
    thread.start()
for thread in threads:
    thread.join()
print(shared_variable)
```
多进程：
- 资源消耗问题：
  - 问题：每个进程都有独立的内存空间，创建大量进程会消耗大量内存等系统资源。
  - 解决方案：合理控制进程数量，根据系统的CPU核心数和内存大小来确定进程池的规模。例如，使用multiprocessing.cpu_count()获取CPU核心数，以核心数为基础创建进程池，避免进程过多导致系统资源耗尽。
- 进程间通信问题：
  - 问题：不同进程间内存空间独立，需要特殊的机制进行通信。
  - 解决方案：使用multiprocessing模块提供的Queue、Pipe等方式进行进程间通信。如使用Queue在进程间传递数据：
```
import multiprocessing


def producer(queue):
    data = "Some data"
    queue.put(data)


def consumer(queue):
    data = queue.get()
    print(f"Consumed: {data}")


if __name__ == '__main__':
    queue = multiprocessing.Queue()
    p1 = multiprocessing.Process(target = producer, args=(queue,))
    p2 = multiprocessing.Process(target = consumer, args=(queue,))
    p1.start()
    p2.start()
    p1.join()
    p2.join()
```

星途面试题库

面试题：Python多线程与多进程选择策略之复杂场景下的优化

知识考点

面试题答案

高效策略

实际应用中可能遇到的问题及解决方案