面试题：Python中多线程与多进程在I/O密集型任务中的性能差异

Question

在Python中，对于I/O密集型任务，多线程和多进程都常被用于提升性能。请阐述多线程和多进程在处理I/O密集型任务时各自的优势和劣势，并通过简单代码示例说明如何在I/O密集型场景中选择合适的方式。

Answer 1

多线程处理I/O密集型任务的优势

1. 资源开销小：线程创建和销毁的开销比进程小很多，因为线程共享进程的资源，在频繁创建和销毁任务执行单元时优势明显。
2. 通信简单：同一进程内的线程共享内存空间，数据共享和通信无需像进程那样借助复杂的IPC（进程间通信）机制，直接操作共享变量即可。

多线程处理I/O密集型任务的劣势

1. 全局解释器锁（GIL）限制：Python的CPython解释器存在GIL，在同一时刻只有一个线程能执行Python字节码。对于CPU密集型部分，多线程无法利用多核优势，但I/O密集型场景下线程因I/O操作时常释放GIL，影响相对小。
2. 稳定性问题：由于共享内存，一个线程出错可能影响整个进程，导致进程崩溃。

多进程处理I/O密集型任务的优势

1. 多核利用：每个进程有独立的地址空间和资源，可充分利用多核CPU，在多核环境下能真正并行执行任务，提高整体性能。
2. 稳定性高：进程间相互独立，一个进程崩溃不会影响其他进程，系统更健壮。

多进程处理I/O密集型任务的劣势

1. 资源开销大：进程创建和销毁开销大，占用更多系统资源，包括内存、文件描述符等。
2. 通信复杂：进程间数据共享和通信需使用专门的IPC机制，如管道、消息队列、共享内存等，编程复杂度增加。

代码示例

import time
import threading
import multiprocessing


def io_bound_task():
    time.sleep(1)
    return "完成I/O任务"


def run_with_threads():
    start_time = time.time()
    threads = []
    for _ in range(5):
        t = threading.Thread(target=io_bound_task)
        threads.append(t)
        t.start()
    for t in threads:
        t.join()
    end_time = time.time()
    print(f"多线程执行时间: {end_time - start_time} 秒")


def run_with_processes():
    start_time = time.time()
    processes = []
    for _ in range(5):
        p = multiprocessing.Process(target=io_bound_task)
        processes.append(p)
        p.start()
    for p in processes:
        p.join()
    end_time = time.time()
    print(f"多进程执行时间: {end_time - start_time} 秒")


if __name__ == '__main__':
    run_with_threads()
    run_with_processes()

选择建议

1. 资源有限且单核环境：优先选择多线程，因其资源开销小，在单核CPU上，多线程处理I/O密集型任务能在一定程度上提升效率，并且编程简单。
2. 多核环境且追求极致性能：如果对稳定性要求高，且系统资源充足，多进程更合适，能充分利用多核优势，提高整体执行效率，不过要处理好进程间通信的复杂性。