GIL对进程和线程运行机制的影响
- 线程方面：
- 同一进程内多线程：Python的GIL会导致在同一进程内，同一时刻只有一个线程能执行Python字节码。即使在多核CPU环境下，多线程也不能真正利用多核优势并行执行Python代码，因为GIL会轮流让各个线程获得执行机会，表现为并发执行，这在计算密集型任务中会限制性能提升。例如，多个线程同时进行大量的数值计算时，由于GIL的存在，线程之间需要竞争GIL锁，不能充分利用多核资源，导致计算时间可能比预期的多核并行执行时间长。
- 跨进程线程：不同进程之间的线程不受其他进程GIL的影响，因为每个进程都有自己独立的Python解释器实例和GIL。
- 进程方面：
- 不受GIL影响：进程拥有独立的地址空间，每个进程都有自己的Python解释器实例和GIL。因此，多进程能够充分利用多核CPU的优势，真正实现并行计算。例如，在进行大规模数据处理时，启动多个进程并行处理不同的数据块，可以显著提高处理速度，因为进程间不受GIL的限制。
规避GIL带来性能瓶颈的方法及示例
- 多进程：
- 解决方案：使用
multiprocessing模块创建多个进程。每个进程有自己独立的Python解释器和GIL，能并行执行任务。
- 示例：
import multiprocessing
def heavy_computation(x):
result = 0
for i in range(10000000):
result += i * x
return result
if __name__ == '__main__':
pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())
inputs = [1, 2, 3, 4]
results = pool.map(heavy_computation, inputs)
pool.close()
pool.join()
print(results)
- 应用场景：适用于计算密集型任务，如科学计算、数据分析中的复杂算法运算等。在上述示例中，
heavy_computation函数模拟了一个计算密集型任务，通过多进程并行处理输入数据inputs，能充分利用多核CPU资源，提高运算速度。
- 使用线程结合C扩展：
- 解决方案：将计算密集型部分代码用C语言编写成Python扩展模块。因为GIL在执行C代码（非Python字节码）时会释放，所以这部分代码可以在多核上并行执行。例如使用
cython工具将Python代码转换为C代码，然后编译为Python扩展模块。
- 示例：
- 假设我们有一个简单的Python函数
compute.pyx：
def compute(int n):
cdef int i, result = 0
for i in range(n):
result += i
return result
- 编写`setup.py`文件用于编译：
from setuptools import setup
from Cython.Build import cythonize
setup(
ext_modules = cythonize("compute.pyx")
)
- 然后在命令行运行`python setup.py build_ext --inplace`进行编译。之后就可以在Python代码中像调用普通Python函数一样调用`compute`函数，这部分C代码执行时不受GIL限制。
- 应用场景：适用于部分计算核心代码，将其转换为C扩展可以在不改变整体多线程架构太多的情况下提高性能，比如在一些实时性要求较高的图像处理算法中，将核心计算部分用C扩展实现。
- 使用
concurrent.futures模块：
- 解决方案：
concurrent.futures模块提供了ThreadPoolExecutor（线程池）和ProcessPoolExecutor（进程池）。对于I/O密集型任务，可以使用ThreadPoolExecutor，虽然受GIL影响，但I/O操作时GIL会释放，线程能有效利用等待I/O的时间。对于计算密集型任务，使用ProcessPoolExecutor创建进程池来避免GIL限制。
- 示例（计算密集型，使用进程池）：
import concurrent.futures
def heavy_computation(x):
result = 0
for i in range(10000000):
result += i * x
return result
if __name__ == '__main__':
with concurrent.futures.ProcessPoolExecutor() as executor:
inputs = [1, 2, 3, 4]
results = list(executor.map(heavy_computation, inputs))
print(results)
- 应用场景：对于I/O密集型任务，如网络爬虫中频繁的网页请求，使用
ThreadPoolExecutor可以有效利用等待网络响应的时间执行其他线程任务；对于计算密集型任务，ProcessPoolExecutor可充分利用多核CPU资源，如示例中的复杂数值计算。
