面试题：Python thread模块在复杂场景下的性能优化

优化策略一：线程池的使用

说明：使用线程池可以避免频繁创建和销毁线程。线程池预先创建一定数量的线程，当有任务时，从线程池中获取线程执行，任务完成后，线程不被销毁而是返回线程池等待下一个任务。在Python中，可以使用concurrent.futures模块中的ThreadPoolExecutor来实现线程池。虽然这里题目说使用thread模块，但ThreadPoolExecutor内部也是基于线程实现。
代码示例：

import concurrent.futures


def task_function(task_num):
    print(f"Task {task_num} is running")
    return task_num * 2


if __name__ == '__main__':
    tasks = [1, 2, 3, 4, 5]
    with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
        results = list(executor.map(task_function, tasks))
    print(results)

优化策略二：减少锁的使用

说明：线程间竞争很多时候是由于对共享资源使用锁导致。如果能减少对共享资源的访问，或者通过其他无锁的数据结构来替代共享资源，可以减少线程间竞争。在thread模块中，锁通常通过threading.Lock来实现。如果可以重新设计数据结构，比如使用线程本地数据（threading.local），让每个线程有自己独立的数据副本，就可以避免锁竞争。
代码示例：

import threading


# 创建线程本地数据
local_data = threading.local()


def task_function():
    if not hasattr(local_data, 'counter'):
        local_data.counter = 0
    local_data.counter += 1
    print(f"Thread {threading.current_thread().name} has counter {local_data.counter}")


threads = []
for _ in range(3):
    t = threading.Thread(target=task_function)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

优化策略三：使用队列进行线程间通信

说明：使用队列（queue.Queue）来进行线程间的数据传递和任务分配。这样可以解耦线程之间的关系，避免直接访问共享变量带来的竞争问题。一个线程可以将任务放入队列，其他线程从队列中取出任务执行。queue.Queue是线程安全的，内部已经处理好了锁的问题。
代码示例：

import threading
import queue


def worker(q):
    while True:
        task = q.get()
        if task is None:
            break
        print(f"Processing task {task}")
        q.task_done()


q = queue.Queue()
threads = []
for _ in range(2):
    t = threading.Thread(target=worker, args=(q,))
    t.start()
    threads.append(t)

tasks = [1, 2, 3, 4, 5]
for task in tasks:
    q.put(task)

# 等待所有任务完成
q.join()

# 停止工作线程
for _ in range(len(threads)):
    q.put(None)

for t in threads:
    t.join()

星途面试题库

面试题：Python thread模块在复杂场景下的性能优化

知识考点

面试题答案

优化策略一：线程池的使用

优化策略二：减少锁的使用

优化策略三：使用队列进行线程间通信