面试题：Python生成器在异步编程中的深度应用及原理

生成器在Python异步编程框架（如asyncio）中的角色

基础迭代机制：生成器是Python中一种特殊的迭代器，它允许在需要时生成值，而不是一次性生成所有值。在异步编程中，这一特性可以被用来控制异步操作的流程，例如逐步执行异步任务，而不是阻塞等待所有任务完成。
控制流暂停与恢复：生成器通过yield语句暂停函数的执行，并返回一个值。在异步编程中，这类似于暂停一个异步操作，等待某个条件满足（如I/O操作完成）后再恢复执行。

生成器与协程之间的关系

历史演进关系：协程的概念在Python中逐步发展，早期的协程实现依赖于生成器。生成器的yield和yield from语句为协程的实现提供了基础。后来Python引入了async和await关键字，使协程的编写更加直观，但底层仍然基于生成器的原理。

通过生成器实现协程功能：

简单协程实现：在Python 2.x时代，协程可以通过生成器来模拟。例如，一个简单的生成器函数可以暂停和恢复执行，模拟协程的行为。

def simple_coroutine():
    x = yield
    print(f'Received: {x}')
coro = simple_coroutine()
next(coro)  # 启动生成器，使其停在yield处
coro.send(42)  # 发送值42，恢复生成器执行并打印

使用yield from实现更复杂协程：yield from语句可以将控制权委托给另一个生成器（或可迭代对象）。在协程实现中，它常被用于等待一个子协程完成。例如：

def sub_coroutine():
    yield 1
    yield 2
def main_coroutine():
    result = yield from sub_coroutine()
    print(f'Result from sub - coroutine: {result}')
coro = main_coroutine()
next(coro)
next(coro)
try:
    next(coro)
except StopIteration:
    pass

现代协程与生成器对比：虽然async和await语法使协程更易读和编写，但从底层看，基于async/await的协程仍然是生成器的一种扩展。async函数实际上返回一个coroutine对象，它本质上是一种特殊的生成器。

在实际异步项目中利用生成器优化并发性能的具体方法和案例

具体方法：
- 任务分块执行：通过生成器将大任务分成小块执行，在每块执行间隙，可以让其他异步任务有机会执行。例如，处理大量数据时，每次从生成器中获取一小部分数据进行处理，处理完后yield，让其他任务执行。
- I/O 操作控制：在异步I/O操作中，利用生成器暂停执行，等待I/O完成后再恢复。比如在网络请求时，生成器暂停，等网络响应返回后恢复执行，这样可以避免阻塞主线程，提高并发性能。

案例：

文件读取与处理：假设有一个大文件需要读取并处理其中每一行数据。可以使用生成器逐行读取文件，在处理完一行数据后yield，允许其他异步任务执行。

import asyncio


def file_reader(file_path):
    with open(file_path) as f:
        for line in f:
            yield line


async def process_lines():
    file_gen = file_reader('large_file.txt')
    tasks = []
    for line in file_gen:
        task = asyncio.create_task(process_line(line))
        tasks.append(task)
    await asyncio.gather(*tasks)


async def process_line(line):
    # 模拟一些处理操作
    await asyncio.sleep(0.01)
    print(f'Processed: {line.strip()}')


if __name__ == '__main__':
    asyncio.run(process_lines())

网络爬虫优化：在网络爬虫项目中，需要对多个网页进行爬取。可以使用生成器生成每个网页的请求任务，在发送请求后yield，等待响应返回后再处理数据。这样可以同时处理多个网页的请求，提高爬虫效率。

import asyncio
import aiohttp


def url_generator(urls):
    for url in urls:
        yield url


async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()


async def crawl():
    urls = ['http://example.com', 'http://example.org', 'http://example.net']
    url_gen = url_generator(urls)
    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in url_gen:
            task = asyncio.create_task(fetch(session, url))
            tasks.append(task)
        results = await asyncio.gather(*tasks)
        for result in results:
            print(f'Fetched: {result[:50]}...')


if __name__ == '__main__':
    asyncio.run(crawl())

在这些案例中，生成器有效地控制了任务的执行流程，使得在异步环境中能够更好地利用资源，优化并发性能。

星途面试题库

面试题：Python生成器在异步编程中的深度应用及原理

知识考点

面试题答案

生成器在Python异步编程框架（如asyncio）中的角色

生成器与协程之间的关系

在实际异步项目中利用生成器优化并发性能的具体方法和案例