面试题：Python协程在异步I/O场景中的应用

Question

假设你需要开发一个网络爬虫程序，要同时处理多个网页的下载和解析任务，描述如何利用Python的协程（如asyncio库）来实现高效的异步I/O操作，包括关键代码结构和原理。

Answer 1

关键代码结构

1. 导入必要的库：

import asyncio
import aiohttp

2. 定义下载函数：

async def download(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

3. 定义解析函数：

def parse(html):
    # 这里编写具体的解析逻辑，例如使用BeautifulSoup等库
    pass

4. 定义主函数并管理任务：

async def main(urls):
    tasks = []
    for url in urls:
        task = asyncio.create_task(download(url))
        tasks.append(task)
    results = await asyncio.gather(*tasks)
    for html in results:
        parse(html)

5. 运行主函数：

if __name__ == "__main__":
    urls = ["url1", "url2", "url3"]  # 替换为实际的URL列表
    asyncio.run(main(urls))

原理

1. 事件循环：asyncio库使用事件循环（event loop）来管理异步任务。事件循环不断检查任务队列，当某个任务的I/O操作完成（如网络请求返回数据），该任务就会被重新安排执行。
2. 协程定义：使用async def定义的函数是一个协程，协程函数在调用时不会立即执行，而是返回一个协程对象。
3. await关键字：在协程内部，await用于暂停协程的执行，等待一个Future对象（通常是I/O操作的结果）完成，然后恢复协程执行并返回Future的结果。
4. 任务管理：asyncio.create_task用于将协程包装成一个任务（Task对象）并加入事件循环的任务队列。asyncio.gather用于等待所有给定的任务完成，并返回所有任务的结果。
5. 异步I/O操作：通过aiohttp库实现异步的HTTP请求，在等待网络响应的过程中，事件循环可以切换到其他任务执行，从而实现高效的并发操作，提高整体效率。