面试题答案
一键面试1. 解决网络I/O阻塞问题
- 使用事件驱动模型：libevent基于事件驱动机制，它可以将网络I/O操作（如socket的读/写）注册为事件。当I/O操作准备好（可读或可写）时，事件循环会被触发，从而避免了传统阻塞式I/O等待数据到来时线程被挂起的情况。例如，使用
event_new创建一个I/O事件，指定回调函数，当事件就绪时调用该回调处理数据。 - 连接池复用：建立一个连接池，爬虫需要请求网页时，从连接池中获取一个已建立的连接，而不是每次都新建连接。这样可以减少连接建立的开销，这对于高并发场景下频繁的网络请求非常重要。请求完成后，将连接放回连接池供其他请求复用。在libevent中，可以在事件处理函数中管理连接池的连接获取与归还逻辑。
- 异步I/O操作：libevent支持异步I/O操作，通过
evhttp模块可以方便地发起异步HTTP请求。在发起请求后，主线程不会阻塞等待响应，而是继续处理其他事件。当响应数据到达时，通过回调函数来处理响应内容。例如，使用evhttp_connection_setcb设置连接的回调函数，在回调中处理HTTP响应。
2. 解决资源竞争问题
- 线程安全的数据结构：如果爬虫在多线程环境下运行，对于共享资源（如全局的URL队列、已爬取URL集合等），使用线程安全的数据结构来避免资源竞争。例如，使用
std::mutex保护共享资源，在访问共享资源前加锁，访问完后解锁。或者使用更高级的线程安全数据结构，如std::unordered_map的线程安全版本（某些库提供）。在libevent事件处理函数中，如果涉及共享资源操作，合理使用这些线程安全机制。 - 任务队列与单线程处理：将爬虫任务（如发起请求、处理响应）放入任务队列中，使用一个单线程从任务队列中取出任务并处理。这样可以避免多线程同时访问共享资源带来的竞争问题。在libevent事件循环中，可以结合任务队列的处理逻辑，每次事件触发时从任务队列中取出任务执行。
- 信号量控制并发数：通过信号量来限制同时活跃的爬虫任务数量。例如，初始化一个信号量，其值为允许的最大并发数。在每个爬虫任务开始前获取信号量（如果信号量值为0则等待），任务结束后释放信号量。这样可以控制对网络资源和其他共享资源的竞争程度，避免过多任务同时竞争导致性能下降。在libevent事件处理函数中，可以在合适的位置进行信号量的获取与释放操作。