面试题：Python socket模块在高并发场景下的优化策略及应用

优化策略

异步I/O：使用asyncio库实现异步I/O操作，它基于事件循环，能高效处理大量并发连接而无需为每个连接创建新线程或进程。
多路复用技术：
- select：一种基本的多路复用技术，可同时监听多个文件描述符的可读、可写或异常状态。但它有文件描述符数量限制（通常为1024），且每次调用都需要将文件描述符集合从用户空间复制到内核空间。
- poll：类似select，但没有文件描述符数量限制，通过链表存储文件描述符，性能比select好一些，但每次调用仍需将文件描述符集合从用户空间复制到内核空间。
- epoll：是Linux特有的多路复用技术，适用于处理大量并发连接。它使用事件驱动，只返回有事件发生的文件描述符，减少了不必要的遍历，且在内核空间维护一个文件描述符列表，避免了每次复制。

代码示例

使用asyncio实现异步I/O

import asyncio


async def handle_connection(reader, writer):
    data = await reader.read(1024)
    message = data.decode('utf - 8')
    addr = writer.get_extra_info('peername')
    print(f"Received {message!r} from {addr!r}")

    response = f"Hello, you sent: {message}"
    writer.write(response.encode('utf - 8'))
    await writer.drain()

    writer.close()


async def main():
    server = await asyncio.start_server(
        handle_connection, '127.0.0.1', 8888)

    addr = server.sockets[0].getsockname()
    print(f'Serving on {addr}')

    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

使用select实现多路复用

import select
import socket


server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind(('127.0.0.1', 8888))
server_socket.listen(5)

inputs = [server_socket]
while True:
    readable, writable, exceptional = select.select(inputs, [], [])
    for sock in readable:
        if sock is server_socket:
            client_socket, client_addr = server_socket.accept()
            inputs.append(client_socket)
        else:
            data = sock.recv(1024)
            if data:
                message = data.decode('utf - 8')
                print(f"Received {message!r} from {sock.getpeername()!r}")
                response = f"Hello, you sent: {message}"
                sock.send(response.encode('utf - 8'))
            else:
                inputs.remove(sock)
                sock.close()

使用epoll实现多路复用（仅适用于Linux）

import socket
import select


server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind(('127.0.0.1', 8888))
server_socket.listen(5)

epoll = select.epoll()
epoll.register(server_socket.fileno(), select.EPOLLIN)

fd_to_socket = {server_socket.fileno(): server_socket}
while True:
    events = epoll.poll(1)
    for fd, event in events:
        sock = fd_to_socket[fd]
        if sock is server_socket:
            client_socket, client_addr = server_socket.accept()
            epoll.register(client_socket.fileno(), select.EPOLLIN)
            fd_to_socket[client_socket.fileno()] = client_socket
        else:
            data = sock.recv(1024)
            if data:
                message = data.decode('utf - 8')
                print(f"Received {message!r} from {sock.getpeername()!r}")
                response = f"Hello, you sent: {message}"
                sock.send(response.encode('utf - 8'))
            else:
                epoll.unregister(fd)
                sock.close()
                del fd_to_socket[fd]

不同技术在不同操作系统下的优缺点及应用场景选择

异步I/O（asyncio）：
- 优点：代码简洁，基于事件循环，能高效处理大量并发连接，适用于I/O密集型任务。在Python 3.5+版本支持良好，跨平台性好。
- 缺点：对于CPU密集型任务性能提升有限，调试相对复杂。
- 应用场景：适合高并发、I/O密集型的网络应用，如Web服务器、实时通信应用等，在各种操作系统下均可使用。
select：
- 优点：跨平台性好，几乎所有操作系统都支持。
- 缺点：文件描述符数量有限制，每次调用需复制文件描述符集合，性能在高并发场景下较差。
- 应用场景：适用于连接数较少且对性能要求不是特别高的场景，如一些简单的网络工具。
poll：
- 优点：无文件描述符数量限制，性能比select好，跨平台性较好（除Windows外多数操作系统支持）。
- 缺点：每次调用仍需复制文件描述符集合，在高并发场景下性能不如epoll。
- 应用场景：适用于连接数较多但对性能要求不是极致的场景，在非Windows系统上使用。
epoll：
- 优点：Linux下高性能的多路复用技术，事件驱动，只返回有事件发生的文件描述符，性能卓越，适合高并发场景。
- 缺点：仅Linux系统支持，移植性差。
- 应用场景：在Linux系统下开发高并发网络应用，如大型网络服务器等对性能要求极高的场景。

星途面试题库

面试题：Python socket模块在高并发场景下的优化策略及应用

知识考点

面试题答案

优化策略

代码示例

不同技术在不同操作系统下的优缺点及应用场景选择