1. 缓冲区设置
- 原理：操作系统在读写文件时，不是每次都直接与磁盘交互，而是先在内存中开辟一块区域（缓冲区）。合适的缓冲区大小可以减少磁盘 I/O 次数，因为磁盘 I/O 相较于内存操作速度非常慢。例如，若缓冲区过小，频繁的磁盘 I/O 会极大降低读写效率；若缓冲区过大，可能会占用过多内存。
- 实现：在 Python 中使用
open 函数时，可以通过 buffering 参数设置缓冲区大小。默认情况下，buffering 为 -1，表示使用系统默认的缓冲区大小。
# 以二进制读模式打开文件，设置缓冲区大小为 8192 字节（8KB）
with open('large_file.bin', 'rb', buffering = 8192) as f:
data = f.read()
2. 分块读取写入
- 原理：将大文件按固定大小分成多个小块进行读写，避免一次性将整个大文件读入内存，从而防止内存不足。同时，分块操作也能更灵活地控制内存使用，每处理完一块数据后，相关内存可以及时释放或重用。
- 实现：
# 分块读取文件
block_size = 1024 * 1024 # 1MB 分块大小
with open('large_file.bin', 'rb') as f:
while True:
chunk = f.read(block_size)
if not chunk:
break
# 处理每一块数据，例如写入另一个文件
with open('output_file.bin', 'ab') as out_f:
out_f.write(chunk)
3. 使用 mmap（内存映射）
- 原理：
mmap 把文件直接映射到内存地址空间，程序可以像访问内存一样访问文件，而不需要像常规读写那样频繁调用系统 I/O 函数。这样减少了数据在用户空间和内核空间之间的拷贝次数，提升了读写性能。
- 实现：
import mmap
with open('large_file.bin', 'r+b') as f:
with mmap.mmap(f.fileno(), 0) as mm:
# 可以像操作字节数组一样操作 mm
data = mm.read(1024) # 读取 1024 字节
mm.write(b'some data') # 写入数据
4. 异步 I/O（在合适场景下）
- 原理：利用异步操作，在等待 I/O 完成的同时，程序可以执行其他任务，不会阻塞主线程。这样在处理大文件时，能更充分地利用 CPU 资源，提高整体效率。
- 实现：在 Python 3.5+ 中，可以使用
asyncio 库结合 aiofiles 库来实现异步文件操作。
import asyncio
import aiofiles
async def read_large_file():
async with aiofiles.open('large_file.bin', 'rb') as f:
data = await f.read()
return data
loop = asyncio.get_event_loop()
result = loop.run_until_complete(read_large_file())
5. 优化策略性能提升总结
- 缓冲区设置：通过减少磁盘 I/O 次数提升性能，合适的缓冲区大小在磁盘 I/O 与内存占用间取得平衡。
- 分块读取写入：避免一次性占用大量内存，在内存使用和 I/O 操作之间合理分配资源，提升整体处理效率。
mmap：减少数据在内核空间和用户空间的拷贝，直接通过内存地址操作文件，加快读写速度。- 异步 I/O：在 I/O 操作等待时，释放 CPU 资源用于其他任务，提升程序整体的资源利用率和执行效率。
