面试题：Python大文件读取性能优化策略

Question

假设你需要读取一个非常大的文本文件（例如几个GB），为了避免内存溢出并提高读取性能，你会采用什么方法？请用代码示例说明，同时解释每一步的作用以及为何能优化性能。

Answer 1

方法

使用逐行读取的方式，而不是一次性将整个文件读入内存。

Python代码示例

with open('large_file.txt', 'r', encoding='utf-8') as file:
    for line in file:
        # 在这里处理每一行数据，例如分析、统计等操作
        print(line.strip())

代码解释

1. with open('large_file.txt', 'r', encoding='utf-8') as file:：使用 with 语句打开文件，这样在文件使用完毕后会自动关闭文件，防止资源泄漏。'r' 表示以只读模式打开文件，encoding='utf-8' 确保以UTF-8编码读取文件，适用于大多数文本文件。
2. for line in file:：通过迭代文件对象，每次迭代获取文件的一行内容。这种方式不会将整个文件一次性加载到内存中，而是逐行读取，大大减少了内存的使用，避免内存溢出。
3. print(line.strip())：这里以简单的打印为例，对每一行数据进行处理。strip() 方法用于去除每一行开头和结尾的空白字符（如换行符、空格等）。

性能优化原因

1. 内存优化：逐行读取避免了一次性将几GB的文件内容全部读入内存，显著降低了内存占用，有效防止内存溢出。
2. 提高性能：由于内存占用少，操作系统不需要频繁进行内存交换，使得读取操作更加流畅，提升了整体性能。同时，对于只需要处理文件部分内容的情况，逐行读取可以在满足条件后及时停止读取，进一步提高效率。