面试题：Python字典键遍历的深度优化与内存管理

Question

在一个内存受限的Python应用场景中，有一个超大的字典 `mega_dict`，其键值对数量超过千万，并且键是复杂的自定义对象。现在需要对这些键进行遍历，并对每个键执行一个复杂的计算操作（假设为 `complex_operation(key)`）。请设计一个解决方案，不仅要保证遍历的高效性，还要尽量减少内存的使用，避免内存溢出问题。详细说明你的设计思路，包括如何选择遍历方式、如何管理内存以及可能涉及到的Python特性或模块。最后写出完整的代码示例。

Answer 1

设计思路

1. 遍历方式选择：由于字典的键值对数量巨大，直接将所有键加载到内存中进行遍历可能导致内存溢出。因此，使用迭代器来逐个获取键，避免一次性将所有键存储在内存中。Python的字典本身支持迭代器协议，通过 iter(mega_dict.keys()) 可以获取键的迭代器。
2. 内存管理：在执行复杂计算操作 complex_operation(key) 时，确保该操作不会产生大量的中间数据导致内存飙升。如果 complex_operation 会生成大量临时数据，可以考虑优化该函数，或者在操作完成后及时释放不再使用的内存（例如，手动将变量设置为 None 以触发垃圾回收）。
3. Python特性或模块：使用生成器来惰性生成数据，减少内存占用。生成器在需要时才生成数据，而不是一次性生成所有数据并存储在内存中。

代码示例

class ComplexObject:
    def __init__(self, value):
        self.value = value


def complex_operation(key):
    # 模拟复杂计算操作
    return key.value * 2


mega_dict = {ComplexObject(i): i for i in range(10000000)}

# 使用迭代器遍历字典的键
key_iterator = iter(mega_dict.keys())
while True:
    try:
        key = next(key_iterator)
        result = complex_operation(key)
        print(f"Key: {key.value}, Result: {result}")
    except StopIteration:
        break