面试题：Python遍历列表异常处理的性能优化与设计

Question

假设有一个非常大的列表（百万级元素），在遍历该列表时，需要对每个元素执行一个可能会引发多种不同类型异常（如内存溢出、网络请求超时等不同性质的异常）的复杂操作。请设计一个高效的异常处理方案，不仅要能够处理各类异常，还要尽量减少异常处理对性能的影响，同时要考虑如何在异常发生后继续高效地处理剩余的列表元素。请详细阐述设计思路并给出关键代码示例。

Answer 1

设计思路

1. 异常分类处理：将不同类型的异常进行分类，针对不同类型的异常采用不同的处理策略。例如，对于内存溢出这类严重且难以在当前上下文恢复的异常，可以记录日志并终止部分相关操作；对于网络请求超时这类可恢复的异常，可以尝试重试。
2. 减少性能影响：尽量避免在循环内部进行复杂的异常处理逻辑。可以将异常处理逻辑封装在单独的函数中，这样在循环内部只进行简单的调用，减少额外开销。同时，对于可能频繁出现的异常，如网络请求超时，可以设置合理的重试次数和时间间隔，避免过度重试导致性能下降。
3. 继续处理剩余元素：在捕获并处理异常后，使用continue语句跳过当前异常元素，继续处理列表中的下一个元素。

关键代码示例（以Python为例）

import time

def complex_operation(element):
    # 模拟复杂操作，这里简单抛出异常
    if element % 3 == 0:
        raise MemoryError("模拟内存溢出异常")
    elif element % 5 == 0:
        raise TimeoutError("模拟网络请求超时异常")
    return element * 2

def handle_memory_error():
    # 处理内存溢出异常的逻辑，例如记录日志
    print("捕获到内存溢出异常，记录日志并终止相关操作")

def handle_timeout_error(retries=3, delay=1):
    # 处理网络请求超时异常的逻辑，例如重试
    for attempt in range(retries):
        try:
            return complex_operation(element)
        except TimeoutError:
            if attempt < retries - 1:
                print(f"网络请求超时，重试第{attempt + 1}次，等待{delay}秒")
                time.sleep(delay)
            else:
                print("重试次数用尽，无法处理此异常")

big_list = list(range(1, 1000001))
result_list = []

for element in big_list:
    try:
        result = complex_operation(element)
        result_list.append(result)
    except MemoryError:
        handle_memory_error()
    except TimeoutError:
        result = handle_timeout_error()
        if result is not None:
            result_list.append(result)

上述代码中：

• complex_operation函数模拟了可能引发不同异常的复杂操作。
• handle_memory_error和handle_timeout_error函数分别处理内存溢出和网络请求超时异常。
• 在主循环中，捕获异常并调用相应的处理函数，确保在异常发生后继续处理列表中的下一个元素。