面试题：自定义Python上下文管理器优化复杂文件操作场景

Question

在一个数据处理项目中，需要频繁地对不同编码格式的文件进行读写操作（如UTF - 8、GBK等）。现要求你自定义一个上下文管理器，它不仅能处理文件的打开和关闭，还能根据传入的参数自动识别并转换文件编码。请写出完整的自定义上下文管理器类，并说明在多线程环境下使用该上下文管理器可能会遇到的问题及解决方案。

Answer 1

import codecs


class EncodingFileContextManager:
    def __init__(self, file_path, mode='r', encoding=None):
        self.file_path = file_path
        self.mode = mode
        self.encoding = encoding

    def __enter__(self):
        if self.encoding:
            self.file = codecs.open(self.file_path, self.mode, encoding=self.encoding)
        else:
            # 自动识别编码逻辑，这里简单示例为通过chardet库识别
            import chardet
            with open(self.file_path, 'rb') as f:
                raw_data = f.read()
                result = chardet.detect(raw_data)
                self.encoding = result['encoding']
            self.file = codecs.open(self.file_path, self.mode, encoding=self.encoding)
        return self.file

    def __exit__(self, exc_type, exc_val, exc_tb):
        self.file.close()

多线程环境下可能遇到的问题：

1. 资源竞争：多个线程同时访问和操作同一个文件，可能导致数据损坏或不一致。例如，一个线程正在写入文件时，另一个线程同时进行读取或写入操作。
2. 编码转换冲突：如果不同线程对同一文件进行不同编码的转换操作，可能导致编码转换出现异常或错误的结果。

解决方案：

1. 锁机制：
   • 使用 threading.Lock 来避免资源竞争。在进入上下文管理器的 __enter__ 方法时获取锁，在 __exit__ 方法中释放锁。

   import threading
   
   
   class EncodingFileContextManager:
       lock = threading.Lock()
   
       def __init__(self, file_path, mode='r', encoding=None):
           self.file_path = file_path
           self.mode = mode
           self.encoding = encoding
   
       def __enter__(self):
           EncodingFileContextManager.lock.acquire()
           if self.encoding:
               self.file = codecs.open(self.file_path, self.mode, encoding=self.encoding)
           else:
               import chardet
               with open(self.file_path, 'rb') as f:
                   raw_data = f.read()
                   result = chardet.detect(raw_data)
                   self.encoding = result['encoding']
               self.file = codecs.open(self.file_path, self.mode, encoding=self.encoding)
           return self.file
   
       def __exit__(self, exc_type, exc_val, exc_tb):
           self.file.close()
           EncodingFileContextManager.lock.release()
   
   
   

2. 线程本地存储（TLS）：
   • 对于编码转换，可以考虑使用线程本地存储来避免冲突。每个线程有自己独立的编码识别和转换逻辑，不会相互干扰。Python 中的 threading.local() 可以实现线程本地存储。

   import threading
   
   
   local_data = threading.local()
   
   
   class EncodingFileContextManager:
       lock = threading.Lock()
   
       def __init__(self, file_path, mode='r', encoding=None):
           self.file_path = file_path
           self.mode = mode
           self.encoding = encoding
   
       def __enter__(self):
           EncodingFileContextManager.lock.acquire()
           if not hasattr(local_data, 'encoding'):
               if self.encoding:
                   local_data.encoding = self.encoding
               else:
                   import chardet
                   with open(self.file_path, 'rb') as f:
                       raw_data = f.read()
                       result = chardet.detect(raw_data)
                       local_data.encoding = result['encoding']
           self.file = codecs.open(self.file_path, self.mode, encoding=local_data.encoding)
           return self.file
   
       def __exit__(self, exc_type, exc_val, exc_tb):
           self.file.close()
           EncodingFileContextManager.lock.release()