面试题：Python正则表达式性能优化之复杂场景

Question

假设你有一个Python程序，需要在海量日志文件中匹配特定模式的记录（模式形如：日期时间 - 日志级别 - 具体消息，日期时间格式为YYYY - MM - DD HH:MM:SS，日志级别如INFO、WARN、ERROR等）。现程序性能较低，你将从哪些方面对正则表达式进行优化？请结合代码示例说明。

Answer 1

1. 预编译正则表达式：
   • 预编译正则表达式可以避免每次使用时重新编译，提高效率。在Python中，可以使用re.compile()函数。
   • 示例代码：

import re

# 预编译正则表达式
pattern = re.compile(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) - (INFO|WARN|ERROR) - (.*)')

log_line = '2023 - 10 - 10 12:00:00 - INFO - This is an info log'
match = pattern.search(log_line)
if match:
    print(match.groups())

2. 减少捕获组：
   • 捕获组会增加处理开销，如果不需要提取某些部分的数据，尽量减少捕获组。例如，如果只关心日志级别和具体消息，可以这样优化。
   • 示例代码：

import re

# 减少捕获组
pattern = re.compile(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2} - (INFO|WARN|ERROR) - (.*)')

log_line = '2023 - 10 - 10 12:00:00 - INFO - This is an info log'
match = pattern.search(log_line)
if match:
    print(match.groups())

3. 使用非贪婪模式：
   • 当匹配重复字符时，默认是贪婪模式，会尽可能多地匹配。如果不需要贪婪匹配，使用非贪婪模式?。比如在匹配具体消息部分，如果消息中可能包含-字符，使用非贪婪模式可避免匹配过多。
   • 示例代码：

import re

pattern = re.compile(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) - (INFO|WARN|ERROR) - (.*?)')

log_line = '2023 - 10 - 10 12:00:00 - INFO - This is an info log - additional info'
match = pattern.search(log_line)
if match:
    print(match.groups())

4. 选择合适的量词：
   • 尽量使用精确的量词，如果能确定重复次数，使用{n}这种形式，而不是*或+，这样正则引擎可以更高效地匹配。例如，如果日期时间中的年份一定是4位数字，使用{4}。
   • 示例代码：

import re

pattern = re.compile(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) - (INFO|WARN|ERROR) - (.*)')

log_line = '2023 - 10 - 10 12:00:00 - INFO - This is an info log'
match = pattern.search(log_line)
if match:
    print(match.groups())