面试题：Bash下awk和sed在大型日志文件处理中的性能优化

Question

假设你有一个非常大的日志文件`big_log.log`，格式为'时间戳 日志级别 消息'，如'2023 - 10 - 01 12:00:00 INFO 系统正常运行'。现在要统计每种日志级别（INFO、WARN、ERROR等）出现的次数，并且要对处理过程进行性能优化，避免内存溢出等问题，使用awk和sed编写高效的Bash脚本，并阐述优化思路。

Answer 1

脚本内容

#!/bin/bash

# 使用awk逐行处理日志文件，统计每种日志级别的出现次数
awk '{count[$2]++} END {for (level in count) {print level, count[level]}}' big_log.log

优化思路

1. 逐行处理：使用awk逐行读取日志文件，而不是一次性将整个大文件读入内存，避免内存溢出。在awk中，{count[$2]++}语句在每读取一行时，会提取该行的第二个字段（日志级别）并将其对应的计数器加1 。
2. 简洁高效：整个脚本逻辑简单直接，没有复杂的中间数据结构或操作，减少了不必要的计算和内存开销。END块在文件读取完毕后遍历计数器数组，输出每种日志级别的统计结果。

注：这里没有使用sed，因为awk本身在文本统计和处理上更擅长，使用sed反而会增加复杂度，不利于性能优化。如果非要使用sed，可先通过sed进行一些预处理（如简单过滤不需要的行等，但对于此需求并不必要），但这样会增加额外的处理步骤和性能开销。