面试题：Bash下优化gzip和bzip2压缩性能的策略

设置合适的缓冲区大小：
- 在Bash脚本中，可以通过设置环境变量BUFSIZ来调整缓冲区大小。例如，增大缓冲区可能提高性能。默认情况下，BUFSIZ通常为4096字节。可以尝试将其增大到8192字节或更高：
```
export BUFSIZ=8192
```
- 这对于数据的读取和写入操作可能会有一定优化，特别是在处理大文件时，减少I/O操作次数。

内存分配：
- gzip：gzip通常会根据系统内存情况动态调整使用的内存量。对于大规模文本文件压缩，可以通过增加系统可用内存来提升gzip性能。如果是在Linux系统下运行在虚拟机中，可以适当增大虚拟机分配的内存。
- bzip2：bzip2默认使用的内存相对较多，因为其压缩算法更为复杂。可以通过-m参数指定最大内存使用量（以MiB为单位）。例如，若系统内存充足，允许bzip2使用2048MiB内存：
```
bzip2 -m2048 your_file.txt
```
CPU资源：
- 确保系统没有过多的其他任务占用CPU资源。对于多核系统，可以利用多核并行处理。gzip从1.6版本开始支持多线程压缩，使用-@参数指定使用的CPU核心数。例如，使用4个核心进行压缩：
```
gzip -@4 your_file.txt
```
- bzip2本身不支持多线程压缩，但可以通过pbzip2（并行版bzip2）来利用多核。安装pbzip2后，使用方法类似bzip2，例如：
```
pbzip2 -p4 your_file.txt
```

压缩级别：
- gzip有1 - 9共9个压缩级别，1为最快（压缩率最低），9为最慢（压缩率最高）。对于大规模文本文件，如果追求速度，可以选择较低的压缩级别，如3或4；如果追求更高的压缩率且时间允许，可选择较高的压缩级别，如7或8。例如，使用压缩级别4：
```
gzip -4 your_file.txt
```
其他参数：
- -f参数用于强制覆盖已存在的同名压缩文件，在自动化脚本处理大量文件时很有用。例如：
```
gzip -f your_file.txt
```

压缩级别：
- bzip2的压缩级别也是1 - 9，同样1为最快，9为最慢且压缩率最高。对于大规模文本文件，根据需求选择合适的级别。例如，使用压缩级别6：
```
bzip2 -6 your_file.txt
```
块大小：
- bzip2使用块大小（block size）参数-B，块大小可以设置为100k - 900k之间（以100k为增量）。较大的块大小通常能提供更好的压缩率，但会消耗更多内存。例如，设置块大小为600k：
```
bzip2 -B600 your_file.txt
```

文件系统优化：
- 使用适合大数据存储和处理的文件系统，如ext4（Linux系统），它在处理大文件时性能较好。可以通过重新格式化分区为ext4来优化（注意备份数据）。例如，在Linux下使用mkfs.ext4命令：
```
mkfs.ext4 /dev/sdaX  # /dev/sdaX为要格式化的分区
```
内核参数调整：
- 调整vm.swappiness参数，该参数控制系统将内存数据交换到磁盘交换空间（swap）的倾向程度，取值范围0 - 100。对于大规模文本文件处理，降低vm.swappiness可以减少不必要的磁盘I/O操作，提高性能。可以临时设置：
```
echo 10 | sudo tee /proc/sys/vm/swappiness
```
- 若要永久生效，可编辑/etc/sysctl.conf文件，添加或修改vm.swappiness = 10，然后执行sudo sysctl -p使配置生效。

知识考点