面试题：ElasticSearch集群启动日志管理中的日志切割策略

Question

请阐述在ElasticSearch集群启动日志管理中，常见的日志切割策略有哪些，并说明如何在实际环境中配置按大小和时间混合切割策略？

Answer 1

常见日志切割策略

1. 按时间切割：
   • 描述：按照预设的时间周期对日志进行切割，例如按天、按周、按月等。这种策略方便按时间范围查找和管理日志，适用于需要长期保留日志并按时间维度分析的场景。
   • 优点：日志归档清晰，便于按时间查找历史记录。
   • 缺点：如果在某个时间段内日志量非常大，单个日志文件可能变得很大，不利于查看和管理。
2. 按大小切割：
   • 描述：当日志文件达到指定的大小阈值时进行切割。这样可以避免单个日志文件过大，便于文件管理和查看。
   • 优点：防止日志文件无限增长，每个文件大小可控。
   • 缺点：可能导致在短时间内生成大量小文件，增加文件管理成本，且难以按时间维度直接查找。
3. 混合切割：结合按时间和按大小两种策略，既控制日志文件大小，又按时间周期归档，综合了两者的优点。

配置按大小和时间混合切割策略

1. 使用logrotate工具（常见于Linux系统）：
   • 安装logrotate：如果系统未安装，可使用包管理器安装，例如在CentOS上使用yum install logrotate，在Ubuntu上使用apt-get install logrotate。
   • 配置logrotate：
     • 创建配置文件：通常在/etc/logrotate.d/目录下创建一个针对ElasticSearch日志的配置文件，如elasticsearch。
     • 配置内容示例：

/var/log/elasticsearch/*.log {
    daily # 每天切割
    missingok # 如果日志文件不存在，不报错
    rotate 7 # 保留7天的日志文件
    compress # 压缩旧的日志文件
    delaycompress # 下次切割时压缩上一次切割的日志文件
    size 10M # 当文件大小达到10M时也进行切割
    notifempty # 如果日志文件为空，不进行切割
    sharedscripts # 只在所有日志文件都轮转后执行一次脚本
    postrotate
        /bin/systemctl reload elasticsearch.service
    endscript
}

- **解释**：
    - `daily`指定按天切割。
    - `size 10M`指定当文件大小达到10M时也进行切割。
    - `rotate 7`表示保留7天的日志文件，超过7天的旧日志文件会被删除。
    - `compress`和`delaycompress`用于压缩旧日志文件。
    - `postrotate`和`endscript`之间的命令在日志切割完成后执行，这里`/bin/systemctl reload elasticsearch.service`用于通知ElasticSearch服务重新加载日志配置，确保新日志写入新文件。

2. 在ElasticSearch自身配置中（如果支持）： - 修改ElasticSearch配置文件：找到elasticsearch.yml配置文件，通常位于/etc/elasticsearch/目录下。 - 配置日志切割相关参数（假设支持的情况下）：

# 示例配置，实际需根据ElasticSearch版本和实际支持情况调整
logging:
  appender:
    rolling:
      type: rolling
      file:
        path: /var/log/elasticsearch/elasticsearch.log
      rollingPolicy:
        type: composite
        policies:
          sizeBased:
            type: size
            size: 10MB
          timeBased:
            type: time
            interval: 1
            unit: days

- **解释**：上述配置示例中，设置了日志文件路径为`/var/log/elasticsearch/elasticsearch.log`，按文件大小10MB和每天的时间间隔进行混合切割。不同版本的ElasticSearch配置方式可能有所差异，需参考官方文档进行准确配置。