面试题：MySQL慢查询日志自动化监控基础

开启慢查询日志

修改配置文件：

在MySQL配置文件（通常是my.cnf或my.ini）中添加或修改以下配置：

[mysqld]
slow_query_log = 1 # 开启慢查询日志，1表示开启，0表示关闭
slow_query_log_file = /var/log/mysql/slow-query.log # 设置慢查询日志文件路径
long_query_time = 2 # 设置查询执行时间阈值，单位为秒，超过此时间的查询会被记录

重启MySQL服务：修改配置文件后，需要重启MySQL服务使配置生效。例如在Linux系统下，使用命令sudo systemctl restart mysql。

慢查询日志自动化监控基本流程框架

日志收集：
- 使用脚本：可以编写一个Shell脚本，例如使用tail -f命令持续监控慢查询日志文件新增内容。示例脚本如下：
```
#!/bin/bash
tail -f /var/log/mysql/slow-query.log | while read line
do
    echo $line
    # 这里可以添加处理逻辑，将日志信息发送到下一步处理程序
done
```
- 使用工具：也可以使用专业的日志收集工具如Filebeat，它可以配置为监控慢查询日志文件，并将日志数据发送到指定的存储或处理平台，如Elasticsearch。

日志解析：

自定义解析：通过编程语言（如Python）编写解析程序，根据慢查询日志的格式提取关键信息，如查询语句、执行时间、客户端IP等。例如在Python中可以使用正则表达式进行解析：

import re

log_line = "2024-01-01T12:00:00.000000Z    12345 Query    SELECT * FROM large_table WHERE condition; Time: 0.005000"
pattern = r'(\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{6}Z)\s+(\d+)\s+(Query)\s+(.*?); Time: (\d+\.\d+)'
match = re.search(pattern, log_line)
if match:
    timestamp = match.group(1)
    thread_id = match.group(2)
    query_type = match.group(3)
    query = match.group(4)
    execution_time = match.group(5)
    print(f"Timestamp: {timestamp}, Thread ID: {thread_id}, Query Type: {query_type}, Query: {query}, Execution Time: {execution_time}")

使用工具：像Logstash这样的工具可以配置解析规则，对收集到的慢查询日志进行解析，并将解析后的数据发送到存储或报警模块。

数据存储：

数据库存储：将解析后的数据存储到关系型数据库（如MySQL本身）或非关系型数据库（如InfluxDB，适合存储时间序列数据）。例如在Python中使用pymysql库将数据插入MySQL表：

import pymysql

connection = pymysql.connect(
    host='localhost',
    user='user',
    password='password',
    database='slow_query_monitoring'
)
cursor = connection.cursor()
insert_query = "INSERT INTO slow_queries (timestamp, thread_id, query_type, query, execution_time) VALUES (%s, %s, %s, %s, %s)"
data = (timestamp, thread_id, query_type, query, execution_time)
cursor.execute(insert_query, data)
connection.commit()
connection.close()

其他存储：也可以选择将数据存储在分布式文件系统（如HDFS），以便进行大规模数据分析。

报警触发：
- 设置阈值：在数据存储后，根据业务需求设置报警阈值。例如，如果平均查询执行时间超过5秒，或者某个时间段内慢查询数量超过10条，则触发报警。
- 编写报警脚本：使用编程语言（如Python）结合邮件发送库（如smtplib）编写报警脚本。示例如下：
```
import smtplib
from email.mime.text import MIMEText

sender_email = "sender@example.com"
receiver_email = "receiver@example.com"
password = "password"

msg = MIMEText('发现慢查询数量或执行时间超过阈值，请及时处理。')
msg['Subject'] = 'MySQL慢查询报警'
msg['From'] = sender_email
msg['To'] = receiver_email

server = smtplib.SMTP('smtp.example.com', 587)
server.starttls()
server.login(sender_email, password)
server.sendmail(sender_email, receiver_email, msg.as_string())
server.quit()
```
- 集成报警工具：也可以使用专业的监控报警工具如Prometheus + Grafana + Alertmanager，Prometheus用于数据抓取和阈值判断，Grafana用于可视化展示，Alertmanager用于发送报警通知（支持邮件、Slack等多种方式）。

星途面试题库

面试题：MySQL慢查询日志自动化监控基础

知识考点

面试题答案

开启慢查询日志

慢查询日志自动化监控基本流程框架