logstash mysql slow log json

原创

mob649e81593bda 2024-07-28 04:21:43 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e81593bda的原创作品，请联系作者获取转载授权，否则将追究法律责任

Logstash MySQL Slow Log JSON 处理

在处理数据库性能问题时，分析慢查询日志是一种非常有效的方法。MySQL 提供了慢查询日志功能，记录执行时间超过指定阈值的查询。但是，这些日志通常以文本格式存储，对于自动化分析和处理来说并不方便。幸运的是，我们可以使用 Logstash 来处理这些日志，并将其转换为 JSON 格式，以便于后续的分析和处理。

Logstash 简介

Logstash 是一个开源的数据处理管道，可以同时从多个来源采集数据，对数据进行处理（例如过滤和转换），然后将数据发送到您指定的目标（如 Elasticsearch、文件等）。Logstash 支持插件扩展，可以方便地处理各种数据格式。

配置 Logstash 处理 MySQL Slow Log

首先，我们需要安装 Logstash，并确保它能够与 MySQL 数据库进行交互。以下是 Logstash 处理 MySQL 慢查询日志并输出为 JSON 格式的配置示例：

input {
  file {
    path => "/path/to/mysql/slow-query.log"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => json
  }
}

filter {
  grok {
    match => { "message" => "%{MYSQLSLOWLOG}" }
  }
  date {
    match => [ "timestamp" , "UNIX" ]
    target => "@timestamp"
  }
  mutate {
    remove_field => [ "timestamp" ]
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"] # Elasticsearch 地址
    index => "mysql_slow_log-%{+YYYY.MM.dd}" # 索引名称
    # 用户名和密码（如果需要）
    # user => "elastic"
    # password => "changeme"
  }
}

代码解释

输入（input）：我们使用 file 输入插件来读取 MySQL 慢查询日志文件。
**过滤器（filter）**：
- grok：使用 grok 插件来解析日志中的文本，并将其转换为结构化数据。
- date：将解析出的 Unix 时间戳转换为标准的日期格式。
- mutate：移除不必要的字段。
输出（output）：将处理后的数据发送到 Elasticsearch。这里我们使用 elasticsearch 输出插件，并指定索引名称。

处理 MySQL Slow Log 的 JSON 结构

在 Logstash 处理后，MySQL 慢查询日志将被转换为 JSON 格式。以下是处理后的 JSON 示例：

{
  "@timestamp": "2023-03-01T12:34:56Z",
  "log": {
    "level": "info",
    "message": "/usr/sbin/mysqld, Version: 8.0.23 (MySQL Community Server - GPL). started with:\nTcp port: 3306  Unix socket: /var/run/mysqld/mysqld.sock\nTime                 Id Command    Argument\n# Time: 2023-03-01T12:34:56.000000Z\n# User@Host: root[root] @ localhost []  Id:     1\n# Query_time: 0.000123  Lock_time: 0.000000  Rows_sent: 0  Rows_examined: 0  SET autocommit=0;\nSET timestamp=1646106896;\nSELECT * FROM information_schema.tables WHERE table_schema = 'test';"
  },
  "mysqlslowlog": {
    "thread_id": "1",
    "user_host": "root[root] @ localhost []",
    "query_time": "0.000123",
    "lock_time": "0.000000",
    "rows_sent": "0",
    "rows_examined": "0",
    "query": "SELECT * FROM information_schema.tables WHERE table_schema = 'test';"
  }
}