logstash 采集nginx日志到 mysql

原创

mob649e8162c013 2024-05-01 04:23:14 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8162c013的原创作品，请联系作者获取转载授权，否则将追究法律责任

从Nginx采集日志到MySQL的流程

步骤概述

journey
    title Nginx日志采集到MySQL流程
    section 准备工作
        开发者 -> 安装Logstash: 开发者安装Logstash工具
        开发者 -> 下载MySQL JDBC驱动: 开发者下载MySQL JDBC驱动
    section 配置Logstash
        开发者 -> 创建Logstash配置文件: 开发者创建Logstash配置文件，指定输入、过滤和输出
        开发者 -> 启动Logstash: 开发者启动Logstash服务
    section 配置Nginx
        开发者 -> 配置Nginx日志格式: 开发者配置Nginx的日志格式，以便Logstash能够解析
        开发者 -> 重启Nginx: 开发者重启Nginx服务
    section 检查数据
        开发者 -> 检查MySQL中的数据: 开发者检查MySQL数据库中是否成功导入日志数据

详细步骤

准备工作

安装Logstash

在命令行中执行以下代码安装Logstash：

sudo apt-get install logstash

下载MySQL JDBC驱动

前往MySQL官网下载MySQL JDBC驱动，将下载后的JAR包放置在Logstash的插件目录下。

配置Logstash

创建Logstash配置文件

创建一个名为nginx_mysql.conf的配置文件，并添加以下内容：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  jdbc {
    jdbc_connection_string => "jdbc:mysql://localhost:3306/your_database"
    jdbc_user => "your_username"
    jdbc_password => "your_password"
    jdbc_driver_library => "/path/to/mysql-connector-java.jar"
    statement => "INSERT INTO nginx_logs (column1, column2, ...) VALUES (?, ?, ...)"
  }
}

启动Logstash

在命令行中执行以下代码启动Logstash：

sudo /usr/share/logstash/bin/logstash -f nginx_mysql.conf

配置Nginx

配置Nginx日志格式

编辑Nginx的配置文件，指定日志格式为combined，如下所示：

log_format combined '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';