使用Graylog分布式日志收集

精选原创

周先生001 2024-09-12 11:50:49 ©著作权

文章标签 Elastic 数据 elasticsearch 文章分类 架构后端开发

©著作权归作者所有：来自51CTO博客作者周先生001的原创作品，请联系作者获取转载授权，否则将追究法律责任

Graylog 是一个开源的日志管理和分析平台，允许你集中收集、存储和分析日志数据。为了实现分布式日志收集，你需要将 Graylog 部署在多个节点上，并设置适当的配置以处理来自不同来源的日志数据。下面是如何实现 Graylog 的分布式日志收集的步骤：

1. 环境准备

必备软件

Graylog：日志管理和分析平台
Elasticsearch：用于存储和索引日志数据
MongoDB：用于存储 Graylog 配置信息
Java：Graylog 和 Elasticsearch 都需要 Java 环境

2. 安装和配置

1. 安装 Elasticsearch 和 MongoDB

Graylog 需要 Elasticsearch 来存储日志数据和 MongoDB 来存储配置数据。你可以按照官方文档来安装这些服务：

Elasticsearch: Elasticsearch 安装指南
MongoDB: MongoDB 安装指南

2. 安装 Graylog

Graylog 可以通过下载二进制包或使用 Docker 来安装。以下是通过二进制包安装的步骤：

下载 Graylog 的二进制包并解压缩：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.0-linux-x86_64.tar.gz

解压和安装 Graylog：

wget https://packages.graylog2.org/releases/graylog2-server/graylog-4.3.1.tgz
tar -xzf graylog-4.3.1.tgz

编辑 Graylog 配置文件 graylog.conf，设置 Elasticsearch 和 MongoDB 的连接：

# Elasticsearch
elasticsearch_hosts = http://localhost:9200

# MongoDB
mongodb_uri = mongodb://localhost:27017/graylog

3. 配置 Graylog 集群

Graylog 支持分布式部署，你可以在不同的节点上部署多个 Graylog 实例，并将它们连接到同一个 Elasticsearch 集群。

在所有 Graylog 节点上，确保 graylog.conf 配置文件中的 elasticsearch_hosts 和 mongodb_uri 是相同的，指向同一个 Elasticsearch 集群和 MongoDB 实例。
配置 Graylog 的集群设置：

# Cluster settings
node_id_file = /var/opt/graylog/server/node-id
transport_email_enabled = true
transport_email_hostname = smtp.example.com
transport_email_port = 25

3. 设置日志收集

1. 配置输入

在 Graylog Web 界面中，配置日志输入源。Graylog 支持多种输入方式，包括 Syslog、GELF、Beats、Kafka 等。你可以根据需要配置适当的输入：

登录 Graylog Web 界面。
转到 System/Inputs。
选择适当的输入类型（例如 Syslog TCP/UDP、GELF HTTP）。
配置输入参数并启动。

2. 配置日志发送

在日志源服务器上配置日志发送工具（如 Filebeat、Logstash、Syslog），将日志数据发送到 Graylog 的输入端口。

Filebeat 示例配置：

filebeat.inputs:
  - type: log
    paths:
      - /var/log/*.log

output.logstash:
  hosts: ["graylog-server-ip:5044"]

Logstash 示例配置：

input {
  file {
    path => "/var/log/*.log"
    start_position => "beginning"
  }
}

output {
  gelf {
    host => "graylog-server-ip"
    port => 12201
  }
}