ubuntu docker快速搭建ELK

原创

mob64ca12e5502a 2024-09-01 04:49:44 ©著作权

文章标签 Elastic 数据 docker 文章分类 Docker 云计算

©著作权归作者所有：来自51CTO博客作者mob64ca12e5502a的原创作品，请联系作者获取转载授权，否则将追究法律责任

Ubuntu Docker快速搭建ELK

ELK是Elasticsearch、Logstash和Kibana的缩写，是一个强大的开源日志管理和分析平台。在本篇文章中，我们将使用Docker在Ubuntu上快速搭建ELK stack。通过这一过程，你可以轻松收集、存储和可视化日志数据。

1. 准备工作

首先，你需要确保你的Ubuntu系统已安装Docker和Docker Compose。如果还未安装，请先执行以下命令：

sudo apt update
sudo apt install -y docker.io docker-compose

安装完成后，确保Docker服务已启动：

sudo systemctl start docker
sudo systemctl enable docker

2. 创建项目文件结构

接下来，我们需要创建一个项目目录，并在其中创建Docker Compose配置文件。我们将创建如下目录结构：

elk-docker/
├── docker-compose.yml

在项目根目录下，创建docker-compose.yml文件：

version: '3.7'

services:
  elasticsearch:
    image: elasticsearch:7.10.1
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
    volumes:
      - esdata:/usr/share/elasticsearch/data
    ports:
      - "9200:9200"

  logstash:
    image: logstash:7.10.1
    container_name: logstash
    ports:
      - "5044:5044"
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch

  kibana:
    image: kibana:7.10.1
    container_name: kibana
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

volumes:
  esdata:

这个docker-compose.yml文件定义了三个服务：Elasticsearch、Logstash和Kibana。Elasticsearch将作为数据存储，Logstash用于数据收集和处理，Kibana用于可视化。

3. 配置Logstash

我们需要创建Logstash的配置文件。请在项目目录中创建名为logstash.conf的文件，并添加以下内容：

input {
  beats {
    port => 5044
  }
}

filter {
  # 可以根据需要添加过滤器
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

这个配置文件指定了Logstash如何接收和处理日志数据。

4. 启动ELK Stack

完成配置后，使用如下命令启动ELK stack：

docker-compose up -d

通过访问http://localhost:5601可以打开Kibana界面，这是你进行数据可视化和分析的地方。

5. 数据收集与可视化

接下来，我们需要向Logstash发送一些日志数据。你可以使用Filebeat等工具进行实时数据发送，亦或使用curl命令发送示例数据：

curl -XPOST 'http://localhost:5044/_bulk' -H 'Content-Type: application/json' -d '
{"index":{}}
{"message": "Hello, Elasticsearch!"}
'

这条命令将一条日志信息发送到Logstash，并最终存储在Elasticsearch中。你可以在Kibana的“Discover”页面查看存储的日志数据。

6. 数据关系图

为了更好地理解ELK之间的关系，我们此时可以使用Mermaid语法生成ER图：

erDiagram
    Elasticsearch {
        string id PK
        string data
    }
    Logstash {
        string id PK
        string inputData
    }
    Kibana {
        string id PK
        string visualization
    }

    Logstash ||--o| Elasticsearch : "stores"
    Kibana ||--o| Elasticsearch : "visualizes"

以上ER图展示了ELK stack各个组件之间的关系：Logstash将处理后的数据存储至Elasticsearch，而Kibana则从Elasticsearch检索数据进行可视化。

7. 数据展示

下面展示了ELK收集到的数据的比例，可以用Mermaid图来表示：

pie
    title ELK数据分布
    "Logs from Web Server": 30
    "Logs from Database": 25
    "Application Logs": 20
    "System Logs": 15
    "Other Logs": 10

此饼图表示从不同来源收集的日志数据的比例。