docker部署ELK

原创

mob649e8168f1bb 2023-07-26 23:49:56 ©著作权

文章标签 Docker 数据 elasticsearch 文章分类 Docker 云计算

©著作权归作者所有：来自51CTO博客作者mob649e8168f1bb的原创作品，请联系作者获取转载授权，否则将追究法律责任

Docker部署ELK

介绍

ELK 指的是 Elasticsearch、Logstash 和 Kibana，是一个流行的日志分析和可视化解决方案。使用 Docker 部署 ELK 可以简化设置和管理过程，并提供可靠的、一致的环境。

准备工作

在开始之前，确保你已经安装了 Docker 和 Docker Compose。

步骤

1. 创建Docker Compose文件

首先，创建一个名为 docker-compose.yml 的文件，并添加以下内容：

version: '3.7'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ports:
      - 9200:9200
  logstash:
    image: docker.elastic.co/logstash/logstash:7.10.1
    container_name: logstash
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    ports:
      - 5000:5000
  kibana:
    image: docker.elastic.co/kibana/kibana:7.10.1
    container_name: kibana
    ports:
      - 5601:5601

上述配置创建了三个服务：Elasticsearch、Logstash 和 Kibana。其中 Elasticsearch 使用官方提供的镜像，Logstash 和 Kibana 也分别使用官方提供的镜像。

2. 创建Logstash配置文件

在同一目录下创建一个名为 logstash.conf 的文件，并添加以下内容：

input {
  tcp {
    port => 5000
    codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
  }
}

上述配置文件指定了 Logstash 监听5000端口的输入，并将数据输出到 Elasticsearch。

3. 启动ELK容器

在终端中，使用以下命令启动 ELK 容器：

docker-compose up -d

这将会创建并启动 Elasticsearch、Logstash 和 Kibana 容器。

4. 测试

现在，你可以通过访问 http://localhost:5601 来访问 Kibana 控制台。在控制台中，你可以配置索引和可视化你的日志数据。

5. 发送日志数据

为了测试 ELK 部署是否正常工作，你可以使用以下代码发送一些日志数据到 Logstash：

import logging
import json
import socket

def send_log(log):
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    sock.connect(('localhost', 5000))
    sock.sendall(json.dumps(log).encode('utf-8'))
    sock.close()

# 示例日志数据
log1 = {'level': 'INFO', 'message': 'This is an info message'}
log2 = {'level': 'ERROR', 'message': 'This is an error message'}

# 发送日志数据
send_log(log1)
send_log(log2)

上述代码演示了如何使用 Python 发送日志数据到 Logstash。你可以根据实际需求修改和扩展代码。