elk集群机构 elk集群方案

转载

mob6454cc7c0428 2024-04-30 12:24:55

文章标签 elk集群机构 docker 可视化 elasticsearch elastic 文章分类 运维

引言

上篇已经分享了我的ELK集群架构设计思路，从该篇起我们就进入实战环节。因为ELK中的应用大多数都是依赖elasticsearch的，所以我们搭建ELK集群的步骤就先从ES集群开始。ES是一个高可用的搜索引擎，我们搭建的ES集群通过分片副本同步方式保证了我们数据的存储安全性，同时也保证了我们数据的快速检索能力。我们的ES集群采用一个主节点，俩个数据节点的方式搭建，版本采用比较新的V7.11.1版本。

正文

docker-compose方式创建es集群

这里我们通过docker-compose方式创建es集群，关于docker-compose安装过程我在这里就不在详细介绍了，有不懂的朋友可以参考我的博客docker环境下docker-compose安装高可用redis集群详解（一主二从三哨兵），里面有关于docker-compose的详细安装过程，可以作为参考。
拉取镜像
命令：docker pull elasticsearch:7.11.1
特别提醒：因为作者已经提前下载好了镜像，再次拉取时就不会重新下载了。镜像下载时间的过程比较久，我们可以提前下载好我们所需要的全部软件镜像。
修改linux文件句柄数：因为es集群默认的进程句柄数需要至少为262144个，系统默认的是65535，这里将默认的进程句柄数调大到262144个，以便可以正产启动es集群。
命令：
echo vm.max_map_count=262144 >> /etc/sysctl.conf
sysctl -p
docker-compose启动文件es-cluster.yml配置内容如下：

version: '2.2'
services:
  #服务名称
  es01:
    #镜像名称
    image: elasticsearch:7.11.1
    #容器名称
    container_name: elk-cluster-es-master
    privileged: true
    #环境变量设置
    environment:
      #节点名称
      - node.name=es01
      #是否启用主节点
      - node.master=true
      #集群名称
      - cluster.name=elk-cluster-es
      #其它节点
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      #加入跨域配置
      - http.cors.enabled=true
      - http.cors.allow-origin=*
      #java堆内存大小设置
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      #开启读写权限
      - "TAKE_FILE_OWNERSHIP=true"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    #数据卷映射
    volumes:
      - /elk/es/master/data:/usr/share/elasticsearch/data
      - /elk/es/master/logs:/usr/share/elasticsearch/logs
    #端口映射
    ports:
      - 9200:9200
    #网络配置
    networks:
      - elastic
  es02:
    image: elasticsearch:7.11.1
    container_name: elk-cluster-es-slave-01
    privileged: true
    environment:
      - node.name=es02
      - cluster.name=elk-cluster-es
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      #加入跨域配置
      - http.cors.enabled=true
      - http.cors.allow-origin=*
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - "TAKE_FILE_OWNERSHIP=true"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /elk/es/slave01/data:/usr/share/elasticsearch/data
      - /elk/es/slave01/logs:/usr/share/elasticsearch/logs
    networks:
      - elastic
  es03:
    image: elasticsearch:7.11.1
    container_name: elk-cluster-es-slave-02
    privileged: true
    environment:
      - node.name=es03
      - cluster.name=elk-cluster-es
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      #加入跨域配置
      - http.cors.enabled=true
      - http.cors.allow-origin=*
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - "TAKE_FILE_OWNERSHIP=true"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /elk/es/slave02/data:/usr/share/elasticsearch/data
      - /elk/es/slave02/logs:/usr/share/elasticsearch/logs
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

• 创建一个docker-compose的es集群启动文件es-cluster.yml,将以上配置内容通过vi写入yml文件中，并通过以下命令启动es集群
命令：docker-compose  -f  /es-cluster.yml up -d

验证节点是否可以访问，到这里我们的ES集群就安装好了

安装es-head可视化插件管理ES集群

拉取镜像
命令：docker pull mobz/elasticsearch-head:5
启动es-head
命令：docker run -d --name elk-cluster-es-head -p 9100:9100 mobz/elasticsearch-head:5
访问验证
到这里我们es集群管理工具es-head就安装成功了，后续我们可以通过es-head进行es集群的一些操作，这里不再详述。如果是google浏览器，该步骤我们也可以跳过，google浏览器有现成的es-head插件，我们可以直接安装使用。