euler安装docker docker安装elk7.6

转载

码海舵手 2023-07-11 14:11:17

文章标签 euler安装docker elasticsearch docker centos java 文章分类 Docker 云计算

Elasticsearch-7.6.0集群安装

安装步骤

一、准备工作
二、开始安装
三、可能遇到的错误设置

安装步骤

一、准备工作

1、首先确保本机安装好了JAVA运行环境

vi ~/.bash_profile   或者  vi ~/.profile

export JAVA_HOME=/home/dcs_dbsas/yyliu/kafkaAZB/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export PATH=${JAVA_HOME}/bin:$PATH

注意替换上面的jdk路径
然后生效
source ~/.profile

2、确保本机已经安装好了docker环境，具体看我另一篇docker安装

二、开始安装

1、拉取镜像

docker pull elasticsearch:7.6.1

docker pull kibana:7.6.1

docker pull logstash:7.6.1

2、新建文件夹

#存放配置文件的文件夹
mkdir -p elasticsearch/node-1/config
mkdir -p elasticsearch/node-2/config
mkdir -p elasticsearch/node-3/config
#存放数据的文件夹
mkdir -p elasticsearch/node-1/data
mkdir -p elasticsearch/node-2/data
mkdir -p elasticsearch/node-3/data
#存放运行日志的文件夹
mkdir -p elasticsearch/node-1/log
mkdir -p elasticsearch/node-2/log
mkdir -p elasticsearch/node-3/log
#存放IK分词插件的文件夹
mkdir -p elasticsearch/node-1/plugins
mkdir -p elasticsearch/node-2/plugins
mkdir -p elasticsearch/node-3/plugins

递归授权
chmod 744 -R elasticsearch/

注意你可以自己任意调整自己安装文件夹的路径

3、创建配置文件
创建yaml文建,在各个config文件夹下创建elasticsearch.yml文件
touch elasticsearch.yml

注意不同节点之间的端口和node 不同需要修改

#集群名称
cluster.name: my-es
#当前该节点的名称
node.name: node-1
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置其它结点和该结点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址，设置当前物理机地址,
#如果是docker安装节点的IP将会是配置的IP而不是docker网管ip
network.publish_host: 111.231.110.177
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["111.231.110.177:9300","111.231.110.177:9301","111.231.110.177:9302"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true

4、建立网络

如果需要安装kibana等其他，需要创建一个网络，名字任意取，让他们在同一个网络，使得elasticsearch和kibana通信，网络名称可以自定义

docker network create es-net

5、安装启动

安装并启动node-1容器
docker run -e ES_JAVA_OPTS="-Xms340m -Xmx340m" --network es-net -d -p 9200:9200 -p 9300:9300 -v /root/elasticsearch/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/elasticsearch/node-1/plugins:/usr/share/elasticsearch/plugins -v /home/elasticsearch/node-1/data:/usr/share/elasticsearch/data -v /home/elasticsearch/node-1/log:/usr/share/elasticsearch/log --name es-node-1 elasticsearch:7.6.1

安装并启动node-2容器

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --network es-net -d  -p 9201:9201 -p 9301:9301  -v /root/elasticsearch/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  -v /home/elasticsearch/node-2/plugins:/usr/share/elasticsearch/plugins   -v /home/elasticsearch/node-2/data:/usr/share/elasticsearch/data -v /home/elasticsearch/node-2/log:/usr/share/elasticsearch/log --name es-node-2 elasticsearch:7.6.1

安装并启动node-3容器
docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" --network es-net -d -p 9202:9202 -p 9302:9302  -v /root/elasticsearch/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/elasticsearch/node-3/plugins:/usr/share/elasticsearch/plugins -v /home/elasticsearch/node-3/data:/usr/share/elasticsearch/data/ -v /home/elasticsearch/node-3/log:/usr/share/elasticsearch/log --name es-node-3 elasticsearch:7.6.1

6、检测集群是否的搭建成功

打开浏览器，键入访问地址与端口，并加上后缀**_cat/nodes?pretty**

http://111.231.110.177:9200/_cat/nodes?pretty

出现以下图片即表示搭建成功，带*的为master节点

6、设置Kibana挂载目录

mkdir -p /home/kibana/config

7、创建Kibana的YML文件

vim /home/kibana/config/kibana.yml

8、输入内容

#Kibana的映射端口
server.port: 5601

#网关地址
server.host: "0.0.0.0"

#Kibana实例对外展示的名称
server.name: "kibana-111.231.110.177"

#Elasticsearch的集群地址，也就是说所有的集群IP
elasticsearch.hosts: ["http://111.231.110.177:9200","http://111.231.110.177:9201","http://111.231.110.177:9202"]

#设置页面语言，中文使用zh-CN，英文使用en
i18n.locale: "zh-CN"

xpack.monitoring.ui.container.elasticsearch.enabled: true

9、启动

输入命令，指定network网络

docker run -d -p 5601:5601 -v /home/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml --network es-net  --name kibana kibana:7.6.0

10、登录验证

http://111.231.110.177:5601

11、验证是否连接集群

在控制台界面输命令，即可看到节点存活树

GET _cat/nodes?v

三、可能遇到的错误设置

1、修改/etc/security/limits.conf

文件最后 如果有将值调到如下 如果没有添加以下内容：

* soft nofile 65536

* hard nofile 131072

或者给用户配置

dcs_svcas soft nofile 65536

dcs_svcas hard nofile 131072

虚拟内存改为最大

* soft as -1

* hard as -1

2、根据报错日志可以查到 vim /etc/sysctl.conf 文件，添加以下一行

 vm.max_map_count= 262144

 sysctl –p
 3、配置宿主机的 参数，否则无法启动，会报错

vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p

4、解决root用户下无法启动es问题

将root下文件夹 拷贝到opt目录下

cp -r /root/es_single/ /opt/

创建elsearch用户组及elsearch用户：

groupadd elsearch

useradd elsearch -g elsearch

passwd elsearch

设置密码

更改elasticsearch文件夹及内部文件的所属用户及组为

elsearch:elsearch

cd /opt

chown -R elsearch:elsearch  es_single

切换到elsearch用户再启动

su elsearch 

cd /opt/es_single/elasticsearch-7.6.1/bin

./elasticsearch

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。