ELK集群搭建3台服务器

ElasticSearch集群搭建

• ①. ElasticSearch集群搭建介绍

• 1. 集群(cluster)
• 2.节点(node)
• 3. 分片和复制(shards & replicas)
• 4. 集群架构图

• ②. 搭建集群操作

• 1. 将原有ElasticSearch安装包复制三份
• 2. 修改ES启动占的内存空间
• 3. 分别修改三个文件夹中config目录中elasticsearch.yml文件
• 4. 启动三个Elasticsearch服务
• 5. 查看节点状态
• 6. 查看集群健康

• ③. 安装head插件

• 1. 下载head插件和NodeJS环境
• 2. 上传到Linux服务器上
• 3. 解压elasticsearch-head.zip
• 5. 解压缩nodejs
• 6. 配置环境变量
• 7. 进入elasticsearch-head的目录
• 8. 编写elastsearch.yml配置文件开启head插件的访问
• 9. 启动访问head插件 默认端口9100

ElasticSearch集群搭建

①. ElasticSearch集群搭建介绍

1. 集群(cluster)

• 一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识，这个名字默认就是elasticsearch。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。集群解决单节点压力问题 /并发压力/物理资源上限压力，增强数据冗余备份能力。

2.节点(node)

• 一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
• 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
• 在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点， 这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

3. 分片和复制(shards & replicas)

• 一个索引可以存储超出单个结点硬件限制的大量数据。Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置 到集群中的任何节点上。
• 允许你水平分割/扩展你的内容容量允许你在分片(潜在地，位于多个节点上)之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的。
• 在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因 消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分 片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，主要有两方面的原因:
• 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要 (original/primary)分片置于同一节点上是非常重要的。 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
• 总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个 索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。
• 默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝)，这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。

4. 集群架构图

②. 搭建集群操作

我这电脑条件不够，三台机器在同一台电脑上搭建

1. 将原有ElasticSearch安装包复制三份

先删除原始数据，否则启动es服务报错

cp -r elasticsearch-6.8.0/ node1/
    	cp -r elasticsearch-6.2.4/ node2/
    	cp -r elasticsearch-6.2.4/ node3/

2. 修改ES启动占的内存空间

vim node1/config/jvm.options  
    	vim node2/config/jvm.options
    	vim node3/config/jvm.options
    	#分别加入: -Xms300m -Xmx300m

3. 分别修改三个文件夹中config目录中elasticsearch.yml文件

每一台ES的配置都是不一样的，配置的时候要注意

vim node1/config/elasticsearch.yml
    	vim node2/config/elasticsearch.yml
    	vim noed3/config/elasticsearch.yml

#分别修改如下配置:
    		cluster.name: es                         #集群名称(集群名称必须一致)
    		node.name: ndoe1/node2/node3             #节点名称(节点名称不能一致)
    		network.host: 0.0.0.0                     #监听地址(必须开启远程权限,并关闭防火墙)
    		http.port: 9201/9202/9203                 #监听端口(在一台机器时服务端口不能一致)
    		discovery.zen.ping.unicast.hosts: ["172.30.2.175:9301", "172.30.2.201:9302"] #另外两个节点的ip
    		gateway.recover_after_nodes: 3            #集群可做master的最小节点数
    		transport.tcp.port: 9300				  #集群TCP端口(在一台机器搭建必须修改)  9301 9302 9303

4. 启动三个Elasticsearch服务

./node1/bin/elasticsearch
    	./node2/bin/elasticsearch
    	./node3/bin/elasticsearch

5. 查看节点状态

> http://192.168.153.124:9201
> http://192.168.153.124:9202
> http://192.168.153.124:9203

6. 查看集群健康

http://192.168.153.124:9201/_cat/health?v

③. 安装head插件

1. 下载head插件和NodeJS环境

放一个百度网盘下载链接

链接：https://pan.baidu.com/s/1rbdKT55nnKQ32yOyN1wIQQ 
提取码：kryp 
复制这段内容后打开百度网盘手机App，操作更方便哦

2. 上传到Linux服务器上

3. 解压elasticsearch-head.zip

5. 解压缩nodejs

xz -d node-v12.13.1-linux-arm64.tar.xz
    	tar -xvf node-v12.13.1-linux-arm64.tar

6. 配置环境变量

// 修改名称 并且移动到usr目录下
    	mv node-v12.13.1-linux-arm64 nodejs
    	mv nodejs /usr/nodejs

配置NodeJS环境

//修改配置环境
    	vim /etc/profile
    	source /etc/profile

//配置Nodejs位置
  		export NODE_HOME=/usr/nodejs
    	export PATH=$PATH:$JAVA_HOME/bin:$NODE_HOME/bin

查看NodeJS版本

7. 进入elasticsearch-head的目录

npm config set registry https://registry.npm.taobao.org
    	npm install
    	npm run start

8. 编写elastsearch.yml配置文件开启head插件的访问

开启跨域配置

http.cors.enabled: true
    	http.cors.allow-origin: "*"

9. 启动访问head插件 默认端口9100

http://192.168.153.124:9100 查看集群状态

创建索引进行测试分片

加粗的正方形是主分片，这个很容易看出来，副本分片和主分片不可能在同一台机器上

测试宕机后分片情况

宕机的机器恢复到正常分片的情况