ELK安装部署

原创

小旭爱吃鱼 2023-04-27 15:57:59 ©著作权

文章标签 elasticsearch vim Elastic 文章分类 运维

©著作权归作者所有：来自51CTO博客作者小旭爱吃鱼的原创作品，请联系作者获取转载授权，否则将追究法律责任

什么是ELKstack

通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack的主要优点有如下几个：

1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
2.配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
3.检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
4.集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
5.前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

什么是elasticsearch

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

什么是Logstash

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

什么是Kibana

主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

部署elasticsearch

环境

主机名	ip	角色
elk01	10.0.0.81	elasticsearch	elasticsearch-5.3.0.rpm
elk02	10.0.0.82	elasticsearch	elasticsearch-5.3.0.rpm

# #######安装es
# 先两台机器安装java
yum install -y java

# 更换ES官方源
vim /etc/yum.repos.d/es.repo

[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

# 安装es
yum install -y elasticsearch

# 修改es的配置文件
vim /etc/elasticsearch/elasticsearch.yml

#设置集群名称（想要其他节点加入同一个集群必须集群名称相同）
17 cluster.name: elkstack
#节点名称（通过此配置项来区分集群中的所有节点）
23 node.name: es01
#elasticsearch数据存放目录
33 path.data: /data/es/data
#elasticsearch日志存放目录
37 path.logs: /data/es/log
#内存锁设置（在CentOS7中支持内存锁并且要修改启动脚本）
43 bootstrap.memory_lock: true
#elasticsearch监听地址
55 network.host: 0.0.0.0
#elasticsearch服务端口
59 http.port: 9200
#配置所有集群节点IP
68 discovery.zen.ping.unicast.hosts: ["10.0.0.81", "10.0.0.82"]

# 查看生效的配置
grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: elkstack
node.name: es01
path.data: /data/es/data
path.logs: /data/es/log
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.0.81", "10.0.0.82"]

vim /usr/lib/systemd/system/elasticsearch.service
#修改内存限制（去掉此行注释）
LimitMEMLOCK=infinity

# 创建日志和数据目录
mkdir -p /data/es/{data,log}
tree /data/
/data/
└── es
├── data
└── log
# 授权
chown elasticsearch.elasticsearch /data/ -R

# 优化文件描述符，这是内存锁的
vim /etc/security/limits.conf
* soft memlock unlimited
* hard memlock unlimited
* soft nofile 131072
* hard nofile 131072

# 设置JVM最大最小内存限制
vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g

# 启动
systemctl start elasticsearch.service

# 如果服务没有启动就修改 内存所true改为false
vim /etc/elasticsearch/elasticsearch.yml
bootstrap.memory_lock: true ---> false

# 检查端口9200
netstat -lntup | grep 9200
tcp6 0 0 :::9200 :::*
LISTEN 17839/java

# 浏览器访问
10.0.0.81:9200

# 拷贝至elk02
scp /etc/elasticsearch/elasticsearch.yml root@10.0.0.82:/etc/elasticsearch/

# grep -Ev '^$|#' /etc/elasticsearch/elasticsearch.yml
cluster.name: elkstack
node.name: es02
path.data: /data/es/data
path.logs: /data/es/log
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.0.81", "10.0.0.82"]

# 创建数据和日志存放目录
mkdir -p /data/es/{data,log}
# 授权
chown elasticsearch.elasticsearch /data/ -R

# 拷贝优化文件描述符文件
scp /etc/security/limits.conf root@10.0.0.82:/etc/security/

# 拷贝jvm优化文件
scp /etc/elasticsearch/jvm.options root@10.0.0.82:/etc/elasticsearch/
 
# 启动服务
systemctl start elasticsearch.service
# 检测端口
netstat -lntup | grep 9200
# 浏览器访问
10.0.0.82:9200

安装es的head插件

插件是为了完成不同的功能，官方提供了一些插件但大部分是收费的，另外也有一些开发爱好者提供的插件，可以实现对elasticsearch集群的状态监控与管理配置等功能，我们现在要安装的是Elasticsearch的head插件，此插件提供elasticsearch的web界面功能。

安装Elasticsearch的head插件时，要安装npm，npm的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，它很方便让JavaScript开发者下载、安装、上传以及管理已经安装的包。

在Elasticsearch 5.x版本以后不再支持直接安装head插件，而是需要通过启动一个服务方式。 Github地址：https://github.com/mobz/elasticsearch-head

####准备一台db01
# 安装npm（只需要在一个节点安装即可，如果前端还有nginx做反向代理可以每个节点都装）
yum install -y npm

# 安装git命令
yum install -y git

# 下载head插件
git clone git://github.com/mobz/elasticsearch-head.git

# 下载nodejs
wget https://nodejs.org/dist/v16.13.0/node-v16.13.0-linuxx64.tar.xz

# 解压node
tar xf node-v16.13.0-linux-x64.tar.xz
mkdir /app
mv node-v16.13.0-linux-x64 /app/

# 做软连接
ln -s /app/node-v16.13.0-linux-x64/ /app/node

# 添加环境便利
vim /etc/profile.d/node.sh
export PATH="/app/node/bin:$PATH"

#生效环境变量
source /etc/profile

# 查看版本
npm --version
8.1.0

# 解压head插件包
unzip elasticsearch-head-master.zip

# 进入head插件目录
cd elasticsearch-head-master/

# 换源
npm config set registry=https://registry.npm.taobao.org

# 查看当前的下包镜像源
npm config get registry

# 安装换源命令
npm install -g nrm open@8.4.2 --save

# 查看可用源
nrm ls

npm ---------- https://registry.npmjs.org/
yarn --------- https://registry.yarnpkg.com/
tencent ------ https://mirrors.cloud.tencent.com/npm/
cnpm --------- https://r.cnpmjs.org/
taobao ------- https://registry.npmmirror.com/
npmMirror ---- https://skimdb.npmjs.com/registry/

# 切换taobao源
nrm use taobao

# 安装grunt
npm install grunt -save --no-fund

#报错原因缺少bzip2
#解决方法 yum install -y bzip2

# 启动head插件
cd elasticsearch-head-master/
npm run start &

[1] 8620
0 ✓ 17:35:53 root@db01,172.16.1.51:~/elasticsearch-head-master #
> elasticsearch-head@0.0.0 start
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

# 检查端口
netstat -lntup | grep 9*00

# 浏览器访问
10.0.0.51:9100

连接不上
原因是没有打开跨域访问
解决方法 vim /etc/elasticsearch/elasticsearch.yml
在最后一行下面追加
http.cors.enabled: true
http.cors.allow-origin: "*"

# 重启服务
systemctl restart elasticsearch.service

模拟提交数据