本篇博客主要是为了搭建ELKB的运行环境 旨在对线上多台服务器的日志进行获取分析 解决日常运行查看中的痛点
前置准备:
1.安装jdk环境--java -version
2.下载相关的压缩包或者获取对应的rpm文件 本文采取前者
官网tar下载路径:Elasticsearch:官方分布式搜索和分析引擎 | Elastic
https://www.elastic.co/cn/elasticsearch/3.机器须大于4G内存 否则相关实例运行会报错
4.本文所有安装包均通过xftp上传至对应目录(chmod 777 对应文件夹)
/usr/local/elasticsearch
/usr/local/kibana
/usr/local/logstash
/usr/local/filebeat
5.创建对应非root用户(es强制不能使用root用户启动) add user esuser ;add pass
安装Elasticsearch
1.解压缩--修改相关配置文件--修改elasticsearch.yml文件
1.解压缩--tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz
2.预先配置相关系统文件 避免后续报错
修改配置sysctl.conf文件,解决内存限制--vim /etc/sysctl.conf 修改vm.max_map_count=262144
执行 sysctl -p --解决报错max virtual memory areas vm.max_map_count [65530] is too low,increase to at least [262144]
----------------------------------------------
修改配置limits.conf 解决启动过程中文件描述不够的问题--vim /etc/security/limits.conf
(nofile设置打开的文件描述符的最大数目 nproc- 过程的最大数目)
文件最末尾加入以下四行
elasticsearch soft nofile 65536
elasticsearch hard nofile 65536
elasticsearch soft nproc 4096
elasticsearch hard nproc 4096
2.修改配置文件elasearch.yml配置文件
#集群名称
cluster.name: my-es#节点名称
node.name: node-1#data数据路径
path.data: /usr/local/elasticsearch/data#存放日志路径
path.logs: /usr/local/elasticsearch/logs#允许其他ip访问
network.host: 0.0.0.0 #请求端口
http.port: 9200#配置禁用kibana安全选项提示
xpack.security.enabled: false
3.启动成功 访问curl http://localhost:9200(注:部分买的第三方服务器的同学 需在服务器控制台打开对应端口权限映射才能ip访问)
进入bin目录---./elasticsearch -d(后台启动 可选可不选)
安装Kibana
1.解压缩--修改相关配置文件
1.解压缩--tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz
2.修改kibana配置文件
# 访问默认端口号
server.port: 5601# 允许其他ip访问
server.host: "0.0.0.0"# 设置访问elasticsearch的地址路径
elasticsearch.hosts: ["http://你的es安装机器的ip:9200"]#kibana展示界面语言 默认为en 中文课改为"zh-CN"
#i18n.locale: "en"
3.进入bin文件夹启动--./kibana
4.访问--http://localhost:5601--弹出如下界面算成功
5.使用--大家可以导入里面自带的相关测试数据 进行相关测试命令的学习(try data)
安装filebeat
1.解压缩----tar -zxvf filebeat-7.15.2-linux-x86_64.tar.gz
2.修改配置文件如下--正常配置输出目录为es机器地址即可(filebeat一般配置在目标服务器,针对某一目录下的日志文件做监控 有改变则发送请求至es做分析处理)
-- 设置输入目录为目标目录 enable设置为开启监听
-- 设置输出目录为es机器 跨机器则需要输入ip地址
3.启动-- 这次没有bin目录 直接在yml配置文件同级目录启动./filebeat
4.如果配置成功elasticsearch kibana filebeat后 确保文件有输入的情况下 可以登陆kibana查看对应的监控日志---一般日志未命名时 会采用filebeat-7.15.日期的前缀命名
5.查看kibana日志文件--此处为未做词项分析 为原数据(初始数据)
6.正常情况 我们会对文件做索引分析 不会在此处查看日志文件 后续会对监控日志做索引处理 从而将text数据解析为词项 利用倒排索引原理进行查询