本篇博客主要是为了搭建ELKB的运行环境 旨在对线上多台服务器的日志进行获取分析 解决日常运行查看中的痛点

         前置准备:

1.安装jdk环境--java -version

2.下载相关的压缩包或者获取对应的rpm文件  本文采取前者

   官网tar下载路径:Elasticsearch:官方分布式搜索和分析引擎 | Elastic

想跑elk电脑需要什么配置_想跑elk电脑需要什么配置

https://www.elastic.co/cn/elasticsearch/

3.机器须大于4G内存 否则相关实例运行会报错

4.本文所有安装包均通过xftp上传至对应目录(chmod 777 对应文件夹)

    /usr/local/elasticsearch

    /usr/local/kibana

    /usr/local/logstash

    /usr/local/filebeat

5.创建对应非root用户(es强制不能使用root用户启动)  add user esuser ;add pass 

安装Elasticsearch

1.解压缩--修改相关配置文件--修改elasticsearch.yml文件

1.解压缩--tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz

2.预先配置相关系统文件 避免后续报错

修改配置sysctl.conf文件,解决内存限制--vim /etc/sysctl.conf 修改vm.max_map_count=262144
  执行 sysctl -p --解决报错max virtual memory areas vm.max_map_count [65530] is too low,increase to at least [262144]
----------------------------------------------
 修改配置limits.conf 解决启动过程中文件描述不够的问题--vim /etc/security/limits.conf
(nofile设置打开的文件描述符的最大数目 nproc- 过程的最大数目)
  文件最末尾加入以下四行
   elasticsearch soft nofile 65536  
   elasticsearch hard nofile 65536
   elasticsearch soft nproc 4096
   elasticsearch hard nproc 4096

2.修改配置文件elasearch.yml配置文件

#集群名称
 cluster.name: my-es#节点名称
 node.name: node-1#data数据路径
 path.data: /usr/local/elasticsearch/data#存放日志路径
 path.logs: /usr/local/elasticsearch/logs#允许其他ip访问
 network.host: 0.0.0.0 #请求端口
 http.port: 9200#配置禁用kibana安全选项提示
 xpack.security.enabled: false

 3.启动成功 访问curl http://localhost:9200(注:部分买的第三方服务器的同学 需在服务器控制台打开对应端口权限映射才能ip访问)

 进入bin目录---./elasticsearch -d(后台启动 可选可不选)

想跑elk电脑需要什么配置_elasticsearch_02

 

想跑elk电脑需要什么配置_kibana_03

 

安装Kibana

1.解压缩--修改相关配置文件

1.解压缩--tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz

 2.修改kibana配置文件

# 访问默认端口号
 server.port: 5601# 允许其他ip访问
 server.host: "0.0.0.0"# 设置访问elasticsearch的地址路径
 elasticsearch.hosts: ["http://你的es安装机器的ip:9200"]#kibana展示界面语言 默认为en 中文课改为"zh-CN"
 #i18n.locale: "en"

 3.进入bin文件夹启动--./kibana

4.访问--http://localhost:5601--弹出如下界面算成功

想跑elk电脑需要什么配置_想跑elk电脑需要什么配置_04

 5.使用--大家可以导入里面自带的相关测试数据 进行相关测试命令的学习(try data)

想跑elk电脑需要什么配置_想跑elk电脑需要什么配置_05

 安装filebeat

1.解压缩----tar -zxvf filebeat-7.15.2-linux-x86_64.tar.gz

2.修改配置文件如下--正常配置输出目录为es机器地址即可(filebeat一般配置在目标服务器,针对某一目录下的日志文件做监控 有改变则发送请求至es做分析处理)

-- 设置输入目录为目标目录  enable设置为开启监听

想跑elk电脑需要什么配置_ELKB_06

 -- 设置输出目录为es机器   跨机器则需要输入ip地址

想跑elk电脑需要什么配置_filebeat_07

 3.启动-- 这次没有bin目录 直接在yml配置文件同级目录启动./filebeat

4.如果配置成功elasticsearch kibana filebeat后 确保文件有输入的情况下 可以登陆kibana查看对应的监控日志---一般日志未命名时  会采用filebeat-7.15.日期的前缀命名

5.查看kibana日志文件--此处为未做词项分析 为原数据(初始数据)

想跑elk电脑需要什么配置_ELKB_08

 

想跑elk电脑需要什么配置_想跑elk电脑需要什么配置_09

 6.正常情况 我们会对文件做索引分析 不会在此处查看日志文件 后续会对监控日志做索引处理 从而将text数据解析为词项 利用倒排索引原理进行查询