1,先来看一下ELK的基础架构图和数据流向。
FileBeat,从Web服务器搜集日志,通过LogStash 得5044端口,传输给LogStash做日志得过滤操作
LogStash,接收来自FileBeat的日志,做日志分析、过滤,通过ElasticSearch 的9200端口,传输给ElasticSearch做存储、索引 (9300端口是ES集群间通讯使用)
Kibana,与ELasticSearch 9200端口通讯,做数据展示
2,配置安装ELK套件之前,先做一下Linux 系统的优化,和JDK 1.8 的安装(二进制包)
2.1 # vim /etc/sysctl.conf
fs.file-max=65535 vm.max_map_count = 262144
其中,第一个参数fs.file-max主要是配置系统最大打开文件描述符数,建议修改为65535或者更高
第二个参数vm.max_map_count影响Java线程数量,用于限制一个进程可以拥有的VMA(虚拟内存区域)的大小
系统默认是65530,建议修改成262144或者更高 (此项非必须,我没加运行正常)
2.2 # vim /etc/security/limits.conf
* soft nproc 65536 * hard nproc 65536 * soft nofile 65536 * hard nofile 65536 * soft memlock unlimited * hard memlock unlimited
调整进程最大打开文件描述符(nofile)、最大用户进程数(nproc)和最大锁定内存地址空间(memlock)
2.3 # vim /etc/security/limits.d/20-nproc.conf
* soft nproc 65536 root soft nproc unlimited
2.1~2.3
执行 # sysctl –p 或者重启系统生效
2.4 安装JDK 1.8 并配置环境变量
官网下载 jdk-8u192-linux-x64.tar.gz
解压到 /usr/local/ 目录,并且创建软连接
# ln –s /usr/local/jdk1.8.0_192 /usr/local/java
在 /etc/profile.d/ 目录下面新建path.sh 的脚本文件,并且添加x,可执行权限
# source /etc/profile.d/path.sh # java –verson (验证安装是否成功)
写的不好、欢迎指正:VX:85862870