1,先来看一下ELK的基础架构图和数据流向。

FileBeat,从Web服务器搜集日志,通过LogStash 得5044端口,传输给LogStash做日志得过滤操作

LogStash,接收来自FileBeat的日志,做日志分析、过滤,通过ElasticSearch 的9200端口,传输给ElasticSearch做存储、索引 (9300端口是ES集群间通讯使用)

Kibana,与ELasticSearch 9200端口通讯,做数据展示


ELK6.5 Nginx 日志搜集-01 架构介绍、系统环境配置_ELK


2,配置安装ELK套件之前,先做一下Linux 系统的优化,和JDK 1.8 的安装(二进制包)

2.1 # vim /etc/sysctl.conf

fs.file-max=65535
vm.max_map_count = 262144

其中,第一个参数fs.file-max主要是配置系统最大打开文件描述符数,建议修改为65535或者更高
第二个参数vm.max_map_count影响Java线程数量,用于限制一个进程可以拥有的VMA(虚拟内存区域)的大小
系统默认是65530,建议修改成262144或者更高 (此项非必须,我没加运行正常)

2.2 # vim /etc/security/limits.conf

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536
* soft memlock unlimited
* hard memlock unlimited

调整进程最大打开文件描述符(nofile)、最大用户进程数(nproc)和最大锁定内存地址空间(memlock)


2.3 # vim /etc/security/limits.d/20-nproc.conf

*          soft    nproc     65536
root       soft    nproc     unlimited


2.1~2.3

执行 # sysctl –p  或者重启系统生效


2.4 安装JDK 1.8 并配置环境变量

官网下载 jdk-8u192-linux-x64.tar.gz

解压到 /usr/local/ 目录,并且创建软连接

ELK6.5 Nginx 日志搜集-01 架构介绍、系统环境配置_ELK_02

# ln –s /usr/local/jdk1.8.0_192 /usr/local/java

在 /etc/profile.d/ 目录下面新建path.sh 的脚本文件,并且添加x,可执行权限

ELK6.5 Nginx 日志搜集-01 架构介绍、系统环境配置_elasticsearch_03

# source /etc/profile.d/path.sh
# java –verson (验证安装是否成功)

ELK6.5 Nginx 日志搜集-01 架构介绍、系统环境配置_elasticsearch_04



写的不好、欢迎指正:VX:85862870