『互联网架构』ELK集群的搭建
原创
©著作权归作者所有：来自51CTO博客作者IT人故事会的原创作品，请联系作者获取转载授权，否则将追究法律责任
说说部署，这里确实要注意下，我自己最开始部署的时候，遇到了很多的坑，会给大家说，避免自己部署的时候在遇到。
（一）如何快速搭建一套稳定的ELK环境
- elasticsearch 5.6.4 + kibana5.2.0 + logstash5.6.3
线上环境就是这个比较稳定。实践过的。
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk*
cd jdk*
pwd
echo "export JAVA_HOME=/opt/jdk1.8.0_11" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile
之前很多的版本都是ES都是2.X和5.X有很大的差别，使用的功能上都有差别。2.X考虑的太久了2001几年吧，5.6还是比较新的。支持的JDK是1.8，ES建议不要使用太新和太久的。ELK中最难装的就是ES。
cd /opt/
tar -zxvf elasticsearch-5.6.4.tar.gz
#修改配置
vi config/elasticsearch.yml
cluster.name : my-application
node.name : node-1
network.host : 0.0.0.0
http.port : 9200
ELK中的核心，启动的时候一定要注意，因为es不可以进行root账户启动，所以你还需要重新添加一个账户，我这里是apps
adduser apps
passwd apps
#密码设置成123
sudo vi /etc/security/limits.conf
#添加这些内容，注意这里面的apps这个名称是根据自己定义的来修改的用户名。
apps hard nofile 65536
apps soft nofile 65536
vi /etc/security/limits.d/20-nproc.conf
#添加这些内容
* soft nproc 1024
#修改为
* soft nproc 2048
vi /etc/sysctl.conf
#添加下面配置
vm.max_map_count=655360
#执行
sysctl -p
apps增加权限
chown -R apps:apps /opt/elasticsearch-5.6.4
启动ES
谷歌插件：elasticsearch-head
解压
tar -zxvf logstash-5.6.3.tar.gz
在config目录建：logstash.conf
cd /opt/logstash-5.6.3/config
vi logstash.conf
做好input ，filter，output三大块， 其中input是吸取logs文件下的所有log后缀的日志文件，filter是一个过滤函数，配置则可进行个性化过滤，output配置了导入到hosts为127.0.0.1:9200的elasticsearch中，每天一个索引。start_position是监听的位置，默认是end，即一个文件如果没有记录它的读取信息，则从文件的末尾开始读取，也就是说，仅仅读取新添加的内容。对于一些更新的日志类型的监听，通常直接使用end就可以了；相反，beginning就会从一个文件的头开始读取。但是如果记录过文件的读取信息，则不会从最开始读取。重启读取信息不会丢失。
如果是指定的tomcat，直接到path修改成指定的日志路径名称就可以了。
input {
file {
type => "log"
path => "/apps/svr/servers/logs/*.log"
start_position => "beginning"
}
}
output {
stdout {
codec => rubydebug { }
}
elasticsearch {
hosts => "127.0.0.1"
index => "log-%{+YYYY.MM.dd}"
}
}
bin目录下启动logstash了，配置文件设置为conf/logstash.conf，加&后台启动。
cd
./bin/logstash -f ../config/logstash.conf &
配置多个文件：./logstash -f …/config 指定启动目录，然后启动目录下配置多个*.Conf文件。里面指定不同的logpath。
- kibana-5.2.0-linux-x86_64 安装
tar -zxvf /opt/kibana-5.2.0-linux-x86_64.tar.gz
配置kibana，文件中指定一下你需要读取的elasticSearch地址和可供外网访问的bind地址就可以了
cd /opt/kibana-5.2.0-linux-x86_64/bin
vi /opt/kibana-5.2.0-linux-x86_64/config/kibana.yml
# elasticsearch.url: http://localhost:9200，如果是集群则配置master节点。
# server.host: 0.0.0.0
配置启动
cd /opt/kibana-5.2.0-linux-x86_64/
./bin/kibana &
#如果需要删除指定端口的服务可以这样
# netstat -tlnp|grep 端口
在/opt/logs/写入文件
echo 'ssssssssssss' >> log1.log
访问：http://192.168.90.101:5601/
#填入log-*，create创建下就可以了。
log-*
收集到的日志信息
PS：可以监听当前服务器的流量。电脑配置至少4G内存，ES默认是2G的内存，目前是使用的伪分布式的方式，多台电脑也是这样的。
