1:前提
:服务器已搭建java环境 1.8
2:elk步骤
:首先搭建ES做数据存储,然后搭建Kibana做数据可视化。最后搭建Logstash做数据流转
::1:搭建ES
1:在服务器根目录下 创建名为ELK文件夹 1:cd / 2: mkdir elk 3:cd elk
2: 下载ES包:wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz
3:解压之 tar -zxvf elasticsearch-6.4.3.tar.gz 整体目录如下
修改相关文件配置。由于这个服务器是1核1G的。es默认配置-Xms 和-Xmx都是1G 一般是需要启动将其增加到4G左右。但是
服务器只有1G,还搭了XXL和别的东西 就给了512M 不然无法启动。
然后需要修改系统的虚拟内存大小 vim /etc/sysctl.conf 修改vm.max_map_count=262144 。未定义该参数则新增。
推出vim 后执行 sysctl -p 使其立即生效。
由于ES无法使用root 账户登录 所以新增一个用户 并赋予es文件夹权限 add user useres ;chown -R useres /elk/elasticsearch-6.4.3
然后启动es 执行es文件夹 bin 目录下 elasticsearch即可 started即为启动成功
外网访问 9200端口 即可验证
ES搭建成功 。开始搭建kibana
2:kibana
到elk目录下下载kibana压缩包 并解压
cd /elk;wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz ;tar -zxvf kibana-6.4.3-linux-x86_64.tar.gz 。解压后目录如下
修改目录下配置 cd config ;vim kibana.yml . 到文件末新增属性
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://ES地址:9200"
kibana.index: ".kibana"
保存退出
启动kibana ../bin/kibana (好不容易截图成功了==之前老进不去 因为内存太小,ES跑挂了。重启后马上刷新kibana.后面服务器换了公司的测试服务器。因为配置稍微好一些。而且公司刚好也需要搭ELK)
3:搭建logstash (一般搭建在项目部署的服务器上)
下载解压wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz; tar zxvf logstash-6.4.3.tar.gz 解压后目录如下
修改config配置
cd config ; vim logstash-sample.conf
这段内容是百度后修改的==主要内容为输入输出 output 以及过滤器 input表示数据源 path是一个数组,定义需要同步的内容 这里是同步日志文件。最好用绝对路径 输入日志的路径(支持通配符)。output输出位置。这里定义的是输出到es 配置es地址 index 是es索引库最好根据项目名+日期来建 。user是具有es权限的用户 。即启动ES时 新增的USER password 是user的password.(中间的过滤器脚本我也不太熟,就直接加上了)
这样ELK就全部搭建好了。
后面一些配置可以全部到kibana可视化界面操作了
点击如图所示Management->index Patterns-->Create Index Pattern
输入新建的索引名 下一步 选择@Timestamp ->create Index Pattern 就可以在kibana上查询日志文件了。
3:搜索测试
设置日志产生时间 以及索引库 加要搜索的关键词 如 “留言” 开始搜索 即能查询到结果
ELK搭建日志监控平台成功。也可以通过修改或新增logstash的input做jdbc或者kafka 数据源。做kafka消息监控 或sql监控等。
或者修改output指定kafka 。当发生某个事件(input) 去发一个MQ等