SpringBoot集成elk日志系统(一)
1:下载镜像
docker pull logstash:7.5.1;
docker pull elasticsearch:7.5.1;
Docker pull logstash:7.5.1;
2: 查看镜像
Docker images
3:部署elasticsearch
3.1运行容器
Docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" 2bd69c322e98
3.2查看容器
docker ps # 列出正在运行的容器
docker ps -a # 列出所有容器,包括未运行的
3.3明明启动了容器,为什么会自动退出了呢?这里通过查看日志来看看是什么原因。
Docker logs 2bd69c322e98
发现错误Error=Cannot allocate memory
内存不足导致的。所以在启动的时候,调整内存的分配,重新启动。
“ES_JAVA_OPTS=-Xms512m -Xmx512m”
重新启动
Docker run -d -e “ES_JAVA_OPTS=-Xms512m -Xmx512m”--name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" 2bd69c322e98
容器启动完成 在浏览器输入 ip + 端口号 访问了
见到上图则部署es成功
4:部署kibanna
4.1 运行kibana容器
docker run --name kibana -e ELASTICSEARCH_URL=http://192.168.7.123:9200 -p 5601:5601 -d kibana:7.5.1
4.2查看运行日志
Docker logs kibana
4.3发现连接不上es
1:进入容器修改kibana.yml配置文件
Docker exec -it kibana /bin/bash
修改elasticsearch.hosts: [ “http://elasticsearch:9200” ]为
elasticsearch.hosts: [ “http://192.168.7.123:9200” ]或者
elasticsearch.hosts: [ “http://127.0.0.1:9200” ]或
elasticsearch.hosts: [ “http://localhost:9200” ]
发现还是连接不上
最后各种百度修改为elasticsearch内部连接地址后成功
查看ipAddress地址为172.17.0.2
docker inspect elasticsearch
进入容器修改kibana.yml文件elasticsearch.hosts: [ “http://elasticsearch:9200” ]为
elasticsearch.hosts: [ “http://172.17.0.2:9200” ]后重启容器
成功
5:部署logstash
1:编辑logstash.yml
配置文件放在宿主机如/docker/logstash/logstash.yml 内容如下
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash
2:编辑logstash.conf
.conf文件放在宿主机/docker/logstash/conf.d目录下,内容如下
input {
tcp {
mode => “server”
host => “0.0.0.0”
port => 5044
codec => json_lines
}
}
output {
elasticsearch {hosts => [“172.17.0.2:9200”]}
stdout { codec => rubydebug }
}
3:启动logstash
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 -p 5044:5044 --name logstash -v /docker/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml -v /docker/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.5.1
4:发现启动瞬间又退出了
Docker logs logstash
发现报错permission denied
遇到这种情况,是因为映射的文件或者文件夹没有权限导致服务器拒绝了请求
sudo chmod -R 777 某一目录
然后重新启动容器
看到这个页面就部署成功了
后面我电脑关机后重启发现sudo chmod -R 777 某一目录 又不行了
然后百度了一下说可以采用了关闭SElinux功能我就直接用这个命令关闭了
setenforce 0
其他解决方案还有
1:
docker run -d –privileged=true container
运行是增加**–privileged=true**特权参数
2:
添加selinux规则,改变要挂载的目录的安全性文本
在主机中修改/soft目录的安全性文档
6:在SpringBoot项目中配置logback.xml
1:添加依赖
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.3</version>
</dependency>
编写yml文件
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds" debug="true">
<contextName>logstash-test</contextName>
<!-- 这个是控制台日志输出格式 方便调试对比-->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
</encoder>
</appender>
<appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>192.168.7.123:5044</destination> <!--这是是logstash服务器地址 端口-->
<encoder class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="info">
<appender-ref ref="console"/>
<appender-ref ref="stash"/>
</root>
</configuration>
编写测试类打印一条日志后访问kibanal地址添加索引