本文解决方案:

  1. 出现问题
  2. 找到问题
  3. 解决问题
  4. 防止以后问题复现

今天很纳闷,打算上去看一下自己的小破站,结果上不去了,吓得我赶快登上服务器看一下,结果是容器日志占用满了

docker lib var 占满 /var/lib/docker/overlay2满了_redis

 

起初我还被这个“/var/lib/docker/overlay2/”路径给迷糊住了,一度认为是“overlay2”文件夹内的日志把磁盘占用100%了,后来进去之后发现该文件夹占用也才5GB,遂开始了头疼掉头发

既然我已经知道是docker的问题了,这个时候就应该从docker目录开始查,在“/var/lib/docker”目录下使用命令“du -h --max-depth=1”,ps:--max-depth=1意思为检索文件的最大深度1,即只检索汇总计算当前目录下的文件

du -h --max-depth=1

docker lib var 占满 /var/lib/docker/overlay2满了_redis_02

 

从图中可以看出虽然提示的是“/var/lib/docker/containers”目录磁盘占用34G,而“overlay2”目录磁盘占用只有5G左右,所以小伙伴们不要被“/var/lib/docker/overlay2/”磁盘占用100%给骗了而 一时乱了手脚

这个时候我们进入“/var/lib/docker/containers”目录看看究竟是哪个容器沾满了咱们的磁盘,进入“containers”目录后我们继续使用“du -h --max-depth=1”命令查看哪个目录占用磁盘大,ps:docker ps命令中的容器ID是从“containers”目录中的文件夹名称头进行截取的,进行比对遂能查看出来是哪个容器占满了磁盘

du -h --max-depth=1

docker lib var 占满 /var/lib/docker/overlay2满了_docker_03

docker lib var 占满 /var/lib/docker/overlay2满了_linux_04

 

从这里咱们能够看出来占了咱们32G磁盘容量的就是redis容器了,这个时候咱们进去占用了32G磁盘的文件夹,ps:不是指redis容器里面的目录哦,而是还是在containers目录进行“cd”命令继续进入占用32G的文件夹内

进入文件夹之后使用“du -ah”命令查看当前文件夹中的文件磁盘占用大小,从图中咱们可以看出是redis的json日志文件磁盘占用太大,遂把文件进行清除处理先解决占用办法

du -ah

docker lib var 占满 /var/lib/docker/overlay2满了_linux_05

咱们使用“cat /dev/null > *-json.log”命令将这个json文件给清理掉,通过下图咱们就能看出来该文件已经清理掉

cat /dev/null > *-json.log

docker lib var 占满 /var/lib/docker/overlay2满了_docker lib var 占满_06

 

当然咯咱们清理了之后还是要重启容器服务哦,虽然这个时候容器还是显示运行,其实已经down了哦

以上咱们的问题解决了,但是这只是治本不治根,往下看解决根本的方法

 

如果说要从根本方法上解决docker容器日志文件磁盘满载的问题,有几种解决方法

方法一:不推荐,但是最快捷有效,把当前运行的容器直接给停止删掉

方法二:在docker运行的时候指定日志的最大磁盘容量

docker run ...... --log-opt max-size=10m --log-opt max-file=1

 方法三:在docker的配置文件中进行全局修改:新建或修改/etc/docker/daemon.json,添加log-dirver和log-opts参数(daemon.json):

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3",
    "labels": "production_status",
    "env": "os,customer"
  }
}

方法四:该方法针对docker-compose的童鞋们,在docker-compose文件中配置日志

logging:
  options:
    max-size: '12m'
    max-file: '5'
  driver: json-file