前言

K8s 集群 随着pod运行服务的越来越多，运行时间越来越大，docker目录占用磁盘空间也在逐渐变大，终于在最近磁盘彻底占满导致容器启动不起来并提示"no device space left"。为了防止以后出现docker占用磁盘容量不够的情况决定对docker数据目录迁移。

1. docker数据迁移

docker数据默认存储在/var/lib/docker目录下。实际存储目录可以参考docker info输出

Client:
 ...

Server:
 ...
 Docker Root Dir: var/docker/lib
 ...

迁移步骤

1.1.停止dockerd服务

systemctl stop docker

1.2.创建新目录迁移数据

使用其他挂载盘，使用 cp 命令复制数据

cp -a /var/lib/docker /mnt/data/

注意这里一定要加 -p 或 用 -a 不然复制过去文件权限不对，有些容器启动会报错。如果不加p参数可能会导致迁移后的目录的/tmp目录（其他人&&组）丢失w(写)权限。教训：mongo容器启动需要在/tmp目录下创建****.sock监听请求，由于cp没有加上p参数导致/tmp目录从drwxrwxrwt权限变为drwxr-xr-t权限，无法成功启动。t权限是x+SBIT形成的。

下面举个例子: 变更 docker工作目录后 ,harbor启动异常，报错如下

rsyslogd: run failed with error -3000 (see rsyslog.h or try https://www.rsyslog.com/e/3000 to learn what that number means) rsyslogd: error writing pid file (creation stage) : Permission denied

  • 解决方案
    需要删除所有的容器，已经镜像重新下载镜像运行（数据需要挂载到外面，数据不会丢）

1.3. 编辑docker配置文件

辑配置文件添加一行"data-root": "/mnt/data/docker",vim /etc/docker/daemon.json

{
  "registry-mirrors": [],
  "data-root": "/mnt/data/docker"
}

或者软链接新目录到原来的目录（需要删除原目录或者ln命令加上f参数强行移除）
ln -s /mnt/data/docker /var/lib/docker

1.4. 重启dockerd服务

systemctl start docker

别急着重启，看下docker 日志优化

1.5. 查看是否成功

  • 使用docker info命令查看Docker Root Dir参数是否变为了新的目录
  • 查看容器是否全部启动，如果没有启动可以通过ps -a命令查看exit容器并执行docker start {container_id}或者docker start docker ps -a --filter 'status=exited' --format '{{.ID}}'重启所有退出的容器(该操作会重启已退出但未清除的临时容器，请根据实际情况过滤操作)

2. docker日志优化切割

再 Docker 不重建的情况下，日志文件会默认一直追加，时间长会慢慢的占满服务器硬盘空间。其实就是我们常用的docker logs命令打印的日志会打印到这个目录下的文件之中。

2.1 查看docker默认容器日志驱动

[root@xx-xx log]# docker info|grep 'Logging Driver'
 Logging Driver: json-file

2.2 查看一个运行中docker容器使用的日志驱动程序

[root@xx-xx log]# docker inspect -f '{{.HostConfig.LogConfig.Type}}' 96a7b67e2581
json-file

2.3 查看一个运行中docker容器使用的日志路径

[root@xx-xx log]# docker inspect -f '{{.LogPath}}' 4ba762e36fca
/mnt/data/docker/containers/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0/4ba762e36fca30509f6052e3374f6975cf13d4066e8cdbe03f832302c80dd3d0-json.log

可以看到这里的文件就是docker终端打印的日志，所有docker运行久了又不重启，这个日志就越来越大，不清理磁盘肯定炸。

2.4 容器启动时使用–log-driver指定其使用与Docker容器守护进程不同的日志驱动程序

docker run -it --log-driver none xxx

2.5 容器支持的驱动：

驱动名

描述

none

运行的容器没有日志，docker logs 没有任何输出

local

日志以自定义格式存储，旨在实现最小开销

json-file

日志格式为 json,docker 的默认日志记录驱动程序

syslog

将日志消息写入 syslog。改 syslog 守护程序必须在主机上运行

journald

将日志消息写入 journald。该 journald 守护程序必须在主机上运行

gelf

将日志消息写入 Graylog 扩展日志格式（GELF）端点，例如 Graylog 或 Logstash。

fluentd

将日志消息写入fluentd（转发输入）。该fluentd守护程序必须在主机上运行。

awslogs

将日志消息写入 Amazon CloudWatch Logs。

splunk

使用 HTTP 事件收集器将日志消息写入splunk。

etwlogs

将日志消息写为 Windows 事件跟踪（ETW）事件。仅适用于 Windows 平台。

gcplogs

将日志消息写入 Google Cloud Platform（GCP）Logging。

logentries

将日志消息写入 Rapid7 Logentries。

2.5.1 全局修改日志驱动

修改配置文件/etc/docker/daemon.json

{
  "log-driver": "none"
}
2.5.2 运行时控制，即在容器启动时添加参数的方式
# max-size 最大数值,必须大于0
# max-file 最大日志数，必须大于0
$ docker run -it --log-opt max-size=10m --log-opt max-file=3 容器名称
2.5.3 全局配置方式

创建或者修改文件/etc/docker/daemon.json，增加如下配置：

{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"10m",
        "max-file":"20",
        "compress": "true"
    }
}

由于该配置只对已经生成的容器不生效，将原容器销毁后重新创建

重启Docker服务

sudo systemctl daemon-reload
sudo systemctl restart docker