安全
- 1. 理解Docker安全
- 2. 容器资源控制
- 2.1 cpu限额
- 2.2 资源争抢
- 2.3 内存限制
- 2.3.1 使用指令进行内存的限制
- 2.3.2 使用规则文件进行限制
- 2.4 Block IO限制
- 3. docker安全加固
- 3.1 LXCFS
- 3.2 --privileged=true(相当于真正的root)
- 3.3 设置容器白名单:--cap-add
- 3.5 其他一些安全加固
1. 理解Docker安全
- Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:
Linux内核的命名空间机制提供的容器隔离安全
Linux控制组机制对容器资源的控制能力安全。
Linux内核的能力机制所带来的操作权限安全
Docker程序(特别是服务端)本身的抗攻击性。
其他安全增强机制对容器安全性的影响。 - 命名空间隔离的安全
当docker run启动一个容器时,Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
与虚拟机方式相比,通过Linux namespace来实现的隔离不是那么彻底。
容器只是运行在宿主机上的一种特殊的进程,那么多个容器之间使用的就还是同一个宿主机的操作系统内核。
在 Linux 内核中,有很多资源和对象是不能被 Namespace 化的,比如:时间。
[root@server2 proc]# docker inspect demo | grep pid
[root@server2 proc]# cd /proc/后面加pid ##查看对应的进程内容
- 控制组资源控制的安全
当docker run启动一个容器时,Docker将在后台为容器创建一个独立的控制组策略集合。
Linux Cgroups提供了很多有用的特性,确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。
确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器,它在防止拒绝服务攻击(DDoS)方面必不可少。 - 内核能力机制
能力机制(Capability)是Linux内核一个强大的特性,可以提供细粒度的权限访问控制。
大部分情况下,容器并不需要“真正的”root权限,容器只需要少数的能力即可。
默认情况下,Docker采用“白名单”机制,禁用“必需功能”之外的其他权限。 - Docker服务端防护
使用Docker容器的核心是Docker服务端,确保只有可信的用户才能访问到Docker服务。
将容器的root用户映射到本地主机上的非root用户,减轻容器和主机之间因权限提升而引起的安全问题。
允许Docker 服务端在非root权限下运行,利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。 - 其他安全特性
在内核中启用GRSEC和PAX,这将增加更多的编译和运行时的安全检查;并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置。
使用一些有增强安全特性的容器模板。
用户可以自定义更加严格的访问控制机制来定制安全策略。
在文件系统挂载到容器内部时,可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境,特别是一些系统运行状态相关的目录。
2. 容器资源控制
- Linux Cgroups 的全称是 Linux Control Group。
是限制一个进程组能够使用的资源上限,包括 CPU、内存、磁盘、网络带宽等等。
对进程进行优先级设置、审计,以及将进程挂起和恢复等操作。
Linux Cgroups 给用户暴露出来的操作接口是文件系统。
它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。
执行此命令查看:mount -t cgroup
- 在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录,也叫子系统。
在每个子系统下面,为每个容器创建一个控制组(即创建一个新目录)。
控制组下面的资源文件里填上什么值,就靠用户执行 docker run 时的参数指定。
2.1 cpu限额
- CPU限额
docker run -it --cpu-period=100000 --cpu-quota=20000 ubuntu
cpu_period 和 cpu_quota 这两个参数需要组合使用,用来限制进程在长度
为 cpu_period 的一段时间内,只能被分配到总量为 cpu_quota 的 CPU
时间,以上设置表示20%的cpu时间。
做限额
## CPU限额
[root@server2 cpu]# docker run -it --rm --cpu-quota 20000 ubuntu
root@19590d05233c:/# dd if=/dev/zero of=/dev/null &
[1] 9
[root@server2 cpu]# top ##在打开一个终端执行top,查看cpu占用量
不做限额
2.2 资源争抢
[root@server2 cpu]# cd /sys/devices/system/
[root@server2 system]# ls
clockevents clocksource container cpu edac machinecheck memory node
[root@server2 system]# cd cpu/
[root@server2 cpu]# ls
cpu0 isolated nohz_full possible smt
cpu1 kernel_max offline power uevent
cpuidle modalias online present vulnerabilities
[root@server2 cpu]# cd cpu1/
[root@server2 cpu1]# ls
cache crash_notes_size firmware_node online subsystem uevent
crash_notes driver node0 power topology
[root@server2 cpu1]# cat online
1
[root@server2 cpu1]# echo 0 > online ##就是用一个cpu
[root@server2 cpu1]# lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 2
On-line CPU(s) list: 0 ##一个在线
Off-line CPU(s) list: 1 ##一个不在线
[root@server2 cpu1]# docker run -it --rm ubuntu ##运行一个容器,ctrl+p+q打入后台
root@f51d99c36433:/# dd if=/dev/zero of=/dev/null &
[1] 9
root@f51d99c36433:/# [root@server2 cpu1]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f51d99c36433 ubuntu "/bin/bash" 29 seconds ago Up 28 seconds bold_shamir
[root@server2 cpu1]# docker run -it --rm ubuntu ##运行第二个,进行资源争抢的实验
root@f8e879195dbb:/# dd if=/dev/zero of=/dev/null
平均分
不平均分–cpu-shares
2.3 内存限制
- - 内存限制
容器可用内存包括两个部分:物理内存和swap交换分区。
docker run -it --memory 200M --memory-swap=200M ubuntu ##也可以修改文件内容来设置memory和swap大小
--memory设置内存使用限额
--memory-swap设置swap交换分区限额
2.3.1 使用指令进行内存的限制
[root@server2 memory]# yum install libcgroup-tools -y ##安装插件
[root@server2 ~]# docker run --help | grep memory
[root@server2 ~]# cd /sys/fs/cgroup/
[root@server2 cgroup]# cd memory/
[root@server2 memory]# mkdir x1 或者 cgcreate -g memory:x1
[root@server2 memory]# cd x1
[root@server2 x1]# ls
[root@server2 x1]# cat memory.limit_in_bytes ##内存限制
9223372036854771712
[root@server2 x1]# cat memory.memsw.limit_in_bytes ##内存加swap总和的限制
9223372036854771712
[root@server2 x1]# echo 209715200 > memory.limit_in_bytes ##设置限制的内存大小
[root@server2 x1]# echo 209715200 > memory.memsw.limit_in_bytes
[root@server2 x1]# cat memory.limit_in_bytes memory.memsw.limit_in_bytes
209715200
209715200
[root@server2 x1]# df
[root@server2 x1]# cd /dev/shm ##内存目录
[root@server2 shm]# cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300 ##指令进行内存大小的设置
Killed
[root@server2 shm]# du -h bigfile
199M bigfile
[root@server2 shm]# free -m
[root@server2 shm]# rm -f bigfile ##做完测试删除文件
2.3.2 使用规则文件进行限制
[root@server2 ~]# useradd wxh
[root@server2 ~]# vim /etc/cgrules.conf
[root@server2 ~]# systemctl start cgred.service
## 测试
[root@server2 ~]# su - wxh
[wxh@server2 ~]$ cd /dev/shm/
[wxh@server2 shm]$ dd if=/dev/zero of=bigfile bs=1M count=200
Killed
[wxh@server2 shm]$ du -h bigfile
199M bigfile
## 测试完成后,删除相应文件,并且删除规则,避免资源的占用。需要重启服务
2.4 Block IO限制
- docker run -it --device-write-bps /dev/sda:30MB ubuntu
--device-write-bps限制写设备的bps
目前的block IO限制只对direct IO有效。(不使用文件缓存)
[root@server2 ~]# cd /sys/fs/cgroup/
[root@server2 cgroup]# cd blkio/docker/
[root@server2 docker]# docker run -it --device-write-bps /dev/vda:30MB ubuntu ##限制io读取速度
root@c0bf2a96b00f:/# dd if=/dev/zero of=bigfile bs=1M count=100 oflag=direct ##测试
100+0 records in
100+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 3.31787 s, 31.6 MB/s
3. docker安全加固
3.1 LXCFS
- 利用LXCFS增强docker容器隔离性和资源可见性
yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm
lxcfs /var/lib/lxcfs &
docker run -it -m 256m \ ##这里的内存大小可以自己设置
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu
3.2 --privileged=true(相当于真正的root)
- 设置特权级运行的容器:--privileged=true
有的时候我们需要容器具备更多的权限,比如操作内核模块,控制swap交换分区,
挂载USB磁盘,修改MAC地址等。
##root特权关闭时
[root@server2 ~]# docker run -it --name demo busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
25: eth0@if26: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
valid_lft forever preferred_lft forever
/ # ip link set down dev eth0
ip: SIOCSIFFLAGS: Operation not permitted ##其实是没有真正的root权限的
[root@server2 ~]# docker inspect demo | grep Privi
"Privileged": false, ##默认root特权是关闭的
##开启root权限时
[root@server2 ~]# docker run -it --rm --privileged=true busybox
关闭root特权时
开启root特权时
3.3 设置容器白名单:–cap-add
- 设置容器白名单:--cap-add
--privileged=true 的权限非常大,接近于宿主机的权限,为了防止用户的
滥用,需要增加限制,只提供给容器必须的权限。此时Docker 提供了权限白名单
的机制,使用--cap-add添加必要的权限。
- capabilities手册地址:
http://man7.org/linux/man-pages/man7/capabilities.7.html
[root@server2 ~]# docker run -it --rm --cap-add=NET_ADMIN busybox
## NET_ADMIN 网络功能 ,其他功能参考手册
3.5 其他一些安全加固
- 安全加固的思路
保证镜像的安全
使用安全的基础镜像
删除镜像中的setuid和setgid权限
启用Docker的内容信任
最小安装原则
对镜像进行安全漏洞扫描,镜像安全扫描器:Clair
容器使用非root用户运行 - 保证容器的安全
对docker宿主机进行安全加固
限制容器之间的网络流量
配置Docker守护程序的TLS身份验证
启用用户命名空间支持(userns-remap)
限制容器的内存使用量
适当设置容器CPU优先级 - docker安全的遗留问题
主要的内核子系统都没有命名空间,如:
下面的都是宿主机修改或者容器修改,所有容器和宿主机都会跟着修改!!
SELinux
cgroup
在/sys下的文件系统
/proc/sys, /proc/sysrq-trigger, /proc/irq, /proc/bus
设备没有命名空间:
/dev/mem
/dev/sd*文件系统设备
内核模块
如果你能沟通或攻击的其中之一作为特权的过程中,你可以拥有自己的系统。