liunx进入容器 linux容器管理

Docker网络安全

1 理解Docker安全

• Docker容器的安全性，很大程度依赖于Linux系统自身，评估Docker安全时，主要考虑以下几个方面：

• Linux内核的命名空间机制提供的容器隔离安全；
• Linux控制组机制对容器资源的控制能力安全；
• Linux内核的能力机制的操作权限安全；
• Docker程序（特别是服务端）本身的抗攻击性；
• 其他安全增强机制对容器安全性的影响。

• 命名空间隔离的安全

• 当docker run 启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离；
• 与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底；
• 容器只是运行在宿主机上的一种特殊的进程，那么多个容器之间使用的就还是同一个宿主机的操作系统内核；
• 在Linux内核中，有很多资源和对象是不能被Namespace化的，比如：时间。

• 控制组资源控制的安全

• 当docker run启动一个容器时，DOcker将在后台为容器创建一个独立的控制组策略集合；
• Linux Cgroups提供了很多有用的特性，确保各容器可以公平地分享主机的内存、CPU、磁盘I/O等资源；
• 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器，它在防止拒绝服务攻击（DDoS）方面必不可少。

• 内核能力机制

• 能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制；
• 大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可；
• 默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其它权限。

• Docker服务端防护

• 使用Docker容器的核心是Docker服务端，确保只有可信的用户的才能访问到Docker服务；
• 将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题；
• 允许Docker服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。

• 其他安全特性

• 在内核中启动GRSEC和PAX，这将增加更多的编译和运行时的安全检查；并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置；
• 使用一些有增强安全特性的容器模板；
• 用户可以自定义更加严格的访问控制机制来定制安全策略；
• 在文件系统挂载到容器内部时，可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境，特别是一些系统运行状态相关的目录。

2 容器资源控制

• Linux Cgroups的全称是 Linux Control Group

• 是限制一个进程组能够使用的资源上限，包括CPU、内存、磁盘、网络带宽等等；
• 对进程进行优先级设置、审计、以及将进程挂起和恢复等操作。

• Linux Cgroups 给用户暴露出来的操作接口时文件系统

• 它以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下；
• 执行此命令查看：mount -t cgroup

CPU的资源限制

cpu_period和cpu_quota这两个参数需要组合使用，用来限制进程在长度为cpu_period的一段时间内，只能被分配到总量为cpu_quota的CPU时间

• 做一个cpu资源限制的示例：

docker run -d  --name demo1 busyboxplus
cd /sys/fs/cgroup
ls

步骤一：正常运行一个容器，然后进到从group的挂载点，看看有什么变化

docker run -d --name demo busyboxplus
docker ps 
cd /sys/fs/cgroup/cpu/docker
ls

这里我们的容器目录中的文件是从系统的cpu目录中复制了一份，若果我们系统的cpu文件没有做任何改变，那么容器中的文件也不会做改变，等于容器的cpu文件是从系统这个父级CPU控制器中复制的。

这里cpu.cfs_period表示能够使用的时间段，cpu.cfs_quota表示能够使用到的cpu的配额，-1表示给容器多少cpu资源，就使用多少cpu资源没有限制。

步骤二：创建容器时，指定CPU的相关参数

docker run --cpu-period 100000 --cpu-quota 20000 -it --name demo busyboxplus
docker ps 
cd /sys/fs/cgroup/cpu/docker/327fb85776c2305b36a2b920ed45aa3f66900bb07bd3bcecf82f16dc837070a6
cat cpu.cfs_period_us
cat cpu.cfs_quota_us

在这里，在创建容器时，限制其在长度为100毫秒内，只能分配到cpu资源的20%

docker attach demo
dd if=/dev/zero of=/dev/null &

在我们的真机上（classroom这台真机上观察其CPU资源的消耗）
top

• 从Linux系统层面上来理解CPU的资源限制

yum install -y libcgroup-tools.x86_64		#安装cgroup工具
cd /sys/fs/cgroup
cgcreate -g cpu:x1							#创建一个x1控制器
echo 20000 >  cpu.cfs_quota_us	            #修改cpu资源配额
 cgexec -g cpu:x1 dd if=/dev/zero of=/dev/null &

内存的资源限制

• 首先从系统层面来理解内存资源的限制

cgcreate -g memory:x1							#创建一个内存x1控制器
cd /sys/fs/cgroup/memory/x1
ls
echo 209715200 > memory.limit_in_bytes
cat memory.limit_in_bytes

注意：在系统中是先消耗物理内存，当物理内存不够用是，再调度swap分区，消耗其中的内存

df
cd /dev/shm/													#这是可以直接消耗系统内存的目录
free -m															#查看系统的内存
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=100
free -m
cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300
free -m

• 从容器层面来看内存资源的限制

• 容器可用内存包括两个部分：物理内存和swap交换分区
• --memory设置内存使用限额
• --memory-swap设置swap交换分区限额

docker run --memory 200M --memory-swap 200M -it busyboxplus
docker ps
cd /sys/fs/cgroup/memory/docker/

Block IO限制

• --device-write-bps限制写设备的bps（吞吐量）
• 目前的block IO限制只对direct IO有效。

docker run --help | grep bps
docker run --device-write-bps /dev/sda:10M -it ubuntu
dd if=/dev/zero of=bigfile bs=1M count=100 oflag=direct

3 Dokcer的安全加固

安全加固的思路

• 保证镜像的安全

• 使用安全的基础镜像
• 删除镜像中的setuid和setgid权限
• 启用Docker的内容信任
• 最小安装原则
• 对镜像进行安全漏洞扫描，镜像安全扫描器：Clair
• 容器使用非root用户运行

• 保证容器的安全

• 对Docker宿主机进行安全加固
• 限制容器之间的网络流量
• 配置Docker守护程序的TLS身份验证
• 启用用户命名空间支持（userns-remap）
• 限制容器的内存使用量
• 适当设置容器CPU优先级

• 利用LXCFS增强docker容器隔离性和资源可见性

yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm
cd /var/lib/lxcfs
lxcfs /var/lib/lxcfs &

docker run -it -m 256m \
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu
free -m 
cd /sys/fs/cgroup/memory/docker/
ls
cat memory.limit_in_bytes

• 设置特权级运行的容器： --privileged=true

• 我们在前面提到过，我们的容器在运行时，并非是真正的超户在运行，因为有的权限不能够执行
• 有的时候我们需要容器具备更多的权限，比如操作内核模块，控制swap交换分区，挂载USB磁盘，修改MAC地址等

docker run --help | grep privileged
docker run -it --rm ubuntu
	fdisk -l
docker run  --privileged=true -it  --rm ubuntu
	fdisk -l

• 设置容器白名单： --cap-add

• –privileged=true 的权限非常大，接近于宿主机的权限，为了防止用户滥用，需要增加限制，只提供给=容器必须的权限。此时Docker提供了权限白名单机制，使用--cap-add添加必要的权限。

docker run -it --cap-add=NET_ADMIN --name vm1 busyboxplus	#增加对于网络的操作权限
ip addr
ip link set down dev eth0

4 Docker安全的遗留问题

• 主要是内核子系统都没有命名空间，如：

• SELinux
• cgroup
• 在/sys/下的文件系统
• /proc/sys /proc/sysrq-trigger /proc/irq /proc/bus

• 存储没有命名空间

• /dev/mem
• /dev/sd*文件系统设备
• 内核模块