Hello Docker（六）——Docker资源配额
一、Docker资源配额
1、Docker资源配额简介
Docker默认没有对容器进行硬件资源的限制，当容器负载过高时会尽可能占用宿主机资源。Docker基于Linux内核提供的cgroups功能，可以限制容器在运行时使用的资源，比如内存、CPU、IO、网络等。 在Linux系统上，如果Linux内核探测到当前宿主机已经没有可用内存使用，会抛出一个OOME(Out Of Memory Exception:内存异常 )，并且会开启killing去杀掉一些进程。 一旦发生OOME，任何进程都有可能被杀死，包括Docker daemon，因此，Docker特地调整了Docker daemon的OOM_Odj优先级，以免被杀掉，但容器的优先级并未被调整。 经过Linux系统内部复杂计算后，每个系统进程都会有一个OOM_Score得分，OOM_Odj越高，得分越高，得分最高的进程优先被kill掉。 Docker在启动容器时可以调整OOM_Odj，也可以指定重要容器禁止被OMM杀掉，在启动容器时使用–oom-kill-disable=true指定。
2、cgroup简介
Control Groups是Linux内核提供的一种可以限制、记录、隔离进程组所使用物理资源(如CPU、Memory、磁盘IO等等) 的机制，被LXC、Docker等项目用于实现进程资源控制。cgroup是提供将进程进行分组化管理的功能和接口的基础结构，用于实现IO或内存配控制等具体的资源管理功能。cgroup实现的资源管理功能称为cgroup子系统，如下： （1）blkio，设置限制每个块设备的输入输出控制，如磁盘、光盘、USB等。 （2）cpu，使用调度程序为cgroup任务提供CPU访问。 （3）cpuacct，产生cgroup任务的CPU资源报告。 （4）cpuset，对于多核心CPU，会为cgroup任务分配单独CPU和内存。 （5）devices，允许或拒绝cgroup任务对设备的访问。 （6）freezer，暂停和恢复cgroup任务。 （7）memory，设置每个cgroup的内存限制以及产生内存资源报告。 （8）net_cls，标记每个网络包以供cgroup方便使用。 （9）ns，命名空间子系统。 （10）perf_event，增加对每个group的监测跟踪的能力，即可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。
二、Docker内存配额
1、Docker内存限额
Docker提供的内存限制功能如下： （1）容器能使用的内存和交换分区大小。 （2）容器的核心内存大小。 （3）容器虚拟内存的交换行为。 （4）容器内存的软性限制。 （5）是否杀死占用过多内存的容器。 （6）容器被杀死的优先级。
2、Docker内存限制参数
（1）memory -m,--memory，内存限制，格式为数字加单位，单位可以为b,k,m,g，最小为4M。 --memory-swap，内存+交换分区大小总限制，必须比memory设置的大。 如果不设置memory和memory-swap，Docker容器默认可以用完宿主机的所有内存和swap分区。Docker容器用尽宿主机的所有内存和swap分区超过一段时间后，会被宿主机系统杀死。 如果memory设置一个不小于4M的值n，不设置memory-swap或将memory-swap设置为 0，则Docker容器能使用的内存大小为 n，能使用的交换分区大小也为 n，Docker默认容器交换分区的大小和内存相同；如果在Docker容器中运行一个一直不停申请内存的程序，Docker容器最终能占用的内存大小为2n；如果memory设置为a，memory-swap设置为b，则Docker容器能使用的内存大小为a，Docker容器能使用的swap分区大小为b-a；如果memory设置a，memory-swap设置为-1，则Docker容器能使用的内存大小为a，不限制Docker容器使用swap分区大小。 --memory-reservation，内存的软性限制。 Memory reservation 是一种软性机制，不保证任何时刻容器使用的内存不会超过memory-reservation限定值，只确保容器不会长时间占用超过memory-reservation限制的内存大小。虽然Docker容器最多可以使用memory的内存大小，但在宿主机内存资源紧张时，在系统的下次内存回收时，系统会回收容器的部分内存页，强迫容器的内存占用回到memory-reservation的大小。 默认情况下，未设置memory-reservation值，其值与memory限定值相同。如果memory-reservation设置为0，则等同于没有设置。 （2）OOM killer --oom-kill-disable，是否阻止OOM killer杀死容器，默认未设置。 默认情况下，在出现out-of-memory(OOM)错误时，OOM killer进程会杀死Docker容器内的进程来释放内存。通过设置--oom-kill-disable选项来禁止OOM killer杀死容器内进程。确保只有在使用memory选项时才使用oom-kill-disable选项禁用OOM killer。如果没有设置memory选项，但禁用OOM-killer，可能会造成出现OOM错误时，通过杀死宿主机进程获取更多内存。 --oom-score-adj，容器被OOM killer杀死的优先级，范围是[-1000, 1000]，默认为0，值越大越容易被kill。 --memory-swappiness，用于设置容器的虚拟内存控制行为。值为0~100之间的整数。 （3）kernel memory --kernel-memory，核心内存限制，最小为4M。 核心内存和用户内存不同的地方在于核心内存不能被交换出，因此Docker容器可以通过消耗太多内存来堵塞一些系统服务。核心内存包括：stack pages（栈页面）、slab pages、socket memory pressure、tcp memory pressure。 可以通过设置核心内存限制来约束核心内存。例如，每个进程都要消耗一些栈页面，通过限制核心内存，可以在核心内存使用过多时阻止新进程被创建。 核心内存和用户内存并不是独立的，必须在用户内存限制的上下文中限制核心内存。 假设用户内存的限制值为U，核心内存的限制值为K。有三种可能地限制核心内存的方式： U != 0，不限制核心内存，是默认的标准设置方式 K < U，核心内存是用户内存的子集，每个cgroup的内存总量被过度使用，可以设置K，groups总数就不会超过总内存。 K > U，核心内存的变化也会导致用户计数器的变化，容器核心内存和用户内存都会触发回收行为。 docker run -it -m 500M --kernel-memory 50M ubuntu:16.04 /bin/bash 启动容器，Docker容器的进程最多能使用500M内存、50M核心内存。 docker run -it --kernel-memory 50M ubuntu:16.04 /bin/bash 没用设置用户内存限制，Docker容器中的进程可以使用尽可能多的内存，但最多能使用50M核心内存。 （4）Swappiness 默认情况下，Docker容器的内核可以交换出一定比例的匿名页，使用memory-swappiness参数进行设置。--memory-swappiness可以设置为从 0到100。0表示关闭匿名页面交换。100表示所有的匿名页都可以交换。默认情况下，如果设置--memory-swappiness，则从父进程继承而来。 docker run -it --memory-swappiness=0 ubuntu:16.04 /bin/bash memory-swappiness设置为0可以保持容器的工作集，避免交换代理的性能损失。
三、Docker CPU配额
1、Docker CPU限制
默认情况，所有Docker容器可以平等地使用宿主机CPU资源并且没有限制。 Docker提供的CPU资源限制选项可以在多核系统上限制容器能利用哪些 CPU。而Docker容器最多能使用CPU时间有两种限制方式：一是有多个CPU 密集型的容器竞争CPU时，设置各个容器能使用CPU时间相对比例；二是以绝对的方式设置容器在每个调度周期内最多能使用的CPU时间。 Docker可以通过-c或--cpu-shares设置容器使用CPU的权重。如果不指定，默认值为1024。
2、CPU限制参数
docker run与CPU限制相关选项如下：
--cpuset-cpus="" 允许使用的CPU集，值可以为0-3,0,1
-c,--cpu-shares=0 CPU权重
--cpu-period=0 限制CPU CFS周期，范围从100ms~1s，即[1000, 1000000]
--cpu-quota=0 限制CPU CFS配额，必须不小于1ms，即大于等于1000
--cpuset-mems="" 允许在上执行的内存节点（MEMs），只对NUMA系统有效
--cpus=value 指定容器可以使用的CPU资源量。如果主机有两个CPU并且设置 --cpus="1.5"，则容器最多可以使用1.5个CPU，
--cap-add=sys_nice 开启Docker容器CAP_SYS_NICE功能，允许容器引发进程良好值，设置实时调度策略，设置CPU亲和性以及其他操作。
--cpu-rt-runtime=value 容器可以在Docker守护程序的实时调度程序周期内以实时优先级运行的最大微秒数，需要开启CAP_SYS_NICE功能 。
--ulimit rtprio=value 容器允许的最大实时优先级，需要开启CAP_SYS_NICE功能。
docker run --it --cpu-rt-runtime=950000 --ulimit rtprio=99 --cap-add=sys_nice ubuntu
实时调度程序运行容器，需要运行docker daemon，并将--cpu-rt-runtime设置为每个运行时间段为实时任务保留的最大微秒数。默认周期为1000000微秒（1秒），设置--cpu-rt-runtime=950000可确保使用实时调度程序的容器每1000000微秒可运行950000微秒，并保留至少50000微秒用于非实时任务。
其中--cpuset-cpus用于设置容器可以使用的 CPU核。
-c,--cpu-shares用于设置多个容器竞争CPU时，各个容器能分配到的CPU权重。
--cpu-period和--cpu-quata用于绝对设置容器能使用 CPU 时间。
docker run -it --cpuset-cpus="1,3" ubuntu:14.04 /bin/bash
容器中的进程可以在cpu 1和cpu 3上执行。
docker run -it --cpuset-cpus="0-2" ubuntu:14.04 /bin/bash
容器中的进程可以在 cpu 0、cpu 1 及 cpu 2上执行。
docker run -it --cpuset-mems="1,3" ubuntu:14.04 /bin/bash
容器中的进程只能使用内存节点1和3上的内存
在多核系统上，CPU时间权值是在所有CPU核上计算的。即使某个容器的 CPU 时间限制少于100%，也能使用各个CPU核的100%时间。
四、Docker磁盘IO配额
Docker对磁盘IO的控制需要依赖宿主机设备，主要参数如下：
--device-read-bps 限制设备上的读速度（bytes per second），单位可以是kb、mb或者gb。
--device-read-iops 通过每秒读IO次数来限制指定设备的读速度。
--device-write-bps 限制设备的写速度（bytes per second），单位可以是kb、mb或者gb。
--device-write-iops 通过每秒写IO次数来限制指定设备的写速度。
--blkio-weight 容器默认磁盘IO的加权值，有效值范围为10-100。
--blkio-weight-device 针对特定设备的IO加权控制,其格式为DEVICE_NAME:WEIGHT
docker run -tid –name disk1 –device-write-bps /dev/sda:1mb ubuntu:stress
五、Docker容器空间配额
docker使用devicemapper作为存储驱动时，默认每个容器和镜像的最大大小为10G。在docker daemon启动时可以使用dm.basesize来指定，但会导致Docker Host上的所有本地镜像和容器都被清理掉，使用aufs或者overlay等其它存储驱动时，没有限制。
