Docker 私有仓库、Cgroup资源限制

目录

一、私有仓库

1.建立仓库

2.加速私有仓库

3.创建仓库

4.开启仓库并挂载目录

5.上传镜像到仓库

6.下载镜像

二、Cgroup资源

1.CPU使用率控制

2.Cgroups-优先级/权重限制

3.CPU的周期限制

4.查询容器中的资源限制参数

5.cpu核心数控制(cpu core)

6.cpu配额控制参数的混合使用

7.内存限额

8.Block I/O的限制

9.bps和iops的限制

10.构建镜像(docker build)时指定资源限制


一、私有仓库

1.建立仓库

docker’ pull registry

docker 启用资源限制命令 docker compose 资源限制_docker 启用资源限制命令

2.加速私有仓库

vim /etc/docker

{

  "insecure-registries":["192.168.72.11:5000"],

   *

}

docker 启用资源限制命令 docker compose 资源限制_docker 启用资源限制命令_02

systemctl daemon-reload

systemctl restart docker

3.创建仓库

docker create -it registry /bin/bash

docker 启用资源限制命令 docker compose 资源限制_运维_03

4.开启仓库并挂载目录

docker run -d -p 5000:5000 -v /data/registry:/tmp/registry registry

docker 启用资源限制命令 docker compose 资源限制_linux_04

5.上传镜像到仓库

①打上标签

docker tag nginx:latest 192.168.72.11:5000/nginx

docker 启用资源限制命令 docker compose 资源限制_centos_05

②上传镜像

docker push 192.168.72.11:5000/nginx:v1

docker 启用资源限制命令 docker compose 资源限制_docker 启用资源限制命令_06

6.下载镜像

查看镜像

docker 启用资源限制命令 docker compose 资源限制_运维_07

表示上传成功

docker pull 192.168.72.11:5000/nginx:v1

docker 启用资源限制命令 docker compose 资源限制_centos_08

二、Cgroup资源

Cgroup是底层原理之一,它下面有六个子名称空间

Cgroup是控制资源的限制,它的限制也包含这硬限制和软限制

Docker使用cgroup控制资源,K8S 里面也有limit(使用上限)

Docker通过Cgroup来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面,

基本覆盖了常见的资源配额和使用量控制。

Cgroup 是Control Groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(多个进程)所使用的物理资源(如 CPU、内存、磁盘IO等等)的机制

容器是使用一个个进程管理的,所以容器管理进程组相当于管理整个容器的资源,间接认为管理容器

可以控制资源分配通过操作系统内核,控制应用程序使用内存资源、cpu资源、文件系统资源等等cgroup是一种资源控制手段

也是容器隔离的6个名称空间的一种实现手段,每个容器相当于一个进程

1.CPU使用率控制

cpu周期: 1s为一个周期的定律(周期限制,一秒钟一次),参数值一般为100000 (CPU衡量单位是秒)相当于100%

假如需要给此容器分配cpu使用率的20% ,则参数需要设置为20000,相当于每个周期分配给这个容器0.2s

cpu在一个时刻,只能给一个进程占用

①使用stress压力测试工具测试cpu和内存使用情况

使用Dockerfile来创建一个基于Centos的stress工具镜像

mkdir /opt/stress

cd /opt/stress

vim Dockerfile

FROM centos:7

RUN yum -y install wget

RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

RUN yum -y install stress

docker build -t centos:stress .

docker 启用资源限制命令 docker compose 资源限制_docker 启用资源限制命令_09

②限制cpu

使用命令创建容器,命令中的cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的cpu资源,它仅是一个弹性的加权值

docker run -itd --cpu-shares 100 centos:stress

默认情况下,每个 Docker容器的cpu份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时,容器的 cpu加权的效果才能体现出来。

例如,两个容器A、B的 cpu份额分别为1000和 500,在cpu进行时间片分配的时候,容器A比容器B多一倍的机会获得cpu的时间片。但分配的结果取决于当时主机和其他容器的运行状态,实际上也无法保证容器﹖一定能获得cpu时间片。比如容器A的进程一直是空闲的,那么容器B是可以获取比容器A更多的cpu时间片的。

极端情况下,例如主机上只运行了一个容器,即使它的cpu份额只有50,它也可以独占整个主机的cpu资源。

2.Cgroups-优先级/权重限制

只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它,资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。

可以通过cpu share 设置容器使用CPU 的优先级/权限,比如启动了两个容器及运行查看CPU使用百分比。

docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10      #容器内部模拟10个子函数进程

docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10  #另开一个做比较

docker stats

docker 启用资源限制命令 docker compose 资源限制_运维_10

相当于是1:2的资源分配

cadvisor可以把容器的数据收集过来进行持续性展示,一个可视化界面,docker stats的数据就是从cadvisor来的

3.CPU的周期限制

Docker提供了cpu-period、cpu-quota两个参数控制容器可以分配到的CPU时钟周期。

管理容器的过程:宿主机通过物理cpu以虚拟化的方式模拟出虚拟cpu,虚拟cpu以进程的方式体现在workstation环境(docker环境),docker表现形式是容器,所以虚拟化cpu以进程的方式控制容器。

容器中的应用需要的是服务进程的支持,所以宿主机内核中的cpu可以被cgroup管理(通过分配资源手段),而linux内核中的cgroup可以直接控制虚拟cpu的资源分配,虚拟cpu在workstation中是以进程的方式管理docker容器的,所以也可以认为cgroups在直接/间接的管理docker容器中的应用。

①cpu-period是用来指定容器对cpu的使用要在多长时间内做一次重新分配

②cpu-quota用来指定在这个周期内,最多可以有多少时间用来跑这个容器,与cpu-shares 不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。

③cpu-period和cpu-quota 的单位为微秒(μs)。cpu-period 的最小值为1000微秒,最大值为 1秒(10^6μs),默认值为0.1秒(100000 μs)

cpu-quota的值默认为-1,表示不做控制(不做任何限制)

cd /sys/fs/cgroup/cpu/docker容器id/cpu.cfs_quota_us

例如

容器进程需要每1秒使用单个CPU的0.2秒时间,可以将cpu-period 设置为1000000 (即1秒),cpu-quota 设置为200000 (0.2秒)。

当然,在多核情况下,如果允许容器进程完全占用两个cpu, 则可以将cpu-period 设置为100000 (即0.1秒),cpu-quota设置为200000 (0.2 秒)。

4.查询容器中的资源限制参数

docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress

docker 启用资源限制命令 docker compose 资源限制_centos_11

①在指定容器目录中

docker exec -it peaceful_brown bash

cd /sys/fs/cgroup/cpu

cat cpu.cfs_quota_us

cat cpu.cfs_period_us

docker 启用资源限制命令 docker compose 资源限制_centos_12

②使用docker inspect容器ID/容器名

docker 启用资源限制命令 docker compose 资源限制_docker 启用资源限制命令_13

docker inspect peaceful_brown

docker 启用资源限制命令 docker compose 资源限制_docker_14

5.cpu核心数控制(cpu core)

对多核CPU的服务器,Docker 还可以控制容器运行使用哪些CPU内核,即使用–epuset-cpus参数。这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。

①创建容器时直接使用命令参数指定cpu使用的核心数

docker run -itd --name centos_cpu1 --cpuset-cpus 0-1 centos:stress

执行命令表示创建容器只能使用0/1两个内核

cat /sys/fs/cgroup/cpuset/docker/f0a61b6e4d8f264a5b577edb956eb91875a6b0fd69359d5d2bea0aa2faffc4f7/cpuset.cpus

0-1

②创建容器后,指定资源分配

对已经运行的容器进行cpu分配

docker exec centos_cpu2 taskset -c -p 1

docker 启用资源限制命令 docker compose 资源限制_centos_15

6.cpu配额控制参数的混合使用

通过cpuset-cpus 参数指定容器A使用CPU内核0,容器B只使用CPU内核1。

在主机上只有这两个容器使用对应CPU内核的情况,它们各自占用全部的内核资源,cpu-shares没有明显效果。

cpuset-cpus、cpuset-mems参数只在多核、多内存节点上的服务器上有效,并且必须与实际的物理配置匹配,否则也无法达到资源控制的目的。

在系统具有多个 cPU内核的情况下,需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。

docker run -tid --name centos_cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1

top                                    #按1查看每个核心的占用

docker 启用资源限制命令 docker compose 资源限制_运维_16

docker run -tid --name centos_cpu4 --cpuset-cpus 1 --cpu-shares 1024 centos:stress stress -c 1

进行对比

docker stats

docker 启用资源限制命令 docker compose 资源限制_docker_17

上面的 centos:stress镜像安装了stress 工具,用来测试CPU和内存的负载。通过在两个容器上分别执行 stress -c 1 命令,将会给系统一个随机负载,产生1个进程。这个进程都反复不停的计算由rand()产生随机数的平方根,直到资源耗尽。

观察到宿主机上的CPU使用率,第三个内核的使用率接近100%,并且一批进程的CPU使用率明显存在2:1的使用比例的对比。

7.内存限额

与操作系统类似,容器可使用的内存包括两部分:物理内存和Swap。

Docker通过下面两组参数来控制容器内存的使用量。

-m或–memory: 设置内存的使用限额,例如100M、 1024M

-memory-swap:设置内存+swap的使用限额

docker run -it -m 200M --memory-swap=300M centos:stress --vm 1 --vm-bytes 280M

这条命令时允许该容器最多使用200m的内存和300m的swap

--vm 1:启动一个内存工作线程

--vm-bytes 280M:每个线程分配280M内存

8.Block I/O的限制

默认情况下,所有容器能平等地读写磁盘,可以通过设置-blkio-weigh参数来改变容器block I/0的优先级。

–blkio-weight 与–cpu-shares 类似,设置的是相对权重值,默认为500。

例:让容器A读写磁盘的带宽是容器B的两倍

docker run -it --name stress_01 --blkio-weight 600 centos:stress

cat sys/fs/cgroup/blkio/blkio.weight

docker 启用资源限制命令 docker compose 资源限制_docker_18

docker run -it --name stress_02 --blkio-weight 300 centos:stress

cat sys/fs/cgroup/blkio/blkio.weight

docker 启用资源限制命令 docker compose 资源限制_运维_19

9.bps和iops的限制

控制磁盘的实际IO

bps是bytepersecond,每秒读写的数据量。

iops是io per second, 每秒 IO 的次数。

可通过以下参数控制容器的bps和iops

–device-read-bps限制读某个设备的bps

–device-read-iops限制读某个设备的iops

–device-write-iops限制写某个设备的iops

①限制容器写/dev/sda的速率为5mb/s

docker run -it --device-write-bps /dev/sda:5MB centos:stress

dd if=/dev/zero of=test bs=1M count=10 oflag=direct         #direct:磁盘

docker 启用资源限制命令 docker compose 资源限制_运维_20

②限制容器写/dev/sda的速率为10mb/s

docker run -it --device-write-bps /dev/sda:10MB centos:stress

dd if=/dev/zero of=test bs=1M count=100 oflag=direct

docker 启用资源限制命令 docker compose 资源限制_centos_21

③对磁盘不做限制

docker 启用资源限制命令 docker compose 资源限制_centos_22

明显比做限制快很多

10.构建镜像(docker build)时指定资源限制

-build-arg=[ ]:                                           设置镜像创建时的变量

--cpu-shares:                                              设置cpu使用权重

--cpu-period:                                                限制cpu cfs周期

--cpu-quota:                                                 限制cpu cfs配额

--cpuset-cpus:                                             指定使用的cpu id

--cpuset-mems:                                           指定使用的内存id

--disable-content-trust:                              忽略校验,默认开启

-f:                                                         指定要使用的Dockerfile路径

--force-rm:                                           设置镜像过程中删除中间容器

--isolation:                                                   使用容器隔离技术

--label=[ ]:                                                设置镜像使用的元数据

-m:                                                                设置内存最大值

--memory-swap:                        设置swap的最大值为内存+swap,"-1"表示不限swap

--no-cache:                                           创建镜像的过程不使用缓存

--pull:                                尝试去更新镜像的新版本

--quiet, -q:                            安静模式,成功后只输出镜像ID

--rm:                                 设置镜像成功后删除中间容器

--shm-size:                            设置/dev/ shm的大小,默认值是64M

--ulimit:                               Ulimit配置。

--squash:                              将Dockerfile中所有的操作压缩为一层。

--tag,-t:                              镜像的名字及标签,通常name:tag或者name格式;可以在一次构建中为一个镜像设置多个标签

--network:                             默认default。在构建期间设置RUN指令的网络模式