k8s镜像CrashLoopBackOff k8s镜像仓库地址

转载

mob64ca1412b28c 2024-04-15 20:20:43

文章标签 docker kubernetes 容器云 bootstrap 保存文件 文章分类 云原生云计算

背景

使用Kubeadm在国内部署Kubernetes集群时，由于无法访问k8s.gcr.io，就修改了默认的仓库地址，直接使用了Azure 提供的gcr.azk8s.cn/google_containers仓库。

部署信息

操作系统：Centos7
Kubernetes：v1.17.0 单Master节点

问题

docker pull gcr.azk8s.cn/google_containers/pause:3.1
Error response from daemon: error parsing HTTP 403 response body: invalid character '<' looking for beginning of value: "<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor=\"white\">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx/1.14.0 (Ubuntu)</center>\r\n</body>\r\n</html>\r\n"

近期Azure调整了策略，其仓库只允许 Azure China IP 使用，不再对外提供服务, 如果确实有需求，可以联系akscn@microsoft.com并提供IP地址。官方说明：https://mirror.azure.cn/help/docker-registry-proxy-cache.html 这样我在新增节点时就无法下载kube-proxy以及pause镜像了，甚至节点出现意外时，对恢复节点也造成一定影响。

目标

切换所有相关镜像至新的仓库。

实施

升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。
升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。
升级过程中服务会短暂中断，也可能存在未知风险，应提前做好准备。

仓库切换涉及到两个核心内容：

Kubernetes集群镜像，以及现有运行中的所有基础服务。
Kubeadm配置信息，保证新增节点拿到新的配置信息，进行初始化。

创建仓库代理

创建代理仓库的细节网上很多，就不详细赘述。

网上可以找到很多更好的仓库，像：阿里、中科大、网易都有相关的服务提供。为了自主可控，我还是选择了阿里云香港节点的轻量应用服务器做了代理，宽带峰值30M，每月1T流量，经常会被限速，体验不怎么好，但好歹自主可控了。急需的同学倒是可以拿来应急下。

hub.docker.com -> dockerhub.msorg.cn
gcr.io -> gcr.msorg.cn
k8s.gcr.io -> k8sgcr.msorg.cn
quay.io -> quay.msorg.cn

更新镜像

镜像清单可以通过kubeadm config images list命令查看到。

k8s.gcr.io/kube-apiserver:v1.17.0
k8s.gcr.io/kube-controller-manager:v1.17.0
k8s.gcr.io/kube-scheduler:v1.17.0
k8s.gcr.io/kube-proxy:v1.17.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5

kube-apiserver、kube-controller-manager、kube-scheduler、etcd可以在主节点的/etc/kubernetes/manifests/目录下找到，yaml配置文件修改保存后立即生效。
coredns、kube-proxy是发布到Kubernetes集群中的，直接kubectl更新配置。
pause是与kubelet绑定在一起的，修改service配置即可。

更新`kube-apiserver`

在主节点的/etc/kubernetes/manifests/目录中，找到kube-apiserver.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-apiserver:v1.17.0 修改之后保存文件立即生效。

更新`kube-controller-manager`

在主节点/etc/kubernetes/manifests/目录中，找到kube-controller-manager.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-controller-manager:v1.17.0 修改之后保存文件立即生效。

更新`kube-scheduler`

在主节点/etc/kubernetes/manifests/目录中，找到kube-scheduler.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/kube-scheduler:v1.17.0 修改之后保存文件立即生效。

更新`etcd`

在主节点/etc/kubernetes/manifests/目录中，找到etcd.yaml文件，修改其中的image部分即可,如：image: gcr.msorg.cn/google_containers/etcd:3.4.3-0 修改之后保存文件立即生效。

更新`coredns`

coredns被以deployment的方式发布在Kubernetes集群之上，我们只需要修改其配置即可。
可以使用命令kubectl edit deployment coredns -n kube-system,修改其image部分配置，如：image: gcr.msorg.cn/google_containers/coredns:1.6.5

更新`kube-proxy`

kube-proxy被以daemonset的方式发布在Kubernetes集群之上，我们只需要需改其配置即可。
可以使用kubectl edit daemonset kube-proxy -n kube-system命令进行编辑，修改其image部分配置，如：image: gcr.msorg.cn/google_containers/kube-proxy:v1.17.0

更新`pause`镜像

该镜像配置被放在每个节点上的kubelet启动命令中，可以通过以下方式确认。
使用ps -ef | grep kubelet命令查看当前kubelet启动信息

root     26588     1  2 Apr11 ?        06:18:01 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1

可以看到在启动时有pod-infra-container-image参数，修改此参数即可。具体此参数如何修改，因为系统不同，可能方式也不太一样，下面以Centos7系统为例，Centos7使用了systemd，演示如何查找该参数配置位置。
第一步：kubeadm已经将kubelet已经被安装为service了，可以使用service kubelet status查看当前service信息。

kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: active (running) since Sat 2020-04-11 17:27:03 CST; 1 weeks 1 days ago
     Docs: https://kubernetes.io/docs/
 Main PID: 26588 (kubelet)
    Tasks: 35
   Memory: 196.4M
   CGroup: /system.slice/kubelet.service
           └─26588 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-...

从以上信息中我们可以看到当前使用的service配置文件为/usr/lib/systemd/system/kubelet.service，并且加载了10-kubeadm.conf 第二步：查看service配置
使用cat /usr/lib/systemd/system/kubelet.service进行查看

[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=https://kubernetes.io/docs/

[Service]
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target

发现其中并没有什么特别的，进一步查看10-kubeadm.conf，至于这个文件呢，在/usr/lib/systemd/system/kubelet.service.d路径下，或者使用find命令进行查找即可。

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

从此文件中我们可以找到/var/lib/kubelet/kubeadm-flags.env文件是在kubeadm init与kubeadm join时产生的。基本可以确定下一步的目标了。
第三步：查看/var/lib/kubelet/kubeadm-flags.env文件
使用cat /var/lib/kubelet/kubeadm-flags.env查看该文件

KUBELET_KUBEADM_ARGS="--cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=gcr.msorg.cn/google_containers/pause:3.1"

我们会发现需要的内容真的在里面，这时候只需要改了pod-infra-container-image这个参数为我们所需要的，重新启动kubelet即可，每个node节点都需要手动修改。

更新kubeadm配置

Kubernetes中存有名为kubeadm-config的ConfigMap配置信息，需要对其进行更新。
可以使用kubectl edit cm kubeadm-config -n kube-system命令进行编辑，修改imageRepository部分，如：imageRepository: gcr.msorg.cn/google_containers