Kubernetes节点加入，经验总结

  • kubeadm安装Kubernetes，实践记录。

Kubernetes主控节点建立后（方法参见上面的链接），就可以随时添加 更多的工作节点进去构建更大的集群（minikube设计为单机开发使用，不能添加工作节点），容器实例可以在所有符合条件的node上调度运行，这是Kubernetes最为强大的功能。

  • 因为容器工作负载可以在任何节点上运行，所以存储和计算资源都应该设计为通过网络接口访问，资源、服务和计算任务都是浮动的。
  • kubeadm join 命令可以添加工作节点。最简单的方式是通过Token，主控节点上使用kubeadm token命令可以管理集群所产生的Token。

1、节点命名规则

K8S本身就是采用一套名称规则来标记和筛选容器的系统。节点的命名有一个统一规划，后面管理起来会更方便。局域网中直接会根据机器名列出节点，因此不要使用同名，最好加上数字编号，前面用英文字母顺序，便于排序。

2、节点加入命令

kubeadm init 结束时会自动产生节点加入的命令，最好记下来。

如果忘了，可以使用kubeadm token create --print-join-command 方法重新生成链接Token并打印输出加入命令。网上搜了好久，终于发现这个方法，不过要1.9以后的版本才支持的，如果不支持这个参数，整个集群的Kubeadm版本都需要升级到新版本。

3、确保Kubelet已启动

每一个node的kubelet都必须进去设置cgroup-drive和swap关闭的启动选项，跟主控节点一样（参见上民面安装Kubernetes的方法），然后需要重新启动，通过systemctl daemon-reload/systemctl restart kubelet来进行。

如果node上显示添加成功，但Master上显示不出来，在node机上使用systemctl status kubelet查看下服务的状态，检查里面的各项状态，单独处理。

4、确保网络flannel镜像可用

quay.io的flannel网络镜像下载很慢，最好单独下载。如下：

docker pull quay.io/coreos/flannel:v0.10.1-amd64

如果用其它网络驱动，也是一样，需要确保可用。

5、网络flannel依赖DNS镜像

目前flannel网络0.10.1的DNS需要依赖kube-dns1.14.8版本，不是Kubernetes1.10.2版本安装时的1.14.10，需要单独把容器镜像下载下来。否则，速度太慢，还以为死机了。如下：

docker pull k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.8

6、Docker代理与Registry指向

一定不要在K8S中使用本地编译的Docker镜像，要推送到服务器上，因为其他节点还是需要从Registry服务器去下载的，建立本地集群的统一Registry 服务就很重要了，可以使用Harbor 来搭建。

7、docker版本必须一致

docker版本必须一致，否则总是NotReady，然后报CNI错误，Network NotReady等。

强制安装为18.03.1后变为Ready。如下方法：

sudo apt install docker-ce=18.03.1~ce-0~ubuntu

可以使用 apt-cache madison docker-ce 查看可用的docker版本。

目前最新的18.05有一些问题，而Nvidia-Docker2只支持到18.03.1，自己编译的18.05的lib-container-runtime运行时出现CNI错误。

8、安装Nvidia-Docker2和k8s GPU插件

如果需要做机器学习，工作节点上也需要安装所有的Nvidia驱动、cuCuda、cuTensor、Nvidia-Docker2和Nvidia的K8S插件，不管是不是安装有Nvidia的显卡。

安装方法参考：

  • Ubuntu快速玩转机器学习，

安装Kubernetes上的GPU支持软件：

9、显卡最好一样

GPU节点的显卡型号最好都一样，否则调度时可能会出问题，轻者出现异常，重者直接导致节点挂掉。现在Kubernetes无法对GPU内部资源进行识别和调度，基本管理单元是GPU块数，而且是独占。一旦请求GPU的容器获得资源，无论是否在使用，其它的容器将不能同时请求该GPU，除非原来的容器退出。

10、诊断节点状态

如果节点在kubectl get node可以看见但状态一直NotReady，可以使用kubectl describe node my-node的方式，查看详细的node运行情况。