手动搭建K8S环境

主机名

ip

系统版本

k8s-master

172.16.200.70

Centos7

k8s-node1

172.16.200.71

Centos7

k8s-node2

172.16.200.72

Centos7

前期准备好三台Centos7机器，均配置如下：

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 永久关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
# 永久关闭swap
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 修改/etc/hosts
172.16.200.70 k8s-master
172.16.200.71 k8s-node1
172.16.200.72 k8s-node2

在三台机器上均安装docker、kubeadm、kubelet，在master节点安装kubectl
配置阿里云的K8s源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装docker就不赘述了。

手动搭建K8S环境_centos


执行如下命令安装kubelet、kubeadm和kubectl

#安装kubelet、kubeadm和kubectl
yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0
#设置kubelet开机自启
systemctl enable kubelet

手动搭建K8S环境_1024程序员节_02

部署K8S-master

在master节点执行如下命令初始化master

kubeadm init --apiserver-advertise-address=172.16.200.70 --image-repository=registry.aliyuncs.com/google_containers --kubernetes-version v1.23.0 --service-cidr=10.10.10.0/24 --pod-network-cidr=10.20.20.0/24 --ignore-preflight-errors=all

然后拷贝k8s认证文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

这里记住kubeadm join这条命令，在node节点执行这条命令加入集群。

手动搭建K8S环境_ico_03

部署K8S-node

这里在两个node节点执行如下命令即可加入K8S集群

kubeadm join 172.16.200.70:6443 --token y05mrn.y5yz5g0zvjyanos5 --discovery-token-ca-cert-hash sha256:683c265dcc24cdf2f1a677f0bd38236326514d4270d2d62b602912bf8f70c22e

手动搭建K8S环境_ico_04


默认token的有效期为24小时，过了24小时之后，该token就不可用了。这时就需要重新创建token，可以在master节点直接如下命令生成：

kubeadm token create --print-join-command

部署网络

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。

wget https://docs.projectcalico.org/v3.19/manifests/calico.yaml --no-check-certificate
wget https://docs.projectcalico.org/manifests/calico.yaml --no-check-certificate

下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与之前kubeadm init的 --pod-network-cidr指定的一样。

手动搭建K8S环境_docker_05


默认calico.yaml中所使用的镜像都来源于docker.io国外镜像源，这里我们可以删除docker.io前缀以使镜像从国内镜像加速站点下载。

cat calico.yaml |grep 'image:'
sed -i 's#docker.io/##g' calico.yaml

手动搭建K8S环境_centos_06


修改完后文件后，进行部署：

#部署
kubectl apply -f calico.yaml
#查看状态，执行完上一条命令需要等一会才全部running
kubectl get pods -n kube-system

手动搭建K8S环境_docker_07


手动搭建K8S环境_docker_08

报错解决

如果在部署calico.yaml文件的时候碰到如下错误，则是因为calico版本与k8s版本不匹配导致的，可以参考​​https://projectcalico.docs.tigera.io/archive/v3.23/getting-started/kubernetes/requirements​​找到对应版本的calico。

手动搭建K8S环境_docker_09


查看pods的状态，可以看到calico的是Init:ImagePullBackOff

手动搭建K8S环境_1024程序员节_10


直接去网站进行下载：​​https://github.com/projectcalico/calico/releases​​

手动搭建K8S环境_centos_11


下载完成后解压，image文件夹下为docker镜像文件，还原

docker load < xx.tar

手动搭建K8S环境_1024程序员节_12


手动搭建K8S环境_ico_13


重新部署

#移除
kubectl delete -f calico.yml
#部署
kubectl apply -f calico.yaml

部署Dashboard

Dashboard是官方提供的一个Web UI，可用于基本管理K8s资源，执行如下命令下载yaml文件。默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml

修改如下，nodePort的端口范围为30000-32767，并且添加type：NodePort

手动搭建K8S环境_1024程序员节_14


执行如下命令应用

kubectl apply -f recommended.yaml

手动搭建K8S环境_ico_15


在master节点创建service account并绑定默认cluster-admin管理员集群角色

# 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard。

eyJhbGciOiJSUzI1NiIsImtpZCI6IjNpbzFJbTg4UjlpcjFBdS1rb1J3NzFtY3BETlhtVkQ3S0hXZWwwU0MwN1UifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tYzdzcHAiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiZjAyMTE1OWMtZjcyMC00YTZlLWFiY2MtYzIzYWRhZjBiZjk5Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.aD_ZtS0domXxtWz-2BaGmZebJMqoNvWqHgJ4K7kQ9eir5JvIqTsrxM14dNrUrEFRZC2hw6Gn_xz7Nezy81XPU64HHcbGiNvNU8-K7OwvTWwTOpDBRPho1CaxJsKBrlQwoNf1pzoShqO-JdL4kVfJUmKthjUqv8QduwVzEkCWeTXgcHOoPnsOaJSXJzwanAC4e5pIovcjMGQJU4W87T8uVW4bdO4w48c-101-mMYHMouKVRxF8OOTuGHFXUDpYCKAOvfA73gtwoyi_4wiSqS7NSZZTGwFfppUYDomjoA3FUFubZ2xLoc8fN2GoFzzTcylxFHTCfupJM2nUVs9vxQbJw

手动搭建K8S环境_ico_16


https://master ip 或 node ip:31000 均可

https://172.16.200.70:31000/
https://172.16.200.71:31000/
https://172.16.200.72:31000/

手动搭建K8S环境_1024程序员节_17


手动搭建K8S环境_1024程序员节_18

报错解决

[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get "http://localhost:10248/healthz": dial tcp [::1]:10248: connect: connection refused.

手动搭建K8S环境_1024程序员节_19


这是因为Docker和 kubelet 服务中的 cgroup 驱动不一致导致的，有两种方法解决：

  • 方式一：驱动向 docker 看齐
  • 方式二：驱动为向 kubelet 看齐

这里使用方式二，驱动向kubelet 看齐。首先查看kubelet的驱动，可以看到为systemd。
修改/etc/docker/daemon.json 文件，将其驱动也配置为systemd，然后启动docker即可。

{
  "exec-opts": [
    "native.cgroupdriver=systemd"
  ],
  "registry-mirrors": [
    "http://docker-registry-mirror.kodekloud.com"
  ]
}

手动搭建K8S环境_centos_20