1. 1 基础环境准备
1.1.1 硬件准备
机器配置:2核CPU,4G内存,40G系统盘
系统:CentOS7.7
机器数量:3台 (master01 node01 node02)
1.1.2 系统环境配置
修改配置静态hostname
hostnamectl set-hostname master01 --static
修改hosts表,集群所有节点保持文件内容一致
#Kubernetes
172.31.53.87 master01
172.31.53.88 node01
172.31.53.86 node02
配置服务器时间统一
关闭firewalld
systemctl stop firewalld
systemctl disable firewalld
关闭SELinux
getsebool #查看selinux
setenforce 0 #临时生效
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config #永久生效(需要重启服务器)
关闭swap
# 临时关闭
swapoff -a
# 永久关闭
注释掉/etc/fstab下的swap一行
1.1.3 Docker环境准备
更新yum包索引
yum update
安装软件包以允许yum通过HTTPS使用存储库
yum -y install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common
添加Docker的官方GPG密钥
cd /etc/yum.repos.d/
curl -O https://download.docker.com/linux/centos/docker-ce.repo
安装docker-ce最新版本
yum -y install docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker
docker info
解决问题:WARNING: No swap limit support(操作系统下docker不支持内存限制的警告),基于RPM的系统上不会发生此警告,该系统默认情况下启用这些功能。解决方法:vim /etc/default/grub 添加或编辑GRUB_CMDLINE_LINUX行以添加这两个键值对"cgroup_enable=memory swapaccount=1",例子:
GRUB_CMDLINE_LINUX="cgroup_enable=memory swapaccount=1 net.ifnames=0 vga=792 console=tty0 console=ttyS0,115200n8 noibrs"
docker 在 1.13 版本之后,将系统iptables 中 FORWARD 链的默认策略设置为 DROP,并为连接到 docker0 网桥的容器添加了ACCEPT规则,临时解决办法:
iptables -P FORWARD ACCEPT
永久解决办法:
vim /lib/systemd/system/docker.service
# 在[Service]下添加:
ExecStartPost=/sbin/iptables -P FORWARD ACCEPT
systemctl daemon-reload && systemctl restart docker.service
注意:不同的操作系统iptables命令的路径可能不一样。需要随系统更改。
设置daemon.json
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": ["https://ezdhou8v.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
systemctl daemon-reload && systemctl restart docker.service
1.1.4 kubeadm环境准备
配置yum源,安装kubeadm、kubelet、kubectl
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet
开启这些设置使通过网桥的数据包由主机系统上的iptables规则处理,默认关闭,设置为1则开启
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system
1.2 创建单控制平面集群
1.2.1 初始化集群
命令详解
kubeadm config upload from-file:由配置文件上传到集群中生成ConfigMap;
kubeadm config upload from-flags:由配置参数生成ConfigMap;
kubeadm config view:查看当前集群中的配置值;
kubeadm config print init-defaults:输出kubeadm init默认参数文件的内容;
kubeadm config print join-defaults:输出kubeadm join默认参数文件的内容;
kubeadm config migrate:在新旧版本之间进行配置转换;
kubeadm config images list:列出所需的镜像列表;
kubeadm config images pull:拉取镜像到本地;
生成配置文件
kubeadm config print init-defaults > init-defaults.yaml
vim init-defaults.yaml修改:
clusterName: Cluster01
advertiseAddress: 172.24.51.176
imageRepository: registry.aliyuncs.com/google_containers
执行初始化操作
kubeadm init --config init-defaults.yaml
或者
kubeadm init --apiserver-advertise-address=172.24.51.176 --image-repository=registry.aliyuncs.com/google_containers
# 执行完初始化保存最后输出的结果到文件:管理用户配置、部署网络、添加节点相关信息.如果在初始化集群的时候出现报错,请执行 kubeadm reset 命令执行重置,解决提示的报错后在执行初始化操作。
1.2.2 kubectl配置文件
root用户
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /root/.bashrc
source /root/.bashrc
非root用户
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
1.2.3 kubectl参数自动补全
查看completion帮助
kubectl completion -h
kubectl自动补全添加到当前shell
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
1.2.4 Kubernetes网络
kubectl apply -f https://docs.projectcalico.org/v3.14/manifests/calico.yaml
kubectl get pods -n kube-system
如果calico的pod长时间不ready,
调整calicao 网络插件的网卡发现机制,修改IP_AUTODETECTION_METHOD对应的value值。官方提供的yaml文件中,ip识别策略(IPDETECTMETHOD)没有配置,即默认为first-found,这会导致一个网络异常的ip作为nodeIP被注册,从而影响node-to-node mesh。我们可以修改成can-reach或者interface的策略,尝试连接某一个Ready的node的IP,以此选择出正确的IP。
// calico.yaml 文件添加以下二行
- name: IP_AUTODETECTION_METHOD
value: "interface=ens.*" # ens 根据实际网卡开头配置
// 配置如下
- name: CLUSTER_TYPE
value: "k8s,bgp"
- name: IP_AUTODETECTION_METHOD
value: "interface=ens.*"
#或者 value: "interface=ens160"
1.2.5 Nodes资源管理
1.2.5.1 添加Node节点
# 创建token (Master01节点执行)
kubeadm token create
# 永久token
kubeadm token create --ttl 0
# 查看token (Master01节点执行)
kubeadm token list
# 获取discovery-token-ca-cert-hash值(Master01节点执行)
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'
# 添加work节点到kubernetes集群(work node节点执行)
kubeadm join <api-server-ip:port> --token <toke> --discovery-token-ca-cert-hash sha256:<discovery-token-ca-cert-hash>
kubeadm token create --print-join-command
# 自动生成以下命令,直接加入节点
kubeadm join 172.21.184.81:6443 --token jde7q3.bv4ehxnyxfe04m56 --discovery-token-ca-cert-hash sha256:cde3bc85a4fbc5bdb0e78a532d0fa0fbc301485f7d86806c06ea59f6f9610032
1.2.5.2 删除Node节点
# 删除节点
kubectl delete nodes <node_name>
# 删除/etc/kubernetes目录
rm -rf /etc/kubernetes/
# ssh到<node_name>执行清理残留操作
kubeadm reset
# 清理Iptables
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
或者
# 清理IPVS
ipvsadm -C
1.3 验证
# 检查组件状态是否正常
kubectl get componentstatuses
# 查看集群系统信息
kubectl cluster-info
# 查看核心组件是否运行正常(Running)
kubectl -n kube-system get pod
# 每次重启之后,删除非Up状态的容器
docker ps -a | grep -v Up | xargs docker rm -f