k8s虚拟化 虚拟机搭建k8s集群

一、前言

下面这个坑我也遇到了，同时看到别人的博客也遇到了，害的我废了一天的时间来解决这个问题，但是毫无卵用，气的我快吐血：

问题：因为k8s把版本的问题，一路走下去，其他配置都没问题，唯独再安装到kubeadm init的是时候出现问题：安装到kubeadm init时候报错：node xxx not found等，就是找不到某个镜像，明明是有的，这就让我想到了，是不是我虚拟机版本问题，害的我重装了几次，最后发现才是k8s版本。

二、准备环境

环境	说明
宿主机	windows10
vmware	版本v16
centos（使用 cat /etc/redhat-release 查看）	centos Linux Release 7.9.2009（core）
linux内核（使用uname -r查看）	3.10.0-1160.e17.x86_64

虚拟机	说明
192.168.3.133	Master
192.168.3.134	node1
centos

安装步骤如下：
安装docker-ce 18.09.9（所有机器）
设置k8s环境前置条件（所有机器）
安装k8s v1.16.0 master管理节点
安装k8s v1.16.0 node工作节点
安装flannel（master）

虚拟机安装好后
请确保使用这两个ip在master和node上能互相ping通。

三、安装Docker（所有机器都安装）

所有安装k8s的机器都需要安装docker，命令如下：

# 安装docker所需的工具
yum install -y yum-utils device-mapper-persistent-data lvm2
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 指定安装这个版本的docker-ce
yum install -y docker-ce-18.09.9-3.el7
# 启动docker
systemctl enable docker && systemctl start docker

四、设置k8s环境准备条件（所有机器都需要执行）

我这边安装k8s的机器是2个CPU和4g内存（最少也得2个CPU和2g内存），在虚拟机里面配置一下就可以了。然后执行以下脚本做一些准备操作。所有安装k8s的机器都需要这一步操作。

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld
# 关闭selinux
# 临时禁用selinux
setenforce 0
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 禁用交换分区
swapoff -a
# 永久禁用，打开/etc/fstab注释掉swap那一行。
sed -i 's/.*swap.*/#&/' /etc/fstab
# 修改内核参数
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

五、安装k8s master管理节点

在执行这一步时候必须先完成三、四步。之后执行下面操作：

安装kubeadm、kubelet、kubectl
由于官方k8s源在google，国内无法访问，这里使用阿里云yum源

# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装kubeadm、kubectl、kubelet
yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet

初始化k8s 以下这个命令开始安装k8s需要用到的docker镜像，因为无法访问到国外网站，所以这条命令使用的是国内的阿里云的源(registry.aliyuncs.com/google_containers)。另一个非常重要的是：这里的–apiserver-advertise-address使用的是master和node间能互相ping通的ip，我这里就是master节点的ip，（这个ip必须修改成自己的，别忘了）。这条命令执行时会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull，大概需要2分钟，请耐心等待。

kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 192.168.3.133 --pod-network-cidr=10.244.0.0/16 --token-ttl 0

# 上面安装完成后，k8s会提示你输入如下命令，执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

记住node加入集群的命令 上面kubeadm init执行成功后会返回给你node节点加入集群的命令，等会要在node节点上执行，需要保存下来

命令长这样，你直接复制粘贴，之后要在node节点执行，目的就是让node节点加入集群

kubeadm join 192.168.3.133:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:c2d6067d5c3b12118275958dee222226d09a89fc5fb559687dc989d2508d5a50

如果上面的命令忘记了，可以使用如下命令重新获取。

kubeadm token create --print-join-command

以上，安装master节点完毕。可以使用kubectl get nodes查看一下，此时master处于NotReady状态，暂时不用管。

六、安装k8s node工作节点

在执行这一步时候必须先完成三、四步。之后执行下面操作：
安装kubeadm、kubelet

# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装kubeadm、kubectl、kubelet
yum install -y  kubeadm-1.16.0-0 kubelet-1.16.0-0
# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet

加入集群 这里加入集群的命令每个人都不一样，可以登录master节点，使用kubeadm token create --print-join-command 来获取。获取后执行如下。

# 加入集群，如果这里不知道加入集群的命令，可以登录master节点，使用kubeadm token create --print-join-command 来获取
kubeadm join 192.168.3.133:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:c2d6067d5c3b12118275958dee222226d09a89fc5fb559687dc989d2508d5a50

加入成功后，可以在master节点上使用kubectl get nodes命令查看到加入的节点。

七、安装flannel（master机器）

以上步骤安装完后，机器搭建起来了，但状态还是NotReady状态，如下图，master机器需要安装flanneld。
下载 flannel 的 yml文件：

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

执行命令：

kubectl apply -f kube-flannel.yml

等待k8s 把 pod：flannel生效 可以用命令查看状态进度：

kubectl get pods -n kube-system

等 flannel 状态显示 Running后

执行查看k8s集群运行状态命令：

sudo kubectl get nodes

此时发现master虚拟机状态已经Ready了，但是工作node没有起来，状态是NotReady

下面去配置工作node虚拟机上的flannel配置

在node节点机器上
运行命令把master节点的配置copy到工作节点
（192.168.3.133为master节点ip）

scp -r 192.168.3.133:/etc/cni /etc/cni

重启启动 kubelet

systemctl restart kubelet

回到master节点查看

执行查看k8s集群运行状态命令：

sudo kubectl get nodes

到此k8s集群搭建完毕！

八、安装 Dashboard 插件

Kubernetes Dashboard 是 k8s集群的一个 WEB UI管理工具，代码托管在 github 上，地址：https://github.com/kubernetes/dashboard

直接使用官方的配置文件安装即可：

wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

默认不对外开放端口，下载好了后需要自己手动改下配置文件，
为了测试方便，我们将Service改成NodePort类型，注意 YAML 中最下面的 Service 部分新增一个type=NodePort：

其中nodePort 就是对外的访问端口：

因为我是在我的master节点安装的（master节点ip）：访问地址https://192.168.3.133:32443/#/cluster?namespace=default

当然直接访问集群中的任何一个节点 IP 加上上面的32443端口即可打开 dashboard 页面了。

然后直接部署新版本的dashboard即可：

kubectl create -f kubernetes-dashboard.yaml

然后我们可以查看 dashboard 的外网访问端口：

kubectl get svc kubernetes-dashboard -n kube-system

由于 dashboard 默认是自建的 https 证书，该证书是不受浏览器信任的，所以我们需要强制跳转就可以了。

这是由于该用户没有对default命名空间的访问权限。

身份认证
登录 dashboard 的时候支持 Kubeconfig 和token 两种认证方式，Kubeconfig 中也依赖token 字段，所以生成token 这一步是必不可少的。

生成token
我们创建一个admin用户并授予admin 角色绑定，使用下面的yaml文件创建admin用户并赋予他管理员权限，然后就可以通过token 登陆dashbaord，这种认证方式本质实际上是通过Service Account 的身份认证加上Bearer token请求 API server 的方式实现

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: admin
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kube-system

  ---
  apiVersion: v1
  kind: ServiceAccount
  metadata:
  name: admin
  namespace: kube-system
  labels:
    kubernetes.io/cluster-service: "true"
    addonmanager.kubernetes.io/mode: Reconcile

也就是修改权限为超级管理员

上面的admin用户创建完成后我们就可以获取到该用户对应的token了，如下命令：

kubectl describe secret -n admin $(kubectl get secret -n admin |grep admin-token | awk '{print $1}') |grep token | awk '{print $2}'

然后在 dashboard 登录页面上直接使用上面得到的 token 字符串即可登录，这样就可以拥有管理员权限操作整个 kubernetes 集群的对象，当然你也可以为你的登录用户新建一个指定操作权限的用户。
（请使用火狐浏览器）

大功告成！