一、    Kubernetes介绍

各节点所需组件

Master:docker,kubeadm,kubelet,

组件

版本

备注

Kubelet

1.13.5

组件

Kubeadm

1.13.5

组件

Kubectl

1.13.5

组件

Docker

18.0.9.3

CgroupDriver: systemd

kube-proxy

V1.13.5

镜像

kube-controller-manager

V1.13.5

镜像

kube-apiserver

V1.13.5

镜像

kube-scheduler

V1.13.5

镜像

quay.io/coreos/flannel

v0.11.0-amd64

镜像

Coredns

1.2.6

镜像

Etcd

3.2.24

镜像

pause 

3.1

镜像

节点信息

地址

角色

备注

172.18.14.90

Master


172.18.14.91

Node


172.18.14.92

node


 

二、    环境配置

Docker安装省略,kubermetes1.13.5版本最高支持docker18.06这里安装的是18.09

一、     以root用户登陆,配置kubernetes镜像源

 

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

二、     禁用selinux,关闭防火墙

修改配置文件/etc/selinux/ config

SELINUX=disabled

#setenforce 0

或者

setenforce 0

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

systemctl stop firewalld

systemctl disable firewalld

 

三、     设置网桥包经IPTables,core文件生成路径

echo """

vm.swappiness = 0

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

net.bridge.bridge-nf-call-ip6tables = 1

""" > /etc/sysctl.conf

sysctl -p

四、     同步时间

yum install -y ntpdate

ntpdate -u ntp5.aliyun.com   

#ntp1-7. aliyun.com都可以,如无法联网则可以自建ntp服务器

五、      更新内核

升级内核(可选),1.14版本支持5.0,1.13.5可忽略警告

$ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

$ rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm

上述命令为启用elrepo仓库,我们可以使用以下命令列出可用的系统内核相关包:

$ yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

 

之后,就可以安装最新的稳定内核:

$ yum --enablerepo=elrepo-kernel install kernel-ml

 

重启机器,并选择最新安装的内核(第一个)

 

进入系统之后,查看内核版本uname -r

 

设置GRUB默认的内核版本

启动系统时,系统默认选择之前的版本,所以我们需要设置一下GRUB

重新创建内核配置

$ grub2-mkconfig -o /boot/grub2/grubenv

重启

六、     重启# 确认内核版本后,开启IPVS  #功能开启暂时未使用

#uname -a

 

#cat > /etc/sysconfig/modules/ipvs.modules <<EOF

#!/bin/bash

ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"

for kernel_module in \${ipvs_modules}; do

 /sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1

 if [ $? -eq 0 ]; then

 /sbin/modprobe \${kernel_module}

 fi

done

EOF

 

#chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

 

三、    安装kubernetes组件

通过kubeadm安装部署,镜像仓库采用阿里云。安装速度取决于网速

一、     安装组件

#最新版1.14安装测试问题较多,所以用了1.13.5

yum install -y kubelet-1.13.5 kubeadm-1.13.5 kubectl-1.13.5

二、     初始化master

#kubeadm init --kubernetes-version=1.13.5 --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=swap --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers  --ignore-preflight-errors=SystemVerification

 

# --pod-network-cidr使用flannel网络解决方案,默认10.244.0.0/16,如不指使用flannel时则会失败

#--image-repository  使用阿里云镜像源,免去 科xue上网

#--ignore-preflight==SystemVerification   忽略内核版本

#--ignore-preflight-errors=swap    忽略swap设备警告,建议禁止swap设备

出现如下即成功

 

 

添加flannel插件:kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

三、     执行脚本

 

  mkdir -p $HOME/.kube

  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

  sudo chown $(id -u):$(id -g) $HOME/.kube/config

四、     记录令牌

l  添加Work节点

kubeadm join 172.18.14.90:6443 --token 17s13m.l22ssehvmm8ka1fy --discovery-token-ca-cert-hash sha256:90775d540aeb69e0e74405a3c3dd754afec0e58c020c312c07afc01b2813a4e7 --ignore-preflight-errors=swap --ignore-preflight-errors=SystemVerification

l  查看状态

# kubectl get node

 

# kubectl get pod --all-name-spaces

 

四、    安装dashboard

详情可见:https://github.com/kubernetes/dashboard

个人参考:https://www.jianshu.com/p/c6d560d12d50            

 

一、     下载镜像

#docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64

更名

#docker  tag registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64  k8s.gcr.io/kubernetes-dashboard-amd64

二、     部署

#master节点执行如下

# kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

#开启代理

# kubectl  proxy

如下所示已正常运行。

部署K8S 1.13_Kubernetes

 

测试发现dashboard的证书过期,用浏览器无法访问。

三、     制作证书

命令参考:alias ksys='kubectl -n kube-system'

 部署K8S 1.13_Kubernetes_02

 

1)    生成证书通过openssl生成自签名证书

#cd  /root/keys

# openssl genrsa -out dashboard.key 2048

# openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=172.18.14.90‘

# openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt

# openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.cr

#openssl x509 -in dashboard.crt -text -nooutt

这样就有了证书文件dashboard.crt 和 私钥 dashboad.key

2)    下载yaml,并修改

#wget   https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

    #删除Dashboard Secret字段中的内容

    #修改service 为nodeport类型,固定访问端口

    修改前  

kind: Service

apiVersion: v1

metadata:

  labels:

    k8s-app: kubernetes-dashboard

  name: kubernetes-dashboard

  namespace: kube-system

spec:

   ports:

    - port: 443

      targetPort: 8443

  selector:

    k8s-app: kubernetes-dashboard

                修改后

kind: Service

apiVersion: v1

metadata:

  labels:

    k8s-app: kubernetes-dashboard

  name: kubernetes-dashboard

  namespace: kube-system

spec:

  type: NodePort

  ports:

    - port: 443

      nodePort:30003   #固定30003端口

      targetPort: 8443

  selector:

    k8s-app: kubernetes-dashboard

 

3)    生成secret

#ksys create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt

#ksys get secret | grep dashboard

#ksys describe secret kubernetes-dashboard-certs

如下图所示

 

4)    重新apply yaml文件

#kubectl apply -f kubernetes-dashboard.yaml

查看服务状态

 

5)               通过浏览器访问:

https://masterip:30003

四、     设置DashBoard-身份验证

登录dashboard 的时候支持Kubeconfig 和token 两种认证方式,Kubeconfig 中也依赖token 字段,所以生成token 这一步是必不可少的。

生成token

我们创建一个admin用户并授予admin 角色绑定,使用下面的yaml文件创建admin用户并赋予他管理员权限,然后就可以通过token 登陆dashbaord,这种认证方式本质实际上是通过Service Account 的身份认证加上Bearer token请求 API server 的方式实现,参考 Kubernetes 中的认证

1)   

kind: ClusterRoleBinding

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

  name: admin

  annotations:

    rbac.authorization.kubernetes.io/autoupdate: "true"

roleRef:

  kind: ClusterRole

  name: cluster-admin

  apiGroup: rbac.authorization.k8s.io

subjects:

- kind: ServiceAccount

  name: admin

  namespace: kube-system

---

apiVersion: v1

kind: ServiceAccount

metadata:

  name: admin

  namespace: kube-system

  labels:

    kubernetes.io/cluster-service: "true"

    addonmanager.kubernetes.io/mode: Reconcile

.在node节点上创建:vim admin-sa.yaml

2)    执行如下

#kubectl create -f admin-sa.yaml

#查看是否成功

 

3)      获取token

#kubectl get secret gitlab-admin -o jsonpath="{['data']['token']}" | base64 --decode

屏幕输出相应token,输入就可以登陆

 

 

 

五、    记录坑

l  下载镜像

可通过

docker   pull   registry.cn-hangzhou.aliyuncs.com/google_containers/镜像名字:版本号

注意冒号,然后tag自己所需的镜像名

l  master开放6443端口(建议禁用firewalld和iptables)

l  查看kubelet报错详细信息

               journalctl -xeu kubelet

l  kubelet增加启动参数

建议禁用swap设备

 

l  设置docker 驱动

#more /etc/docker/daemon.json

{

  "exec-opts": ["native.cgroupdriver=systemd"]

}

#systemctl daemon-reload

# systemctl restart docker

#docekr  info   查看是否更改