一、 Kubernetes介绍
各节点所需组件
Master:docker,kubeadm,kubelet,
组件 | 版本 | 备注 |
Kubelet | 1.13.5 | 组件 |
Kubeadm | 1.13.5 | 组件 |
Kubectl | 1.13.5 | 组件 |
Docker | 18.0.9.3 | CgroupDriver: systemd |
kube-proxy | V1.13.5 | 镜像 |
kube-controller-manager | V1.13.5 | 镜像 |
kube-apiserver | V1.13.5 | 镜像 |
kube-scheduler | V1.13.5 | 镜像 |
quay.io/coreos/flannel | v0.11.0-amd64 | 镜像 |
Coredns | 1.2.6 | 镜像 |
Etcd | 3.2.24 | 镜像 |
pause | 3.1 | 镜像 |
节点信息
地址 | 角色 | 备注 |
172.18.14.90 | Master | |
172.18.14.91 | Node | |
172.18.14.92 | node |
二、 环境配置
Docker安装省略,kubermetes1.13.5版本最高支持docker18.06这里安装的是18.09
一、 以root用户登陆,配置kubernetes镜像源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
二、 禁用selinux,关闭防火墙
修改配置文件/etc/selinux/ config
SELINUX=disabled
#setenforce 0
或者
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
systemctl stop firewalld
systemctl disable firewalld
三、 设置网桥包经IPTables,core文件生成路径
echo """
vm.swappiness = 0
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
""" > /etc/sysctl.conf
sysctl -p
四、 同步时间
yum install -y ntpdate
ntpdate -u ntp5.aliyun.com
#ntp1-7. aliyun.com都可以,如无法联网则可以自建ntp服务器
五、 更新内核
升级内核(可选),1.14版本支持5.0,1.13.5可忽略警告
$ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
$ rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
上述命令为启用elrepo仓库,我们可以使用以下命令列出可用的系统内核相关包:
$ yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
之后,就可以安装最新的稳定内核:
$ yum --enablerepo=elrepo-kernel install kernel-ml
重启机器,并选择最新安装的内核(第一个)
进入系统之后,查看内核版本uname -r
设置GRUB默认的内核版本
启动系统时,系统默认选择之前的版本,所以我们需要设置一下GRUB
重新创建内核配置
$ grub2-mkconfig -o /boot/grub2/grubenv
重启
六、 重启# 确认内核版本后,开启IPVS #功能开启暂时未使用
#uname -a
#cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in \${ipvs_modules}; do
/sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1
if [ $? -eq 0 ]; then
/sbin/modprobe \${kernel_module}
fi
done
EOF
#chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs
三、 安装kubernetes组件
通过kubeadm安装部署,镜像仓库采用阿里云。安装速度取决于网速
一、 安装组件
#最新版1.14安装测试问题较多,所以用了1.13.5
yum install -y kubelet-1.13.5 kubeadm-1.13.5 kubectl-1.13.5
二、 初始化master
#kubeadm init --kubernetes-version=1.13.5 --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=swap --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers --ignore-preflight-errors=SystemVerification
# --pod-network-cidr使用flannel网络解决方案,默认10.244.0.0/16,如不指使用flannel时则会失败
#--image-repository 使用阿里云镜像源,免去 科xue上网
#--ignore-preflight==SystemVerification 忽略内核版本
#--ignore-preflight-errors=swap 忽略swap设备警告,建议禁止swap设备
出现如下即成功
添加flannel插件:kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
三、 执行脚本
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
四、 记录令牌
l 添加Work节点
kubeadm join 172.18.14.90:6443 --token 17s13m.l22ssehvmm8ka1fy --discovery-token-ca-cert-hash sha256:90775d540aeb69e0e74405a3c3dd754afec0e58c020c312c07afc01b2813a4e7 --ignore-preflight-errors=swap --ignore-preflight-errors=SystemVerification
l 查看状态
# kubectl get node
# kubectl get pod --all-name-spaces
四、 安装dashboard
详情可见:https://github.com/kubernetes/dashboard
个人参考:https://www.jianshu.com/p/c6d560d12d50
一、 下载镜像
#docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64
更名
#docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kubernetes-dashboard-amd64 k8s.gcr.io/kubernetes-dashboard-amd64
二、 部署
#master节点执行如下
# kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
#开启代理
# kubectl proxy
如下所示已正常运行。
测试发现dashboard的证书过期,用浏览器无法访问。
三、 制作证书
命令参考:alias ksys='kubectl -n kube-system'
1) 生成证书通过openssl生成自签名证书
#cd /root/keys
# openssl genrsa -out dashboard.key 2048
# openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=172.18.14.90‘
# openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt
# openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.cr
#openssl x509 -in dashboard.crt -text -nooutt
这样就有了证书文件dashboard.crt 和 私钥 dashboad.key
2) 下载yaml,并修改
#wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml |
#删除Dashboard Secret字段中的内容
#修改service 为nodeport类型,固定访问端口
修改前
kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kube-system spec: ports: - port: 443 targetPort: 8443 selector: k8s-app: kubernetes-dashboard |
修改后
kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kube-system spec: type: NodePort ports: - port: 443 nodePort:30003 #固定30003端口 targetPort: 8443 selector: k8s-app: kubernetes-dashboard |
3) 生成secret
#ksys create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt
#ksys get secret | grep dashboard
#ksys describe secret kubernetes-dashboard-certs
如下图所示
4) 重新apply yaml文件
#kubectl apply -f kubernetes-dashboard.yaml
查看服务状态
5) 通过浏览器访问:
四、 设置DashBoard-身份验证
登录dashboard
的时候支持Kubeconfig
和token
两种认证方式,Kubeconfig 中也依赖token 字段,所以生成token 这一步是必不可少的。
生成token
我们创建一个admin
用户并授予admin 角色绑定,使用下面的yaml文件创建admin用户并赋予他管理员权限,然后就可以通过token 登陆dashbaord
,这种认证方式本质实际上是通过Service Account
的身份认证加上Bearer token
请求 API server 的方式实现,参考 Kubernetes 中的认证
1)
kind: ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: admin annotations: rbac.authorization.kubernetes.io/autoupdate: "true" roleRef: kind: ClusterRole name: cluster-admin apiGroup: rbac.authorization.k8s.io subjects: - kind: ServiceAccount name: admin namespace: kube-system --- apiVersion: v1 kind: ServiceAccount metadata: name: admin namespace: kube-system labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile |
.在node节点上创建:vim admin-sa.yaml
2) 执行如下
#kubectl create -f admin-sa.yaml
#查看是否成功
3) 获取token
#kubectl get secret gitlab-admin -o jsonpath="{['data']['token']}" | base64 --decode
屏幕输出相应token,输入就可以登陆
五、 记录坑
l 下载镜像
可通过
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/镜像名字:版本号
注意冒号,然后tag自己所需的镜像名
l master开放6443端口(建议禁用firewalld和iptables)
l 查看kubelet报错详细信息
journalctl -xeu kubelet
l kubelet增加启动参数
建议禁用swap设备
l 设置docker 驱动
#more /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
#systemctl daemon-reload
# systemctl restart docker
#docekr info 查看是否更改