在kubernetes集群部署大数据 k8s部署大数据集群

因为部门oa系统是多租户形式的部署在k8s中，平常只是解决k8s的一些常见错误，一直想认真研究一下 k8s的部署过程，毕竟知道其中的部署过程后边解决问题才能更快的解决，所以就找时间研究了一下。

一、k8s常用组件

master节点四个组件：apiserver、etcd、controllers、scheduler
nodes 节点三个组件：kubelet、kube-proxy、container runtime

二、环境安装准备工作

1、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2、关闭selinux（安全机制）

sed -i 's/enforcing/disabled/' /etc/selinux/config #永久
setenforce 0 #临时

3、关闭swap（k8s禁止虚拟内存以提高性能）

sed -ri  's/.*swap.*/#&/' /etc/fstab #永久
swapoff -a #临时

free -m #如果swap全为0，表示已经关闭

4、在master添加hosts

两种方式
a、文本输出到hosts文件

cat >> /etc/hosts <<EOF
master节点ip  master
nodes节点ip   nodes
EOF

b、直接vim

vim /etc/hosts
master节点ip  master
nodes节点ip   nodes

5、设置网桥参数

cat >  /etc/sysctl.d/k8s <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system #生效

6、保证时间同步

yum -y install ntpdate
ntpdate time.windows.com

修改linux系统的时间EDT为CST（时区修改方法）
————————————————————————————
a、mv /etc/localtime /etc/localtime.bak
b、ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
c、date
————————————————————————————

三、使用kubeadm部署k8s

搭建docker

1、更新docker的yum源（主从节点同时操作）

wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo  #将前面的那个文件下下来写到后边这个文件中

安装docker（主从节点同时操作）

yum -y install docker-ce-19.03.13

配置docker 加速器（主从节点同时操作）

/etc/docker/daemon.json (没有则新建）

{
"registry-mirrors" : ["https://registry.docker-cn.com"]
}

开启docker开机自启（主从节点同时操作）

systemctl enable docker

搭建kubeadm 、kubelet

2、添加k8s的阿里云yum源（主从节点同时操作）

cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun. com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3、安装kubeadm、kubelet和kubectl（主从节点同时操作，自己选择合适的版本）

yum -y install kubelet-1.19.4 kubeadm-1.19.4 kubectl-1.19.4

systemctl enable kubelet.service

查看是否安装成功

yum list installed | grep kubeadm
yum list installed | grep kubelet
yum list installed | grep kubectl

查看k8s版本

kubelet --version

 

kubelet：运行在cluster所有节点上，负责启动pod和容器
kubeadm：用于初始化cluster的一个工具
kubectl：kubectl是kubenetes命令行工具，通过kubectl可以部署和管理应用，查看各种资源，创建，删除和更新组件；

4、部署kubernetes Master 节点（master 机器执行）

kubeadm init --apiserver-advertise-address=192.168.125.128   
--image-repository=registry.aliyuncs.com/google_containers  
--kubernetes-version=v1.19.4  
--service-cidr=10.96.0.0/12  
--pod-network-cidr=10.244.9.0/16

 

–apiserver-advertise-address= ：后边跟master主机ip；
–image-repository ：后边跟镜像地址，这边采用阿里云；
–kubernetes-version ：k8s版本（kubelet --version）；
–service-cidr= ： 选取不能割PodCIDR及本机网络有重叠或者冲突，一般可以选择一个本机网络和PODCIDR都没有用到的私网地址段，比如PODCIDR使用10.244.0.0/16，那么–service-cidr可以选择10.86.0.0/12，网络无重叠冲突即可；
后边两个可以直接复制，不做修改

docker images查看init后拉取的镜像

 

接下来执行：

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config``

5、将node节点加入主节点（在node节点机器）

主节点 kubeadm init成功后会生成一个kubeadm join 命令，复制到node节点执行
 
**格式：

kubeadm join --token <token> <master-ip>:<master-port（6443）> --discovery-token-ca-cert-hash sha256:<hash>**

 
如果找不到进行一下操作：

token查看，在master所在机器上执行：

kubeadm token list

默认情况下，token的有效期是24小时，如果token已经过期的话，执行：

kubeadm token create

如果找不到hash可以执行：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

6、打通master、node联系，部署网络查件（master几点操作）

kubectl get nodes

查看节点状态会发现节点未就绪执行下面两条命令

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f kube-flannel.yml

稍微等一会 执行kubectl get nodes 会看到节点status状态变成READY**

wget kube-flannel.yml的时候显示连接失败
是因为网站被墙了，建议在/etc/hosts文件添加一条

199.232.68.133 raw.githubusercontent.com

 
 

查看kubelet中系统的 那些pod

kubectl get pods -n kube-system

四、kubenetes 部署容器化应用

在集群中部署一个nginx

kubectl create deployment nginx --image=nginx #拉取一个nginx镜像

kubectl get pod -o wide  #查看nginx 是否拉取成功，在那个节点

可以到节点上执行docker images 看到新拉取的nginx 镜像
 

kubectl expose deployment nginx --port=80 --type=NodePort  #暴露nginx 端口

暴露后 执行kubectl get svc 会看到新增一个service
deployment：控制器nginx：自己随便起一个名字
–image：执行一个镜像
latest：版本
–port：暴露端口
–type：类型

部署微服务基本流程
1、项目打包( jar、war ) -->可以采用一-些工具git、maven、 jenkins
2、制作Dockerfile文件,生成镜像;
3、kubectl create deployment 镜像名称 --image=你的镜像

   
控制器、pod、docker三者之间的关系