部署环境

注意：

  • 对于kubeedge和k8s的监控可以参考这一篇——通过prometheus和grafana来监管数据；
  • 对于虚拟机环境的搭建可以参考这一篇。
  • 对于搭建所需文件：阿里云盘
  • 本文最后由错误归纳。
  • 文章每周更新，如果喜欢的话可以三联！！！
  • 云端只部署一个master节点，边缘端部署一个edgenode。云中的集群节点可以后续扩展，边缘节点也可以后续扩展。
  • 本文没有部署云的node节点，但给出了云node节点加入的操作，后续可以自行根据自己的需求场景来结合。
  • 下面是我当时的运行环境，如果采用其他OS，操作大体都类似，可以参照比对。

kubekey 安装gpu支持_运维

后续如果有需要配置文件的小伙伴请留言，如果不知道在哪个节点执行哪个操作，请注意标题后小括号里面的信息！！！

初始化（所有云边节点）

添加hosts主机名解析

cat >> /etc/hosts << EOF
192.168.18.110 edgenode
192.168.18.109 master
EOF

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

关闭swap，否则会导致kubelet无法启动

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

时间同步

yum install ntpdate -y
ntpdate time.windows.com

将桥接的IPv4流量传递到iptables的链

在每个节点上将桥接的IPv4流量传递到iptables的链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

加载br_netfilter模块

modprobe br_netfilter

# 查看是否加载
lsmod | grep br_netfilter

# 生效
sysctl --system

重启所有机器

reboot

安装docker-ce（所有云边节点）

安装docker

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

yum -y install docker-ce-18.06.3.ce-3.el7

# 开机自启
systemctl enable docker && systemctl start docker

# 查看docker版本号
docker version

设置Docker镜像加速器

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],	
  "registry-mirrors": ["https://du3ia00u.mirror.aliyuncs.com"],	
  "live-restore": true,
  "log-driver":"json-file",
  "log-opts": {"max-size":"500m", "max-file":"3"},
  "storage-driver": "overlay2"
}
EOF

sudo systemctl daemon-reload

sudo systemctl restart docker

添加阿里云的YUM软件源

由于kubernetes的镜像源在国外，非常慢，这里切换成国内的阿里云镜像源：

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

使用阿里源安装kubelet，kubeadm和kubectl组件（所有云边节点）

yum install -y kubelet-1.19.4 kubeadm-1.19.4 kubectl-1.19.4

设置为开机自启动即可

systemctl enable kubelet

安装Kubernetes集群

在云master上指定阿里云镜像仓库地址（云的master节点）

在云master主机上使用kubeadm创建kubernetes集群，这里我们使用阿里云的镜像进行加速，这里kubeadm会安装和自己版本匹配的kubernetes。这里的192.168.18.109为云的master IP。

kubeadm init \
  --apiserver-advertise-address=192.168.18.109 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.19.4 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16

执行完毕会输出很多提示指令需要我们执行
后续的两步操作都与下面这段输出的信息有关，请仔细阅读下面信息。

Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
  export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join master IP:端口号 --token 字符串1

我们按照提示在云的master节点执行，这样kubectl就可以访问到本地的kube-api-server了。

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

部署k8s的Node节点（云的node节点）

如果需要云的node节点加入集群节点，执行上面提示的命令加入刚才创建的集群。（该操作可根据用户需求自行创建云集群节点。本文云中只有一个master节点，无其他集群节点，所以这条指令无需执行。）

kubeadm join master IP:端口号 --token 字符串1

安装CNI网络插件（云的master节点）

kubectl apply -f calico.yaml

# 在Master节点使用kubectl工具查看节点状态：
kubectl get nodes

# 查看集群健康状况
kubectl get cs

# 查看集群信息
kubectl cluster-info

安装KubeEdge

kubeEdge和kubernetes类似，提供了keadm工具用来快速搭建kubeedge集群，我们可以提前在KubeEdge的github官网上面下载keadm1.9.2

云端安装（云的master节点）

下载安装keadm

tar -xvf keadm-v1.9.2-linux-amd64.tar.gz

cp keadm-v1.9.2-linux-amd64/keadm/keadm /usr/bin/

避免下载过慢，将kubeedge-v1.9.2-linux-amd64.tar.gz文件和checksum_kubeedge-v1.9.2-linux-amd64.tar.gz.txt预先下载存放。

sudo mkdir /etc/kubeedge/
sudo cp kubeedge-v1.9.2-linux-amd64.tar.gz /etc/kubeedge/
sudo cp checksum_kubeedge-v1.9.2-linux-arm64.tar.gz.txt /etc/kubeedge/

使用keadm安装kubeedge的云端组件cloudcore

  • –advertise-address=xxx.xx.xx.xx
    这里的xxx.xx.xx.xx换成你master机器的ip,可以是内网地址，也可以是公网ip地址，–kubeedge-version=1.9.2
    意思是指定安装的kubeEdge的版本，如果你默认不指定那么keadm会自动去下载最新的版本。
  • 注意，这个命令会下载很多github上的资源，很容易存在无法访问，可以使用这个网站查询raw.githubusercontent.com的IP地址并且写入hosts文件。
sudo keadm init --advertise-address=192.168.18.109 --kubeedge-version=1.9.2

这里一般会报错误：
由于不能访问外网，这里一般会缺少配置文件，报错信息中会提示你如下信息：在哪个文件夹缺少哪个文件。（该文件会以一个链接的形式让你去这个地方下载）
错误1

Error: failed to exec 'bash -c cd /etc/kubeedge/crds/reliablesyncs && wget -k --no-check-certificate --progress=bar:force https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml', err: --2023-05-15 00:06:19--  https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml

解决方案1

mkdir -p /etc/kubeedge/crds/reliablesyncs

cp cluster_objectsync_v1alpha1.yaml /etc/kubeedge/crds/reliablesyncs/

错误2：

Error: failed to exec 'bash -c cd /etc/kubeedge/crds/devices && wget -k --no-check-certificate --progress=bar:force https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/devices/devices_v1alpha2_device.yaml', err: --2023-05-15 00:32:23--  https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/devices/devices_v1alpha2_device.yaml

解决方案2

mkdir -p /etc/kubeedge/crds/devices
cp devices_v1alpha2_device.yaml /etc/kubeedge/crds/devices/

错误3：

Error: failed to exec 'bash -c cd /etc/kubeedge/crds/router && wget -k --no-check-certificate --progress=bar:force https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/router/router_v1_rule.yaml', err: --2023-05-15 00:38:56--  https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/crds/router/router_v1_rule.yaml

解决方案3

mkdir -p /etc/kubeedge/crds/router

cp router_v1_rule.yaml /etc/kubeedge/crds/router/

其他错误解决方案和上面类似，去官网下载配置文件，移入对应的文件夹。然后重新上述操作，安装cloudcore组件。

解决完后，我们可以看到cloudcore守护进程已经在运行了，cloudcore会监听本地的10000和10002端口。

#查到2个cloudcore进程
ps -ef|grep cloudcore

root      91285      1  0 00:49 pts/0    00:00:00 /usr/local/bin/cloudcore
root      92919   8099  0 00:50 pts/0    00:00:00 grep --color=auto cloudcore

将cloudcore加入systemd自启动管理中

cloudcore可能不会自动启动，我们将其systemd自启动管理中

sudo cp /etc/kubeedge/cloudcore.service /etc/systemd/system/

sudo systemctl daemon-reload

sudo systemctl start cloudcore.service

sudo systemctl enable cloudcore.service

查看cloudcore的状态

sudo systemctl status cloudcore

和下面信息一样则cloudcore启动成功！（这是值得骄傲的，因为你运气太好了！）

● cloudcore.service
   Loaded: loaded (/etc/systemd/system/cloudcore.service; enabled; vendor preset: disabled)
   Active: active (running) since 三 2023-05-17 03:43:06 CST; 6s ago
 Main PID: 20883 (cloudcore)
    Tasks: 9
   Memory: 11.9M
   CGroup: /system.slice/cloudcore.service
           └─20883 /usr/local/bin/cloudcore

如果出现（没有报绿，出现了红色），或 cloudcore.service failed等信息则出现错误！！！

● cloudcore.service
   Loaded: loaded (/etc/systemd/system/cloudcore.service; enabled; vendor preset: disabled)
   Active: activating (auto-restart) (Result: exit-code) since 三 2023-05-17 03:21:28 CST; 8s ago
  Process: 119737 ExecStart=/usr/local/bin/cloudcore (code=exited, status=1/FAILURE)
 Main PID: 119737 (code=exited, status=1/FAILURE)

5月 17 03:21:28 cloudmaster systemd[1]: Unit cloudcore.service entered failed state.
5月 17 03:21:28 cloudmaster systemd[1]: cloudcore.service failed.

查看日志排除信息

journalctl -u cloudcore -n 50

日志显示错误信息

5月 17 03:23:42 cloudmaster cloudcore[122938]: I0517 03:23:42.656764  122938 server.go:77] Version: v1.9.2
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.668133  122938 module.go:52] Module cloudhub registered successfully
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.678434  122938 module.go:52] Module edgecontroller registered successfully
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.678494  122938 module.go:52] Module devicecontroller registered successfully
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.678512  122938 module.go:52] Module synccontroller registered successfully
5月 17 03:23:43 cloudmaster cloudcore[122938]: W0517 03:23:43.678529  122938 module.go:55] Module cloudStream is disabled, do not register
5月 17 03:23:43 cloudmaster cloudcore[122938]: W0517 03:23:43.678533  122938 module.go:55] Module router is disabled, do not register
5月 17 03:23:43 cloudmaster cloudcore[122938]: W0517 03:23:43.678537  122938 module.go:55] Module dynamiccontroller is disabled, do not register
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.680573  122938 core.go:46] starting module cloudhub
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.680605  122938 core.go:46] starting module edgecontroller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.680620  122938 core.go:46] starting module devicecontroller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.680630  122938 core.go:46] starting module synccontroller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.680979  122938 upstream.go:125] start upstream controller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.681009  122938 downstream.go:878] Start downstream devicecontroller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.681015  122938 downstream.go:339] start downstream controller
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.781066  122938 server.go:257] Ca and CaKey don't exist in local directory, and will read from the secret
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.786548  122938 server.go:302] CloudCoreCert and key don't exist in local directory, and will read from the secret
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.799633  122938 signcerts.go:100] Succeed to creating token
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.799684  122938 server.go:44] start unix domain socket server
5月 17 03:23:43 cloudmaster cloudcore[122938]: I0517 03:23:43.799834  122938 uds.go:71] listening on: //var/lib/kubeedge/kubeedge.sock
5月 17 03:23:43 cloudmaster cloudcore[122938]: F0517 03:23:43.810413  122938 server.go:63] listen tcp 0.0.0.0:10002: bind: address already in use
5月 17 03:23:43 cloudmaster systemd[1]: cloudcore.service: main process exited, code=exited, status=1/FAILURE
5月 17 03:23:43 cloudmaster systemd[1]: Unit cloudcore.service entered failed state.
5月 17 03:23:43 cloudmaster systemd[1]: cloudcore.service failed.

解决办法：
开启dynamiccontroller（对应edgecore中的list watch功能），需要修改配置。

# 修改/etc/kubeedge/config/cloudcore.yaml
vim /etc/kubeedge/config/cloudcore.yaml

# 开启dynamic controller
   dynamicController:
-    enable: false
+    enable: true    # 开启dynamicController以支持edgecore的listwatch功能

# 杀掉当前cloudcore进程
pkill cloudcore

systemctl restart cloudcore

# 查看cloudcore是否运行
systemctl status cloudcore

使用systemctl status edgecore.service命令，输出active (running)，则可以判断为cloudcore运行。

● cloudcore.service
   Loaded: loaded (/etc/systemd/system/cloudcore.service; enabled; vendor preset: disabled)
   Active: active (running) since 三 2023-05-17 03:43:06 CST; 6s ago
 Main PID: 20883 (cloudcore)
    Tasks: 9
   Memory: 11.9M
   CGroup: /system.slice/cloudcore.service
           └─20883 /usr/local/bin/cloudcore

获得边缘设备接入的token

sudo keadm gettoken

随后会输出边缘接入云的token。

字符串2[root@master ~]#

edge部分（边缘节点）

下载解压安装keadm

tar -xvf keadm-v1.9.2-linux-amd64.tar.gz

sudo cp keadm-v1.9.2-linux-amd64/keadm/keadm /usr/bin/

sudo mkdir /etc/kubeedge/

sudo cp kubeedge-v1.9.2-linux-amd64.tar.gz /etc/kubeedge/

sudo cp checksum_kubeedge-v1.9.2-linux-amd64.tar.gz.txt /etc/kubeedge/

边缘端加入集群

这里的kubeedge-version=1.9.2，是你用的kubeedge版本号，如果不指定的话回去官网下载最新的版本。建议指定版本号，并且云的master节点的kubeedgge与边缘节点的kubeedgge版本号要一致。
对于cloudcore-ipport=192.168.18.109:10000，这里的192.168.18.109是云的master节点IP，端口号10000不用改变。
对于--token= 字符串2，这里的字符串2是根据上面sudo keadm gettoken 指令来获得的。

# 进入keadm-v1.9.2-linux-amd64/keadm，keadm会安装edgecore和mqtt协议的实现软件mosquitto，mosquitto会监听localhost:1183端口
# --cloudcore-ipport是边缘节点能访问的云master主机的IP端口号，--token是上面云matster生成的识别码
./keadm join --cloudcore-ipport=192.168.18.109:10000 --edgenode-name=edgenode --kubeedge-version=1.9.2 --token= 字符串2

一般回到这里遇到下面几个常见的错误，如果你够幸运的话，应该可以一步成功。
错误：

Error: fail to download service file,error:{failed to exec 'bash -c cd /etc/kubeedge/ && sudo -E wget -t 5 -k --no-check-certificate https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/tools/edgecore.service', err: --2023-05-15 01:10:16--  https://raw.githubusercontent.com/kubeedge/kubeedge/release-1.9/build/tools/edgecore.service

解决：

cp edgecore.service /etc/kubeedge/

成功（云的master节点）

在边缘端查看情况

systemctl status edgecore.service

请注意：出现以下信息则配置成功，否则请查看下方的错误解决方案。 请仔细核查！！
如果配置失败。（active这里不是running或是其他信息，下方有错误解决方案。）

● edgecore.service
   Loaded: loaded (/etc/systemd/system/edgecore.service; enabled; vendor preset: disabled)
   Active: active (running) since 一 2023-05-15 02:47:04 CST; 17s ago
 Main PID: 26277 (edgecore)
    Tasks: 12
   Memory: 32.4M
   CGroup: /system.slice/edgecore.service
           └─26277 /usr/local/bin/edgecore

在云的master节点输入

kubectl get nodes

输出刚才加入的边缘node节点则成功，否则失败！！
如果在masters上并无edge节点的增加问题，下方有错误解决方案。

NAME     STATUS   ROLES        AGE    VERSION
master   Ready    master       4h4m   v1.18.0
node     Ready    agent,edge   9s     v1.19.3-kubeedge-v1.7.0

以下错误针对安装启动后在masters上并无edge节点的增加问题

请注意：出现以下信息则配置失败，否则请查看下方的错误解决方案。
首先查看服务的状态

systemctl status edgecore.service

出现下面情况

● edgecore.service
   Loaded: loaded (/etc/systemd/system/edgecore.service; enabled; vendor preset: disabled)
   Active: activating (auto-restart) (Result: exit-code) since 一 2023-05-15 02:34:01 CST; 6s ago
  Process: 21624 ExecStart=/usr/local/bin/edgecore (code=exited, status=1/FAILURE)
 Main PID: 21624 (code=exited, status=1/FAILURE)

查看系统日志

journalctl -u edgecore -n 50

错误1：

init new edged error, misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"

解决1：

vi /etc/docker/daemon.json

改为

"exec-opts": ["native.cgroupdriver=cgroupfs"]

修改完毕之后加载配置文件，重启dockers，重启edgecore.service服务即可

systemctl daemon-reload

systemctl restart docker

systemctl restart edgecore.service

systemctl status edgecore.service

错误2

CSIDriverLister not found on KubeletVolumeHos

解决2：删除crt文件，重新初始化

sudo rm /etc/kubeedge/ca/rootCA.crt

sudo rm /etc/systemd/system/edgecore.service

sudo systemctl stop edgecore

最后在边缘重新加入云

sudo ./keadm join --cloudcore-ipport=192.168.18.109:10000 --token=80f67e7d0dea3df9c2da155274dc6691002c9818d834a291a0cf77765cee073e.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2NTUzNDY0MDN9.ed9EH1Pw49SiYoKlyOOS52kcBRfCE-swg2SflfqvMLU

修改完毕之后加载配置文件，重启dockers，重启edgecore.service服务即可

systemctl daemon-reload

systemctl restart docker

systemctl restart edgecore.service

systemctl status edgecore.service

错误3

Error: token credentials are in the wrong format

解决3：
重新在云端获取tokensudo keadm gettoken , 并将它复制到边缘节点的 modules.edgeHub.token 属性值中。
第一步：编辑edgecore.yaml 文件

vim /etc/kubeedge/config/edgecore.yaml

第二步：将刚才重新在云端获取的token，赋值到下面的token: " "属性值中。

apiVersion: edgecore.config.kubeedge.io/v1alpha2
kind: EdgeCore
modules:
dgeHub:
...
...
token: ""  # 这里面填刚才重新从云master节点获取的令牌

修改完毕之后加载配置文件，重启dockers，重启edgecore.service服务即可

systemctl daemon-reload

systemctl restart docker

systemctl restart edgecore.service

systemctl status edgecore.service

如果成功就不用执行下述操作，否则重新加入云master节点，再尝试一遍。

sudo ./keadm join --cloudcore-ipport=192.168.18.109:10000 --token= 这里面填刚才重新从云master节点获取的令牌

对于其他问题
直接抛弃，老子累了，你也别想好过！！！再重新找个义子！

# 边缘端操作
sudo systemctl stop edgecore

sudo rm /etc/systemd/system/edgecore.service

# 搁着俄罗斯套娃呢？
sudo ./keadm join --cloudcore-ipport=192.168.18.109:10000 --token= 云master节点最近获取的令牌/新的令牌（都可以啦，我就喜欢新的，令牌正如小妹，取不完！！） 
# 云端修改可能会导致边缘端需要新的令牌，继续俄罗斯套娃就行了！！老表我太累了！！

基本操作

# 重新启动docker
systemctl restart docker

# 重新启动云master节点的cloudcore
systemctl restart cloudcore.service
# 查看云master节点的cloudcore的服务状态
systemctl status cloudcore.service
# 在云master查看集群以及边缘节点状态
kubectl get nodes

# 重新启动边缘node节点的edgecore
systemctl restart edgecore.service
# 查看边缘node节点的edgecore的服务状态
systemctl status edgecore.service

# 杀掉当前cloudcore进程
pkill cloudcore

# 查看边缘系统日志
journalctl -u edgecore -n 50
# 查看云端系统日志
journalctl -u cloudcore -n 50