在离线的arm架构kylin v10服务器上使用Kuboard-Spray搭建K8S集群
在内网项目中需要安装K8S集群，经过调研，选择使用Kuboard-Spray工具搭建K8S集群，降低学习成本，提高安装效率。
为了简化安装使用集群的过程，搭建了私有yum源仓库和harbor私有镜像仓库。
详细参考文章：本地yum源仓库搭建
Harbor镜像仓库的安装和使用
1 安装环境
CPU： 飞腾 arm64，即aarch64
系统：Kylin v10 sp2
查看服务器信息
# 查看CPU架构
uname -p
# 查看系统信息
cat /etc/os-release
# 查看 Linux 内核版本（3.10以上）
uname -a
# 查看 iptables 版本（1.4以上）
iptables --version
2 服务器规划
三台虚拟机，一台安装Kuboard-Spray，两台安装K8S（一个主节点，一个工作节点）
注意！
Kuboard-Spray平台不能安装在集群相关的服务器上，因为使用
IP | hostname | 用途 |
192.168.16.101 | k8s-master | k8s集群master节点 |
192.168.16.102 | k8s-node-1 | k8s集群工作节点1 |
192.168.16.103 | kuboard-spray | 安装kuboard-spray，用于快速安装k8s集群 |
在飞腾arm架构的kylin v10服务器上安装虚拟机可以参考：
3 安装过程
安装过程：
1 给各个服务器设置hostname
2 在准备安装Kuboard-Spray的服务器（这里是192.168.16.103）上离线安装docker
3 离线安装Kuboard-Spray
4 使用Kuboard-Spray离线安装K8S
3.1 服务器初始化配置
3.1.1 设置服务器hostname
设置各个服务器的hostname，便于识别
#根据集群规划，各节点设置对应的主机名
hostnamectl set-hostname k8s-master #192.168.16.101
hostnamectl set-hostname k8s-node1 #192.168.16.102
hostnamectl set-hostname kuboard-spray #192.168.16.1033.1.2 禁用iptables和firewalld
systemctl stop firewalld
systemctl disable firewalld
systemctl stop iptables
systemctl disable iptables3.1.3 禁用selinux（linux下的一个安全服务，必须禁用）
vim /etc/selinux/config
SELINUX=disabled3.1.3 禁用swap分区
方法一（在kylin sp2系统 验证无效，可以直接看方法二）
参考网上的文章，使用如下命令禁用swap分区，但是重启后又出现了
# 查看分区信息
free -m
# 禁用所有的swap分区 -临时
sudo swapoff -a
# 禁用swap分区 -永久
sed -ri 's/.*swap.*/#&/' /etc/fstab
swapoff -a && sysctl -w vm.swappiness=0或者直接注释掉/etc/fstab中关于swap的那一行，但是kylin sp2中没有这一行，这行上述的命令也是强行加上这一行增加注释，不起作用。在CentOS中测试该方法是可以的。
方法二
可以使用删除分区的方法，删除swap分区
1 查看磁盘分区fdisk -l,找到swap分区的设备名称为/dev/vda3
2 执行fdisk /dev/vda命令，进入到分区操作工具命令行，其中/dev/vda是我们要删除的分区所在的磁盘名称。
3 根据帮助信息提示输入d，删除分区。
4 根据提示输入分区号，/dev/vda3的分区号是3，输入3之后提示分区3已删除
5 输入w，保存并退出fdisk。
3.1.4 重启服务器
重启服务器，使之前的服务器配置生效
reboot查看内存信息，可以看到swap都显示为0，说明swap分区删除成功。
3.2 安装docker
实际上，为了方便下载需要用到的docker镜像，还额外准备了一台可以访问公网的服务器192.168.16.104
需要在192.168.16.103和192.168.16.104上分别安装docker
下载安装包并解压
tar xzvf docker-20.10.6.tgz将解压包下的文件都复制到/usr/bin/下
mv docker/* /usr/bin/添加docker.service文件
vim /usr/lib/systemd/system/docker.service[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target添加docker的配置文件
配置国内镜像源（公网环境192.168.16.104需要配置，内网192.168.16.103可以不配置）
vim /etc/docker/daemon.json{
"registry-mirrors": ["https://registry.docker-cn.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}更新配置
systemctl daemon-reload运行docker服务并设置为开机自启
systemctl start dockersystemctl enable docker3.3 安装Kuboard-Spray
实际上，在离线环境后续使用集群拉取镜像部署容器服务，还是需要配置私有镜像仓库。如果是已经搭建私有镜像仓库，并且已经在私有镜像仓库中上传Kuboard-Spray镜像，可以直接使用docker run 命令快速进行安装。只不过，不管用什么方式，总要从公网下载镜像，保存镜像文件，导入到内网使用。
下载镜像
在公网服务器192.168.16.104上下载名为eipwork/kuboard-spray的镜像，版本为：v1.2.0-arm64或者latest-amd64
docker pull eipwork/kuboard-spray:v1.2.0-arm64保存镜像到压缩文件
docker save eipwork/kuboard-spray:v1.2.0-arm64 -o kuboard-spray1.2.0.tar
镜像复制到目标服务器并导入到docker中
使用内网服务器从192.168.16.104将/root/kuboard-spray1.2.0.tar下载到本地目录
scp root@192.168.16.104:/root/kuboard-spray1.2.0.tar /root/docker/images/将镜像导入到docker中
docker load -i kuboard-spray1.2.0.tar运行镜像
根据镜像ID运行容器
docker run -d \
--privileged \
--restart=unless-stopped \
--name=kuboard-spray \
-p 80:80/tcp \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/kuboard-spray-data:/data \
825da82f6df6持久化
KuboardSpray 的信息保存在容器的 /data 路径，请将其映射到一个您认为安全的地方，上面的命令中，将其映射到了 ~/kuboard-spray-data 路径；
只要此路径的内容不受损坏，重启、升级、重新安装 Kuboard-Spray，或者将数据及 Kuboard-Spray 迁移到另外一台机器上，您都可以找回到原来的信息。
容器运行成功后，即可在浏览器中访问http://192.168.16.103,登录使用Kuboard-Spray。
默认用户名：admin，密码：Kuboard123。
默认端口80访问不通的异常解决（虚拟机安装配置的问题，一般不会遇到这个问题）
运行容器后，访问不通，ping 80端口不通
发现运行容器的时候警告WARNING: IPv4 forwarding is disabled. Networking will not work.
IPv4转发已禁用。网络是行不通的。是因为IPv4转发被禁用了，只需要开启就可以了。
开启转发配置
编辑/etc/sysctl.conf文件
vim /etc/sysctl.conf修改net.ipv4.ip_forward=1
#配置转发
net.ipv4.ip_forward=1重启网络服务
systemctl restart network重启网络服务的时候提示，未找到network.service：Failed to restart network.service: Unit network.service not found.
使用
需要安装network-scripts，使用yum install network-scripts安装即可
重启网络服务后，运行容器即可
docker start <CONTAINER ID>3.4 使用Kuboard-Spray平台安装K8S集群
注意！！！
由于是离线安装，Kuboard-Spray需要配置私有yum源注意！！！
如果使用docker作为容器引擎，还需要配置私有docker-ce的yum源。
例如在CentOS系统中部署，使用docker作为容器引擎，就需要配置私有的docker-ce的yum源。
但是Kuboard-Spray不支持kylin server的系统使用docker作为容器引擎，只能使用Containerd，因此在kylin系统中部署不需要配置私有docker-ce的yum源。
3.4.1 导入集群安装资源包到Kuboard-Spray平台
在系统设置->资源包管理模块可以根据自己的需要选择合适版本的资源包导入到Kuboard-Spray环境中，但是在离线环境中，该页面无法获取到资源包信息列表，只能点击右上角的离线加载资源包 按钮，访问官方的资源包下载页面https://www.kuboard-spray.cn/support/。
在可以访问公网的机器上用浏览器打开该网页https://www.kuboard-spray.cn/support/,选择合适的资源包，点击离线导入按钮，根据提示导入资源包。
因为想用docker作为容器引擎去使用，因此选择了支持docker的最新版本：spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64，以便在非kylin操作系统中使用docker作为容器引擎。
具体操作过程为
1 下载镜像并保存文件
在安装docker的公网服务器上下载资源镜像
# 1. 在一台可以联网的机器上执行
docker pull registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource:spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64
docker save registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource:spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64 > kuboard-spray-resource.tar2 复制到内网服务器
# 2. 将 kuboard-spray-resource.tar 复制到 kuboard-spray 所在的服务器（例如：10.99.0.11 的 /root/kuboard-spray-resource.tar）
scp ./kuboard-spray-resource.tar root@192.168.16.103:/root/kuboard-spray-resource.tar4 镜像文件导入到docker中
# 3. 在 kuboard-spray 所在的服务器上执行，（例如：192.168.16.103）
docker load < /root/kuboard-spray-resource.tar5 导入到Kuboard-Spray中
复制下面的 YAML 内容到粘贴板；
在 Kuboard-Spray 界面中导航到 “系统设置” --> “资源包管理” 菜单，点击 “离线加载资源包”，按界面提示操作，即可完成资源包的离线导入。
加载离线资源包完成后，关掉日志输出页面即可
downloadFrom: registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource
metadata:
version: spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64
type: kubernetes-offline-resource
kuboard_spray_version:
min: v1.1.0
available_at:
- registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource
- swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard-spray-resource
- eipwork/kuboard-spray-resource
issue_date: 2023-3-25
owner: shaohq@foxmail.com
can_upgrade_from:
include:
- 'spray-v2.18.0b-1_k8s-v1.23.1[0-6]_v[0-9.]*-arm64'
- 'spray-v2.18.0a-[8-9]_k8s-v1.23.1[0-5]_v[0-9.]*-arm64'
- 'spray-v2.18.[0-9a-]*_k8s-v1.23.[1-9]_v[0-9.]*-arm64'
- 'spray-master-8d9ed01_k8s-v1.23.[1-3]_v[0-9.]*-arm64'
exclude: null
can_replace_to: null
supported_os:
- distribution: Ubuntu
versions:
- '20.04'
- distribution: Anolis
versions:
- '8.4'
- '8.5'
- '8.6'
- distribution: CentOS
versions:
- '7.6'
- '7.8'
- '7.9'
- '8'
- distribution: RedHat
versions:
- '7.9'
- '8.5'
- distribution: OracleLinux
versions:
- '8.5'
- distribution: Rocky
versions:
- '8.5'
- distribution: openEuler
versions:
- '20.03'
- '22.03'
- distribution: Kylin Linux Advanced Server
versions:
- V10
- distribution: openSUSE Leap
versions:
- '15.3'
supported_feature:
eviction_hard: true
data:
kubespray_version: v2.18.0b-2
supported_playbooks:
install_cluster: pb_cluster.yaml
remove_node: pb_remove_node.yaml
add_node: pb_scale.yaml
sync_nginx_config: pb_sync_nginx_config.yaml
sync_etcd_address: pb_sync_etcd_address.yaml
install_addon: pb_install_addon.yaml
remove_addon: pb_remove_addon.yaml
cluster_version_containerd: pb_cluster_version_containerd.yaml
cluster_version_docker: pb_cluster_version_docker.yaml
upgrade_cluster: pb_upgrade_cluster.yaml
drain_node: pb_drain_node.yaml
uncordon_node: pb_uncordon_node.yaml
cis_scan: true
renew_cert: pb_renew_cert.yaml
sync_container_engine_params: pb_sync_container_engine_params.yaml
backup_etcd: pb_backup_etcd.yaml
restore_etcd: pb_restore_etcd.yaml
kubernetes:
kube_version: v1.23.17
image_arch: arm64
gcr_image_repo: gcr.io
kube_image_repo: k8s.gcr.io
candidate_admission_plugins: >-
AlwaysAdmit,AlwaysDeny,CertificateApproval,CertificateSigning,CertificateSubjectRestriction,DefaultIngressClass,DefaultStorageClass,DefaultTolerationSeconds,DenyServiceExternalIPs,EventRateLimit,ExtendedResourceToleration,ImagePolicyWebhook,LimitPodHardAntiAffinityTopology,LimitRanger,MutatingAdmissionWebhook,NamespaceAutoProvision,NamespaceExists,NamespaceLifecycle,NodeRestriction,OwnerReferencesPermissionEnforcement,PersistentVolumeClaimResize,PersistentVolumeLabel,PodNodeSelector,PodSecurity,PodTolerationRestriction,Priority,ResourceQuota,RuntimeClass,SecurityContextDeny,ServiceAccount,StorageObjectInUseProtection,TaintNodesByCondition,ValidatingAdmissionWebhook
default_enabled_admission_plugins: >-
CertificateApproval,CertificateSigning,CertificateSubjectRestriction,DefaultIngressClass,DefaultStorageClass,DefaultTolerationSeconds,LimitRanger,MutatingAdmissionWebhook,NamespaceLifecycle,PersistentVolumeClaimResize,Priority,ResourceQuota,RuntimeClass,ServiceAccount,StorageObjectInUseProtection,TaintNodesByCondition,ValidatingAdmissionWebhook
container_engine:
- container_manager: containerd
params:
containerd_version: 1.6.15
- container_manager: docker
params:
docker_version: '20.10'
docker_containerd_version: 1.6.18
vars:
target:
containerd_version: 1.6.15
etcd_version: v3.5.6
calico_version: v3.21.5
flannel_cni_version: v1.0.1
kuboard_version: v3.5.2.3
kubelet_checksums:
arm64:
v1.23.17: 95e25ee4d2f34f628ba42685c6ae1ba6efdf86f2e76b5cceb0b48de4d66522a7
amd64:
v1.23.17: 588dde06e2515601380787cb5fcb07ae3d3403130e1a5556b013b7b7fb4ab230
kubectl_checksums:
arm64:
v1.23.17: c4a48fdc6038beacbc5de3e4cf6c23639b643e76656aabe2b7798d3898ec7f05
amd64:
v1.23.17: f09f7338b5a677f17a9443796c648d2b80feaec9d6a094ab79a77c8a01fde941
kubeadm_checksums:
arm64:
v1.23.17: cf1bca6b464f30ea078a9cf4d902033fb80527b03c2f39409e19fb8b3886c75e
amd64:
v1.23.17: 6d3f732fe1eabd91c98ff0ee66c6c8b4fcbdee9e99c2c8606f0fa5ff57b4ea65
crun_checksums:
arm64:
1.4.4: 2ad2c02ec0b1566f1c5e85223b726b704904cc75c2eb4af298e95b98fe5c166d
amd64:
1.4.4: 73f7f89a98f69c0bf0e9fe1e0129201d5b72529785b4b1bcb4d43c31d0c3a8ea
runc_checksums:
arm64:
v1.1.1: 20c436a736547309371c7ac2a335f5fe5a42b450120e497d09c8dc3902c28444
amd64:
v1.1.1: 5798c85d2c8b6942247ab8d6830ef362924cd72a8e236e77430c3ab1be15f080
containerd_archive_checksums:
arm64:
1.6.15: d63e4d27c51e33cd10f8b5621c559f09ece8a65fec66d80551b36cac9e61a07d
amd64:
1.6.15: 191bb4f6e4afc237efc5c85b5866b6fdfed731bde12cceaa6017a9c7f8aeda02
nerdctl_archive_checksums:
arm64:
1.0.0: 27622c9d95efe6d807d5f3770d24ddd71719c6ae18f76b5fc89663a51bcd6208
amd64:
1.0.0: 3e993d714e6b88d1803a58d9ff5a00d121f0544c35efed3a3789e19d6ab36964
etcd_binary_checksums:
arm64:
v3.5.6: 888e25c9c94702ac1254c7655709b44bb3711ebaabd3cb05439f3dd1f2b51a87
amd64:
v3.5.6: 4db32e3bc06dd0999e2171f76a87c1cffed8369475ec7aa7abee9023635670fb
cni_binary_checksums:
arm64:
v1.1.1: 16484966a46b4692028ba32d16afd994e079dc2cc63fbc2191d7bfaf5e11f3dd
amd64:
v1.1.1: b275772da4026d2161bf8a8b41ed4786754c8a93ebfb6564006d5da7f23831e5
flannel_cni_binary_checksums:
arm64:
v1.0.1: f813ae49b7b84eb95db73f7a3c34d2ee101f8cfc27e3a8054297a36d53308543
amd64:
v1.0.1: 63906a5b7dc78fbf1fbd484adbf4931aea5b15546ece3c7202c779ab9ea994a2
flannel_image_repo: '{{ docker_image_repo }}/flannelcni/flannel'
flannel_image_tag: '{{ flannel_version }}-{{ image_arch }}'
flannel_init_image_repo: '{{ docker_image_repo }}/flannelcni/flannel-cni-plugin'
flannel_init_image_tag: '{{ flannel_cni_version }}-{{ image_arch }}'
calicoctl_download_url: >-
https://github.com/projectcalico/calico/releases/download/{{
calico_ctl_version }}/calicoctl-linux-{{ image_arch }}
calicoctl_binary_checksums:
amd64:
v3.23.1: e8fd04d776df5571917512560800bf77f3cdf36ca864c9cae966cb74d62ba4fe
v3.22.3: a9e5f6bad4ad8c543f6bdcd21d3665cdd23edc780860d8e52a87881a7b3e203c
v3.21.5: 98407b1c608fec0896004767c72cd4b6cf939976d67d3eca121f1f02137c92a7
arm64:
v3.23.1: 30f7e118c21ecba445b4fbb27f7ac8bc0d1525ab3c776641433e3b1a3388c65b
v3.22.3: 3a3e70828c020efd911181102d21cb4390b7b68669898bd40c0c69b64d11bb63
v3.21.5: cc73e2b8f5b695b6ab06e7856cd516c1e9ec3e903abb510ef465ca6b530e18e6
calico_crds_archive_checksums:
v3.23.1: a1754ae4bb158e3b46ba3fb326d8038d54cd0dc2c5c8527eadf2b0a6cf8ef2e3
v3.22.3: 55ece01da00f82c62619b82b6bfd6442a021acc6fd915a753735e6ebceabaa21
v3.21.5: ffbbaa2bc32b01bf160828d2cfd4504d83c69cb1f74c0028349181ed61bad635
krew_archive_checksums:
linux:
arm64:
v0.4.3: 0994923848882ad0d4825d5af1dc227687a10a02688f785709b03549dd34d71d
amd64:
v0.4.3: 5df32eaa0e888a2566439c4ccb2ef3a3e6e89522f2f2126030171e2585585e4f
crictl_checksums:
arm64:
v1.24.0: b6fe172738dfa68ca4c71ade53574e859bf61a3e34d21b305587b1ad4ab28d24
amd64:
v1.24.0: 3df4a4306e0554aea4fdc26ecef9eea29a58c8460bebfaca3405799787609880
snapshot_controller_image_tag: v4.2.1
dns_min_replicas: '{{ [ 2, groups[''kube_control_plane''] | length ] | min }}'
kuboardspray_extra_downloads:
kuboard:
container: true
file: false
enabled: '{{ kuboard_enabled }}'
version: '{{ kuboard_version }}'
repo: eipwork/kuboard
tag: '{{ kuboard_version }}'
sha256: ''
groups:
- kube_control_plane
netcheck_etcd:
container: true
file: false
enabled: '{{ deploy_netchecker }}'
version: '{{ netcheck_etcd_image_tag }}'
dest: >-
{{ local_release_dir }}/etcd-{{ netcheck_etcd_image_tag }}-linux-{{
image_arch }}.tar.gz
repo: '{{ etcd_image_repo }}'
tag: '{{ netcheck_etcd_image_tag }}'
sha256: '{{ etcd_digest_checksum|d(None) }}'
unarchive: false
owner: root
mode: '0755'
groups:
- k8s_cluster
coredns:
enabled: '{{ dns_mode in [''coredns'', ''coredns_dual''] }}'
container: true
repo: '{{ coredns_image_repo }}'
tag: '{{ coredns_image_tag }}'
sha256: '{{ coredns_digest_checksum|default(None) }}'
groups:
- k8s_cluster
etcd:
etcd_version: v3.5.6
etcd_params: null
etcd_deployment_type:
- host
- docker
dependency:
- name: crun
version: 1.4.4
target: crun_version
- name: krew
version: v0.4.3
target: krew_version
- name: runc
version: v1.1.1
target: runc_version
- name: cni-plugins
version: v1.1.1
target: cni_version
- name: crictl
version: v1.24.0
target: crictl_version
- name: nerdctl
version: 1.0.0
target: nerdctl_version
- name: nginx_image
version: 1.21.4
target: nginx_image_tag
- name: coredns
target: coredns_version
version: v1.8.6
- name: cluster-proportional-autoscaler
target: dnsautoscaler_version
version: 1.8.5
- name: pause
target: pod_infra_version
version: '3.6'
network_plugin:
- name: calico
params:
calico_version: v3.21.5
- name: flannel
params:
flannel_version: v0.17.0
flannel_cni_version: v1.0.1
addon:
- name: kuboard
target: kuboard_enabled
lifecycle:
install_by_default: true
check:
shell: kubectl get pods -n kuboard -l k8s.kuboard.cn/name=kuboard-v3
keyword: kuboard-v3
install_addon_tags:
- download
- upgrade
- kuboard
remove_addon_tags:
- upgrade
- kuboard
downloads:
- kuboard
params_default:
kuboard_version: v3.5.2.3
kuboard_port: 80
kuboard_cluster_name: default
kuboard_data_dir: /root/kuboard-data
params: null
- name: nodelocaldns
target: enable_nodelocaldns
lifecycle:
install_by_default: true
check:
shell: kubectl get daemonset -n kube-system nodelocaldns -o json
keyword: '"k8s-app": "kube-dns"'
install_addon_tags:
- download
- upgrade
- coredns
- nodelocaldns
downloads:
- nodelocaldns
- coredns
params:
nodelocaldns_version: 1.21.1
enable_nodelocaldns_secondary: false
- name: metrics_server
target: metrics_server_enabled
lifecycle:
install_by_default: true
check:
shell: kubectl get deployments -n kube-system metrics-server -o json
keyword: k8s.gcr.io/metrics-server/metrics-server
install_addon_tags:
- download
- upgrade
- metrics_server
remove_addon_tags:
- upgrade
- metrics_server
downloads:
- metrics_server
params:
metrics_server_version: v0.6.23.4.2 创建集群
1 添加集群安装计划
在Kuboard Spray的集群管理菜单中点击添加集群安装计划按钮，填写集群名称，选择资源包，点击确定
2 配置集群的全局设置
- SSH设置中，设置所有K8S节点服务器的SSH连接用户名和密码，必须使用root用户。
- 容器引擎设置中，设置所有节点使用的容器引擎，在kylin系统中只能选择
containerd_1.6.15 - 软件源设置中，选择操作系统为
Kylin Linux Advanced Server，选择kylin_linux_advanced_server 源默认设置为默认的使用操作系统预先配置的软件源
注意！！！
实际上本来应该添加软件源配置，根据需要选择软件源，但是Kuboard-Spray平台目前不支持kylin系统的软件源设置，只能选择系统默认软件源，去各个节点中配置默认的软件源为我们的私有yum软件源。
在集群的各个节点的服务器中，修改/etc/yum.repos.d/kylin_aarch64.repo文件，配置私有yum源地址，启用该配置，设置不检查文件。
vim /etc/yum.repos.d/kylin_aarch64.repo###Kylin Linux Advanced Server 10 - os repo###
[ks10-adv-base]
name = ks10-adv-base
baseurl = http://192.168.16.106/ks10-adv-base/
enabled = 1
gpgcheck = 0执行命令可以查看配置的yum源是否生效，清理并重新建立yum缓存
# 查看yum源配置
yum repolist
# 清理缓存
yum clean all
# 创建缓存
yum makecache
全局配置和所有节点的系统默认yum软件源修改完成后，添加节点。
3 添加节点
点击添加节点按钮，输入节点名称并勾选节点角色，点击确定按钮将其加入到集群计划中。
例如：主节点设置名称为master，角色勾选控制节点、ETCD节点、工作节点；工作节点1设置名称为node1，角色勾选工作节点；工作节点2设置名称为node2，角色勾选工作节点。
所有节点信息添加和编辑完成后，点击保存按钮保存集群计划信息。
添加节点后，选中节点，在右侧相应节点的信息标签页中编辑主机IP地址，如果该主机的root用户密码与全局设置不同，可以在这里设置用户名和密码。点击验证连接，可以测试该主机是否能正确连接，并返回主机信息。
4 安装/设置集群
在集群信息查看页面，点击安装/设置集群按钮，选择显示日志输出的详细程度、并发数量等信息，点击确认按钮，Kuboard-Spray将自动为该集群的所有节点进行安装和配置，等待日志输出安装成功即可。该过程可能要等待半个小时以上。
5 访问集群
安装完成后，点击上方集群名称后的刷新按钮，可以刷新集群状态。
使用Kuboard-spray安装集群，默认会勾选可选组件中的Kuboard，用于可视化管理集群。会安装在主节点上，这样
集群连接成功后，就可以点击使用集群规划外的其他标签页。在访问集群标签页可以看到kuboard访问集群的信息，例如：
http://192.168.16.107
默认用户名: admin
默认密 码: Kuboard123
在浏览器中访问Kuboard的
3.4.3 离线独立安装Kuboard集群可视化管理工具
1 安装Kuboard
如果不想默认将Kuboard安装到集群的控制节点上，可以在使用Kuboard-spray安装集群的时候在可选插件中取消Kuboard。然后独立安装Kuboard到合适的服务器上。
参考上文中其他的镜像导入方案，将Kuboard的镜像从公网拉下来，导入到内网服务器或推送到私有镜像仓库
执行docker run 命令运行Kuboard服务
docker run -d \
--restart=unless-stopped \
--name=kuboard \
-p 80:80/tcp \
-p 10081:10081/tcp \
-e KUBOARD_ENDPOINT="http://内网IP:80" \
-e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \
-v /root/kuboard-data:/data \
eipwork/kuboard:v3参数解释
建议将此命令保存为一个 shell 脚本，例如 start-kuboard.sh，后续升级 Kuboard 或恢复 Kuboard 时，需要通过此命令了解到最初安装 Kuboard 时所使用的参数；
第 4 行，将 Kuboard Web 端口 80 映射到宿主机的 80 端口（您可以根据自己的情况选择宿主机的其他端口）；
第 5 行，将 Kuboard Agent Server 的端口 10081/tcp 映射到宿主机的 10081 端口（您可以根据自己的情况选择宿主机的其他端口）；
第 6 行，指定 KUBOARD_ENDPOINT 为 http://内网IP，如果后续修改此参数，需要将已导入的 Kubernetes 集群从 Kuboard 中删除，再重新导入；
第 7 行，指定 KUBOARD_AGENT_SERVER 的端口为 10081，此参数与第 5 行中的宿主机端口应保持一致，修改此参数不会改变容器内监听的端口 10081，例如，如果第 5 行为 -p 30081:10081/tcp 则第 7 行应该修改为 -e KUBOARD_AGENT_SERVER_TCP_PORT=“30081”；
第 8 行，将持久化数据 /data 目录映射到宿主机的 /root/kuboard-data 路径，请根据您自己的情况调整宿主机路径；
参考官方命令，修改第4行将Kuboard对外端口映射到8092端口，第6行的Kuboard的api服务端地址改为部署的服务器的内网IP，以便集群能够正常和Kuboard的api服务通信。
docker run -d \
--restart=unless-stopped \
--name=kuboard
-p 8092:80/tcp
-p 10081:10081/tcp
-e KUBOARD_ENDPOINT="http://192.168.16.110:80"
-e KUBOARD_AGENT_SERVER_TCP_PORT="10081"
-v /root/kuboard-data:/data
192.168.16.106:5000/kuboard/kuboard:v3容器启动后，即可使用浏览器访问http://192.168.16.110:8092，进入可视化管理工具。默认用户名密码为admin/Kuboard123。
2 添加集群到Kuboard
添加已有的集群到Kuboard进行管理，在v3.5.2.5版本后，增加token添加方式，简单，通用性强，选择使用token的方式
前提条件：
Kuboard 可以访问 Kubernetes 集群的 APIServer
优点：
无需安装 Agent
可以支持高可用
适用各种方式安装的 k8s 集群
根据界面提示在集群master节点执行命令获取token，填写其他连接信息，点击确定即可添加成功。
3 安装metrics-scraper
metrics-scraper 用于存储最近一段时间内的 CPU/内存度量信息，以便在 kuboard 中展示 CPU/内存的曲线图
选择我的私有镜像仓库，填写镜像仓库地址和项目名称，界面下方会提示镜像拉取、打标签和推送到私有镜像仓库的命令，按照提示将镜像推动到私有镜像仓库后，点击确定安装即可。
