wks97的博客_Web,系统性能分析,PHP模块原创

Docker（二十三）基于canal CNI（flannel+calico）的网络策略和multus cni配置

大概看了下别的写得demo其实本质上就是靠cni 插件，然后通过定制的crd 接口，向k8s 得pod 设置入站（ingress）和出站（egress）策略说白了，其实就是通过NetworkPolicy接口，向指定namespace空间里的pod 设置“iptables“，类似于给linux 系统设置防火墙指定pod 的是通过labels 来实现，允许的ip 地址池子，使用ipblock 字段，

Pod

ci

源地址

原创 2023-05-08 16:43:32 578 阅读

AI GPU 分布式训练集群RAY

关于几个坑1，ray-ml 的images 里的cuda 版本和pytorch 版本还有node 节点的驱动必须对应，否则在跑训练的时候，显卡驱动会提示，cuda 版本不匹配，导致无法启动，但是tesla 版本的显卡就不会有这样的问题，比如a6000和a100 但是我在3090上遇到了这个问题，具体原因，查看大牛文档，链接：https://zhuanlan.zhihu.com/p/361545

显卡驱动

重启

github

AI gpu

原创 2023-04-27 17:36:50 1411 阅读

Ceph（三）

使用官方Cephadm 部署集群，一共三个节点ceph 17版本，现在的版本部署起来非常简单1，只需要根据官方的文档，部署好第一个master 节点，剩下的添加好node 节点，整个部署过程都是由第一个主节点，进行引导部署，但是前提条件是，每个一个节点都必须提前安装好docker，不然服务无法启动2，安装好之后，osd 是ceph 存储的最小管理单位，ceph orch apply osd --

d3

docker

无法启动

原创 2023-03-13 09:55:34 103 阅读

Ceph（二）

pg 数量设置公式pg 总量= OSD总量* (每个osd 中的pg 数量推荐100到100个)/osd 副本数或者纠删码然后取大于总数的2的幂次方数举例1 pg = 100 osd * 100pg（每个osd中的pg数量）/ 3副本 = 3333个pg 那么实际pg 最大数量就是4096举例1 pg = 100 osd * 100pg（每个osd中的pg数量）/ 4 +2 纠删码

系统存储 pg 设置数量

原创 2023-01-09 17:50:56 146 阅读

Ceph（一）

1，软件存储开源工具2，不影响性能的情况下横向无限扩展3，简单搭建简单运维4，统一api 接口应用场景：（注意：ceph的设计原理导致对万兆网络和SSd硬盘有很大依赖，而且ceph 最小存储数据单元是2MB，如果是大量小文件，或者是字节级别，频繁读写会严重影响ceph 性能）1，数据分析：a，大数据分析 b，海量日志数据分析举例：各个hadoop 集群共享同一份数据，

数据存储

服务器

应用程序

原创 2023-01-09 16:45:23 82 阅读

Anaconda3使用conda activate激活环境出错

撰写dockerfile按照官方文档说的，用conda activate env-name 依然会报错，要么说你shell 没有初始化要么就是没有conda 这个命令这里其实要注意一下1，dockerfile 里每一个RUN 都相当于一个终端，写了多行的conda 命令的话，等于之前的无效2，cicd 构建的时候，其实是/bin/sh 环境，即使用了conda init b

bash

执行程序

初始化

原创 2022-12-12 19:23:05 3302 阅读

真正mongodb grafana 可用的模板

https://grafana.com/grafana/dashboards/14997-mongodb/

mongodb

原创 2022-11-11 16:21:40 871 阅读

alpine 构建基础c++ 镜像

官方的gcc image 太大 1.14G 。。。。嚯！自己写FROM alpine:3.10.2ARG VERSION_GCC=8.3.0-r0RUN apk update \ && apk add --no-cache gcc==${VERSION_GCC} \ && rm -rf /var/cache/apk/*不过现在alpine 官方有现成的i

瞎折腾

docker

原创 2022-11-02 09:48:03 395 阅读

alpine 构建基础c++ 镜像

官方的gcc image 太大 1.14G 。。。。嚯！自己写FROM alpine:3.10.2ARG VERSION_GCC=8.3.0-r0RUN apk update \ && apk add --no-cache gcc==${VERSION_GCC} \ && rm -rf /var/cache/apk/*不过现在alpine 官方有现成的i

瞎折腾

docker

原创 2022-11-02 09:48:00 219 阅读

HELM chart 部署mongodb 到k8s 集群 pod 无法解析dns 问题

1，正常拉取bitbami 的包部署mongodb 到k8s 集群，运行前一切正常2，部署到mongodb-1的时候，卡主，查看日志，arbiter 报无法连接mongodb-0 或者 mongodb-headless 3，搜到早些年的issue：https://github.com/bitnami/bitnami-docker-mongodb/issues/2114，和我遇到

mongodb

github

就绪状态

原创 2022-10-26 15:08:04 673 阅读

mongodb 监控（副本集已经不书完成的情况下）

deploy.yaml & svcapiVersion: v1kind: Servicemetadata: labels: k8s-app: mongo-exporter name: mongo-exporter namespace: monitoringspec: ports: - name: http port: 9104 targetPort: http

mongodb

github

docker

原创 2022-10-18 16:28:28 311 阅读

关于helm3 和 kustomaize 应用场景

相同点：两个工具都是云原生的批量处理工具，并且有旨在决绝重复编辑yaml 文件的痛点，以标准化的方式进行部署k8s资源不同：helm3 有大量的第三方仓库，来保存chart，都是基础设施，比如nginx redis airflow 等等那么这里出现一个问题，基础设施服务部署玩一次，不会经常再次部署，后期维护，的仅仅可能只限于迁

基础设施

redis

批量处理

原创 2022-10-17 11:29:38 59 阅读

airflow statsd 监控配置

statsd_deploy.yamlapiVersion: apps/v1kind: Deploymentmetadata: annotations: deployment.kubernetes.io/revision: "21" meta.helm.sh/release-name: airflow meta.helm.sh/release-namespace: airflow

apache

配置文件

html

原创 2022-10-14 18:12:10 1241 阅读

airflow 配置优化

首先：airflow 数据开发者可以在webserver上直接进行配置或者写入代码传参这里重点讲k8s里的配置，所有配置都是默认配置[celery]maximum_page_limit = 100设置最大api请求页面worker_concurrency = 16worker 并发数，这里其实就是celery进程的数量，理论上多少worker节点就是设置多少，如果在k8s上看你配置多少个s

集群配置

最优解

开发者

原创 2022-09-20 17:26:22 699 阅读

argocd-rollouts基于pod 的自动灰度发布

前面的文章是基于svc的，其实这里有个问题，就是当你每次灰度的时候，都要先搞定一下svc，然后concrtller才会去根据你灰度的svc 的名字进行调度流向，现在是基于svc 下的pod 进行灰度，也就是说你的vs svc dr 只写一次，就可以一直使用，每次灰度只要更新tag号即可，上配置至于看strategy中canary 的配置，vs 指向的只有一个svc，但是目

灰度

原创 2021-11-22 15:21:05 953 阅读

argocd-rollouts基于svc 的自动灰度发布

根据官方文档的翻译，这一章叫基于主机的灰度发布，但是我们都是部署再k8s里的，光是看配置，就是切换svc 来实现的灰度废话不多说，上配置注意看strategy 中的canary 字段，是基于svc的，这段可以直接拿来用，至于后面的流量控制策略，根据自己需要订制apiVersion: argoproj.io/v1alpha1kind: Rolloutmetadata: name: rol

灰度

字段

流量控制

原创 2021-11-22 15:06:27 1149 阅读

Macbook pro 休眠唤醒后，wifi 无法连接

macbook wifi 无法上网

原创 2019-11-24 20:34:45 3852 阅读

Docker（二十二）创建pvc 和deployment挂载

pvcpvcpvcpvcpvc

pvcpvcpvcpvc

deployment

挂载

原创 2019-02-20 15:04:53 7294 阅读

Docker（二十一）k8s 部署分布式jenkins

jenkins 部署，以及连接k8s到

jenkins

部署

链接

原创 2019-02-20 14:44:14 3620 阅读

Docker(二十) consul 在公有云1分钟部署（腾讯云）

helm 部署，已经手动编排文件

consul

集群

原创 2019-02-12 11:36:02 2856 阅读 1收藏

Docker(三十四)kubectl通过token 链接kube-apiserver

kubectl token 链接集群

token

链接集群

原创 2019-01-16 14:29:20 1136 阅读

gitlab 配置webhook

webhookwebhookwebhookwebhook

kwebhoo

配置

原创 2018-12-26 15:04:42 2127 阅读

Docker(三十三)k8s 监控以及容器之间调用关系

scopescopescopescopescope

scope

调用关系

原创 2018-11-22 17:16:08 2903 阅读

Docker(三十二)k8s EFK日志搜集

efkefkefkefkefkefkefk

EFK

日志搜集

原创 2018-11-15 12:18:30 2185 阅读

Docker(三十一)k8s cronjob 计划任务使用

cronjobcronjobcronjobcronjobcronjob

cronjobcronjobcronjo

原创 2018-10-31 18:03:38 4788 阅读

Docker(三十)k8s traefik 再共有云搭建

高性能反向代理

traefik

traefi

云搭建

原创 2018-09-14 17:40:06 1044 阅读

Docker(二十九)k8s 创建动态存储，基于nfs 的storageclass

storageclassstorageclassstorageclass

storageclass

storagec

原创 2018-09-10 20:12:46 5983 阅读

linux 挂在硬盘，并自动重启挂载

挂载硬盘挂载硬盘挂载硬盘挂载硬盘挂载硬盘

挂载

硬盘

原创 2018-08-14 16:12:47 2181 阅读 2评论

Docker(二十七)k8s 搭建有状态集群服务1

consulconsulconsulconsulconsul

consulconsulconsulco

原创 2018-08-14 11:21:04 1550 阅读

Docker(二十六)k8s大流量容器，的应用方法(利用亲和性和反亲和性，做pod 定点)

k8sk8sk8sk8sk8sk8sk8s

k8s

应用

方法

原创 2018-08-09 16:38:03 1959 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

洒脱，是云谈风轻的态度

Docker（二十三）基于canal CNI（flannel+calico）的网络策略和multus cni配置

AI GPU 分布式训练集群RAY

Ceph（三）

Ceph（二）

Ceph（一）

Anaconda3使用conda activate激活环境出错

真正mongodb grafana 可用的模板

alpine 构建基础c++ 镜像

alpine 构建基础c++ 镜像

HELM chart 部署mongodb 到k8s 集群 pod 无法解析dns 问题

mongodb 监控（副本集已经不书完成的情况下）

关于helm3 和 kustomaize 应用场景

airflow statsd 监控配置

airflow 配置优化

argocd-rollouts基于pod 的自动灰度发布

argocd-rollouts基于svc 的自动灰度发布

Macbook pro 休眠唤醒后，wifi 无法连接

Docker（二十二）创建pvc 和deployment挂载

Docker（二十一）k8s 部署分布式jenkins

Docker(二十) consul 在公有云1分钟部署（腾讯云）

Docker(三十四)kubectl通过token 链接kube-apiserver

gitlab 配置webhook

Docker(三十三)k8s 监控以及容器之间调用关系

Docker(三十二)k8s EFK日志搜集

Docker(三十一)k8s cronjob 计划任务使用

Docker(三十)k8s traefik 再共有云搭建

Docker(二十九)k8s 创建动态存储，基于nfs 的storageclass

linux 挂在硬盘，并自动重启挂载

Docker(二十七)k8s 搭建有状态集群服务1

Docker(二十六)k8s大流量容器，的应用方法(利用亲和性和反亲和性，做pod 定点)