wks97的最近发布

Docker（二十三）基于canal CNI（flannel+calico）的网络策略和multus cni配置

大概看了下别的写得demo其实本质上就是靠cni 插件，然后通过定制的crd 接口，向k8s 得pod 设置入站（ingress）和出站（egress）策略说白了，其实就是通过NetworkPolicy接口，向指定namespace空间里的pod 设置“iptables“，类似于给linux 系统设置防火墙指定pod 的是通过labels 来实现，允许的ip 地址池子，使用ipblock 字段，

Pod

ci

源地址

原创 2023-05-08 16:43:32 578 阅读

AI GPU 分布式训练集群RAY

关于几个坑1，ray-ml 的images 里的cuda 版本和pytorch 版本还有node 节点的驱动必须对应，否则在跑训练的时候，显卡驱动会提示，cuda 版本不匹配，导致无法启动，但是tesla 版本的显卡就不会有这样的问题，比如a6000和a100 但是我在3090上遇到了这个问题，具体原因，查看大牛文档，链接：https://zhuanlan.zhihu.com/p/361545

显卡驱动

重启

github

AI gpu

原创 2023-04-27 17:36:50 1411 阅读

Ceph（三）

使用官方Cephadm 部署集群，一共三个节点ceph 17版本，现在的版本部署起来非常简单1，只需要根据官方的文档，部署好第一个master 节点，剩下的添加好node 节点，整个部署过程都是由第一个主节点，进行引导部署，但是前提条件是，每个一个节点都必须提前安装好docker，不然服务无法启动2，安装好之后，osd 是ceph 存储的最小管理单位，ceph orch apply osd --

d3

docker

无法启动

原创 2023-03-13 09:55:34 104 阅读

Ceph（二）

pg 数量设置公式pg 总量= OSD总量* (每个osd 中的pg 数量推荐100到100个)/osd 副本数或者纠删码然后取大于总数的2的幂次方数举例1 pg = 100 osd * 100pg（每个osd中的pg数量）/ 3副本 = 3333个pg 那么实际pg 最大数量就是4096举例1 pg = 100 osd * 100pg（每个osd中的pg数量）/ 4 +2 纠删码

系统存储 pg 设置数量

原创 2023-01-09 17:50:56 148 阅读

Ceph（一）

1，软件存储开源工具2，不影响性能的情况下横向无限扩展3，简单搭建简单运维4，统一api 接口应用场景：（注意：ceph的设计原理导致对万兆网络和SSd硬盘有很大依赖，而且ceph 最小存储数据单元是2MB，如果是大量小文件，或者是字节级别，频繁读写会严重影响ceph 性能）1，数据分析：a，大数据分析 b，海量日志数据分析举例：各个hadoop 集群共享同一份数据，

数据存储

服务器

应用程序

原创 2023-01-09 16:45:23 83 阅读

Anaconda3使用conda activate激活环境出错

撰写dockerfile按照官方文档说的，用conda activate env-name 依然会报错，要么说你shell 没有初始化要么就是没有conda 这个命令这里其实要注意一下1，dockerfile 里每一个RUN 都相当于一个终端，写了多行的conda 命令的话，等于之前的无效2，cicd 构建的时候，其实是/bin/sh 环境，即使用了conda init b

bash

执行程序

初始化

原创 2022-12-12 19:23:05 3304 阅读

真正mongodb grafana 可用的模板

https://grafana.com/grafana/dashboards/14997-mongodb/

mongodb

原创 2022-11-11 16:21:40 871 阅读

alpine 构建基础c++ 镜像

官方的gcc image 太大 1.14G 。。。。嚯！自己写FROM alpine:3.10.2ARG VERSION_GCC=8.3.0-r0RUN apk update \ && apk add --no-cache gcc==${VERSION_GCC} \ && rm -rf /var/cache/apk/*不过现在alpine 官方有现成的i

瞎折腾

docker

原创 2022-11-02 09:48:03 395 阅读

alpine 构建基础c++ 镜像

官方的gcc image 太大 1.14G 。。。。嚯！自己写FROM alpine:3.10.2ARG VERSION_GCC=8.3.0-r0RUN apk update \ && apk add --no-cache gcc==${VERSION_GCC} \ && rm -rf /var/cache/apk/*不过现在alpine 官方有现成的i

瞎折腾

docker

原创 2022-11-02 09:48:00 219 阅读

HELM chart 部署mongodb 到k8s 集群 pod 无法解析dns 问题

1，正常拉取bitbami 的包部署mongodb 到k8s 集群，运行前一切正常2，部署到mongodb-1的时候，卡主，查看日志，arbiter 报无法连接mongodb-0 或者 mongodb-headless 3，搜到早些年的issue：https://github.com/bitnami/bitnami-docker-mongodb/issues/2114，和我遇到

mongodb

github

就绪状态

原创 2022-10-26 15:08:04 673 阅读

mongodb 监控（副本集已经不书完成的情况下）

deploy.yaml & svcapiVersion: v1kind: Servicemetadata: labels: k8s-app: mongo-exporter name: mongo-exporter namespace: monitoringspec: ports: - name: http port: 9104 targetPort: http

mongodb

github

docker

原创 2022-10-18 16:28:28 311 阅读

关于helm3 和 kustomaize 应用场景

相同点：两个工具都是云原生的批量处理工具，并且有旨在决绝重复编辑yaml 文件的痛点，以标准化的方式进行部署k8s资源不同：helm3 有大量的第三方仓库，来保存chart，都是基础设施，比如nginx redis airflow 等等那么这里出现一个问题，基础设施服务部署玩一次，不会经常再次部署，后期维护，的仅仅可能只限于迁

基础设施

redis

批量处理

原创 2022-10-17 11:29:38 59 阅读

airflow statsd 监控配置

statsd_deploy.yamlapiVersion: apps/v1kind: Deploymentmetadata: annotations: deployment.kubernetes.io/revision: "21" meta.helm.sh/release-name: airflow meta.helm.sh/release-namespace: airflow

apache

配置文件

html

原创 2022-10-14 18:12:10 1241 阅读

airflow 配置优化

首先：airflow 数据开发者可以在webserver上直接进行配置或者写入代码传参这里重点讲k8s里的配置，所有配置都是默认配置[celery]maximum_page_limit = 100设置最大api请求页面worker_concurrency = 16worker 并发数，这里其实就是celery进程的数量，理论上多少worker节点就是设置多少，如果在k8s上看你配置多少个s

集群配置

最优解

开发者

原创 2022-09-20 17:26:22 699 阅读

argocd-rollouts基于pod 的自动灰度发布

前面的文章是基于svc的，其实这里有个问题，就是当你每次灰度的时候，都要先搞定一下svc，然后concrtller才会去根据你灰度的svc 的名字进行调度流向，现在是基于svc 下的pod 进行灰度，也就是说你的vs svc dr 只写一次，就可以一直使用，每次灰度只要更新tag号即可，上配置至于看strategy中canary 的配置，vs 指向的只有一个svc，但是目

灰度

原创 2021-11-22 15:21:05 953 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

洒脱，是云谈风轻的态度

Docker（二十三）基于canal CNI（flannel+calico）的网络策略和multus cni配置

AI GPU 分布式训练集群RAY

Ceph（三）

Ceph（二）

Ceph（一）

Anaconda3使用conda activate激活环境出错

真正mongodb grafana 可用的模板

alpine 构建基础c++ 镜像

alpine 构建基础c++ 镜像

HELM chart 部署mongodb 到k8s 集群 pod 无法解析dns 问题

mongodb 监控（副本集已经不书完成的情况下）

关于helm3 和 kustomaize 应用场景

airflow statsd 监控配置

airflow 配置优化

argocd-rollouts基于pod 的自动灰度发布