运维开发故事的博客_python,Docker,redis,自动化运维,kubernetes,ceph,java(3)

大数据必知必会之Kafka

微信公众号：运维开发故事，作者：double冬 1、Kafka 概述2、Kafka 解决了什么问题3、Kafka 技术特性4、Kafka 工作原理4.1、架构图4.2、Kafka 写流程4.3、Kafka 读流程5、Kafka 数据结构说明5.1、Kafka 在 Zookeeper 中的注册数据结构5.2、Kafka Topic 的数据结构6、Kafka 运维6.1、

kafka

数据

时间戳

原创推荐 2022-08-25 14:38:36 881 阅读 1收藏 yyds干货盘点

【K8S专栏】Kubernetes权限管理

微信公众号：运维开发故事，作者：乔克Kubernetes 主要通过 API Server 对外提供服务，对于这样的系统来说，如果不加以安全限制，那么可能导致请求被滥用，甚至导致整个集群崩塌。鉴于此，Kubernetes 对于访问 API 的用户提供了相应的安全控制：认证和授权。认证解决用户是谁的问题，授权解决用户能做什么的问题。只有通过合理的权限控制，才能够保证整个集群系统的可靠。下图是 AP

kubernetes

原创 2022-08-16 14:15:26 140 阅读 yyds干货盘点

Dubbo 高性能 RPC 框架实践

微信公众号：运维开发故事，作者：老郑Dubbo 介绍Dubbo 是什么？介绍：Apache Dubbo 是一款微服务框架，为大规模微服务实践提供高性能 RPC 通信、流量治理、可观测性等解决方案，涵盖 Java、Golang 等多种语言 SDK 实现。特征：RPC 通讯框架，服务注册中心，支持原生云（Dubbo3.0）主流版本：2.7.x , 3.0 **SDK: **官

apache

spring

原创 2022-08-16 14:11:34 149 阅读 yyds干货盘点

避免告警疲劳：每个 K8s 工程团队的 8 个技巧

微信公众号：运维开发故事，作者：夏老师监控 Kubernetes 集群并不容易，告警疲劳通常是一个问题。阅读这篇文章，了解减少告警疲劳的有用提示。如果你是oncall团队的一员，你一定知道什么是警觉性疲劳以及它对你的健康有何影响。而当涉及到Kubernetes时，告警源的数量会迅速飙升。本文将反思一些引起告警疲劳的常见原因，并分享有助于减少它的技巧。什么是告警疲劳？简单来说，当你在一天内收到大量与

数据

基础设施

工作效率

原创 2022-08-15 13:58:29 114 阅读 yyds干货盘点

Kubernetes 可观测性：利用 4 个开源工具

微信公众号：运维开发故事，作者：夏老师你可能已经知道Kubernetes是领先的容器编排系统。根据最新的CNCF 研究，可能已经将它用于生产工作负载或在未来一年考虑使用它。2021 年的研究发现，惊人的 96% 的受访者正在使用 Kubernetes 或计划在不久的将来使用它——而 69% 的受访者目前正在生产中使用 Kubernetes。Kubernetes 为大型组织和小型组织提供了许多好处：

开源工具

github

可视化工具

翻译精选 2022-08-15 13:53:46 383 阅读 yyds干货盘点

Python包管理工具之 PDM

微信公众号：运维开发故事，作者：姜总前言大家好，我是小姜。之前讲了一个pipenv和poetry包管理工具，想必大家也和我一样去了解过pipenv所存在问题，所以不是很推荐使用。后来改成了poetry工具，但这个东西对我来说稍微有点麻烦，经常容易打错，虽然可以做成alias的形式。那么今天我给大家推荐一个叫PDM的工具，全称：Python Development Master。它也是非常好用，有兴

python

初始化

flask

原创 2022-08-15 11:58:47 281 阅读 yyds干货盘点

【K8S专栏】Docker容器技术剖析

公众号：运维开发故事，作者：乔克容器的发展史容器是一个通用性的技术，不指代某一个特定的软件产品。由于Docker的诞生，带动了容器技术的大火，以至于后面很多时候说的容器都指向Docker，其实除了Docker，还有许多其他的容器技术，比如RKT，LXC，Podman等。其实，在Docker诞生之前，容器技术就已经存在了。可以通过下面这张图来直观的感受容器的发展历史。时间线如下：1979 年，U

docker

linux

虚拟化

原创 2022-08-02 23:45:23 316 阅读 yyds干货盘点

我又又又把Kubernetes整理了一次

微信公众号：运维开发故事，作者：乔克大家好，我是乔克。人不是在折腾，就是在折腾的路上。最近在整理一些笔记，发现之前记录的有些杂乱，所以又对其进行重新梳理，下面是梳理Kubernetes的时候整理的大纲。主要按使用功能进行划分，结构比较清晰，在以后翻阅的时候也能更快。整个专栏是以1.24.2版本进行梳理，但是基本的理论知识并没有做很大的调整，而且该专栏大部分还是借鉴以前的Kubernetes

运维

技术书籍

原创 2022-08-02 14:30:27 150 阅读 yyds干货盘点

如何使用 Docker 部署 GitLab

微信公众号：运维开发故事，作者：夏老师你否曾经想托管自己的GitLab存储库以确保代码永远不会落入坏人之手？尽管在第三方云主机上托管你的存储库有很多优势（例如可用性和可靠性），但要完全控制你的存储库，这样任何人都可以在未经你批准的情况下访问它。在Docker的帮助下，您可以做到这一点。我将向你展示它是如何完成的。它并不过分复杂，但需要许多步骤。所以，事不宜迟，让我们开始工作吧。要完成此任务，需要一

git

docker

ubuntu

原创推荐 2022-08-02 14:08:30 679 阅读 yyds干货盘点

记一次内部分享——瞎扯淡

微信公众号：运维开发故事，作者：乔克大家好，我是乔克。今天给大家分享的主题是《闲聊Docker》，大家的工作都比较忙，但是也要劳逸结合，所以“闲”是忙里偷闲，而“聊”是只动嘴不动手，整个分享过程中不会去动手实践，也不会去教大家如何build镜像，如何run容器，而只做纯粹的闲聊，我是一个“纯粹”的人。整个PPT比较简洁，基本都是一些图片或者流程图，我也是跟着这些图片来进行分享，想到哪里就说到哪里，

docker

原创精选 2022-08-02 13:55:13 575 阅读 1点赞 yyds干货盘点

服务器中毒了——菜是原罪

> 微信公众号：运维开发故事，作者：乔克周五朋友生日，刚吃完饭准备唱歌，接到消息说业务支付失败，问题是银行前置机无法正常和银行建立连接。图1我麻了......这台服务器是银行那边亲自搭的，说实话我很少去管理：1、是一台Windows服务器，我也不熟悉（太菜：路走窄了）2、不知道银行装了什么东西，动了会不会造成其他问题（还是太菜：心里畏惧了）3、业务量也不大，平时也没出现啥问题（还是太菜：惯性

服务器

运维

原创 2022-07-27 16:34:29 94 阅读 yyds干货盘点

业务前端界面报错504排查思路和解决办法

1、背景本文主要是写的最近比较影响深刻的一次排查客户访问业务前端域名，报504，timeout错误问题的记录，该客户为私有化部署，给客户部署的服务存在跨洲调用，没有专线，澳洲调用欧洲的服务情况，可能存在网络延迟比较大，需要排查504的具体原因，然后通过优化参数临时解决2、排查步骤和思路2.1 故障现象沟通对于toB的客户来说，通常在使用我们

nginx

客户端

后端服务

原创 2022-07-27 11:58:37 179 阅读 yyds干货盘点

Python包管理工具之poetry

微信公众号：运维开发故事，作者：姜总前言之前讲了一个pipenv包管理工具，这里说另外一个poetry工具，它是一个Python 虚拟环境和依赖管理工具。还提供了打包发布的功能。一、poetry安装MacOS下使用官网推荐方式安装，安装路径是：$HOME/.poetry/bincurl -sSL https://install.python-poetry.org | python -有与网络问题可

虚拟环境

python

flask

原创精选 2022-07-02 10:30:11 355 阅读 yyds干货盘点

Python包管理工具之pipenv

微信公众号：运维开发故事，作者：姜总前言传统的成熟方案中，我们为了避免包版本的管理混乱，通常我们是依赖于当前的Python版本创建一个虚拟环境，并在虚拟环境中使用pip进行包管理。现在有一个好用的工具叫pipenv来帮助我们更方便的管理包。一、pipenv是什么以及它有什么作用？pipenv是一个Python的包管理工具。它是requests作者Kenneth Reitz的作品，提供Python的

虚拟环境

python

virtualenv

原创 2022-07-02 09:53:39 202 阅读 yyds干货盘点

开发一个禁止删除namespace的控制器

微信公众号：运维开发故事，作者：乔克image.png昨天收到一个朋友的信息，说不小心把集群的业务namespace干掉了，导致整个业务都停滞了，问我有没有禁止删除namespace的方案。在我的记忆里，Kubernetes的准入里并没有这个控制器，所以我就给他说需要自己开发一个准入控制器来实现自己的目标。作为人，何为正确！我不能只脱裤子，不放屁。所以这里也整理了一下如何自定义Kubern

kubernetes

原创 2022-07-01 17:22:10 155 阅读 yyds干货盘点

能解决 80% 故障的排查思路

微信公众号：运维开发故事，作者：夏老师在讲解事件、故障处理思路前，先讲一个故障场景（以呼叫中心系统作为一例子）：业务人员反映呼叫中心系统运行缓慢，部分电话在自助语言环节系统处理超时，话务转人工座席，人工座席出现爆线情况。运维人员开始忙活了，查资源使用情况、查服务是否正常、查日志是否报错、查交易量还有没有……时间不知不觉地在敲键盘、敲键盘、敲键盘中过去，但是原因还未定位。经理过来了解情况：“系统恢复

运维

数据

故障处理

原创 2022-07-01 17:07:47 238 阅读 1收藏 yyds干货盘点

详解Kubernetes网络模型

作者 | Kevin Sookocheff公众号 | 运维开发故事Kubernetes 是为运行分布式集群而建立的，分布式系统的本质使得网络成为 Kubernetes 的核心和必要组成部分，了解 Kubernetes 网络模型可以使你能够正确运行、监控和排查应用程序故障。网络所涉及的内容很多，拥有许多成熟的技术。对于不熟悉的人来说可能会非常痛苦，因为大多数人对网络都有先入为主的观念，并且有很多新旧

命名空间

负载均衡

linux

原创推荐 2022-07-01 16:54:44 531 阅读 1收藏 yyds干货盘点

使用Zadig从0到1搭建持续交付平台

微信公众号：运维开发故事，作者：乔克大家好，我是乔克，一个爱折腾的YAML工程师。最近有朋友叫我出一个Zadig的使用教程，说实话，我并不知道该怎么来写，因为所有的东西在官网都有，我本人也是通过学习官网来进行落地实践的。但是我这人太热情，压不住朋友的再三请求，所以就写一篇我在实际中用到的东西。本篇文章大纲如下：什么是Zadig相信有不少朋友已经听过Zadig，但是有更多的朋友还没有听过，或者说听过

mysql

git

自定义

原创推荐 2022-07-01 16:42:57 1654 阅读 yyds干货盘点

使用luks2对ceph rbd进行加密

微信公众号：运维开发故事，作者：wanger书接上回，上篇文章我们介绍了luks对libvirt本地磁盘的加密以及ceph rbd作为libvirt后端存储的使用，本篇介绍luks对ceph rbd的加密背景多个行业（例如金融行业）越来越需要在主机上使用租户/用户提供的加密密钥以卷粒度加密数据。这是由国家法规和对安全性的日益重视所推动的。迄今为止，Ceph RBD 不提供任何此类解决方案，现有的

运维

ubuntu

原创推荐 2022-06-06 16:00:45 1246 阅读 3点赞 yyds干货盘点

Redis 高可用集群原理和实践

微信公众号：运维开发故事，作者：郑哥Redis 集群是 Redis 提供的分布式数据库方案，集群通过分片（sharding）来进行数据共享，并提供复制和故障转移能力。集群环境搭建Redis 集群最少需要 3 个 master 节点，这里我们搭建 3 个master 节点，3 个 slave 及节点（由于我机器配置受限，直接通过端口的方式模拟集群搭建，本处只是实验方便，生产环境不可采取此方案）。环境

redis

3d

3c

原创推荐 2022-06-01 15:34:26 1320 阅读 2点赞 1收藏 yyds干货盘点

如何随意切换Python版本

微信公众号：运维开发故事，作者：姜总大家好，我是小姜。前言不知道大家在日常开发工作中是否遇到过这样一个情况：项目A用的是Python 2.7版本开发的(可能由于历史遗留问题没有升级更新版本)项目B是用Python 3.10.4版本开发的，假设使用了requests==2.25.1版本项目C是用Python 3.10.4版本开发的，假设使用了requests==2.27.1版本首先第一个问题：Pyt

python

virtualenv

虚拟环境

原创 2022-05-29 13:07:34 748 阅读 1点赞 yyds干货盘点

Redis 高可用之 Sentinel

微信公众号：运维开发故事，作者：郑哥Sentinel 结构在 redis3.0 以前的版本要实现集群一般是借助哨兵 sentinel 工具来监控 master 节点的状态，如果 master 节点异常，则会做主从切换，将某一台 slave 作为 master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外提供服务，没

服务器

redis

数据

原创精选 2022-05-29 13:03:11 240 阅读 1点赞 yyds干货盘点

kvm qcow2和ceph rbd虚拟机磁盘加密

微信公众号：运维开发故事，作者：wangerkvm qcow2磁盘加密关于luks加密LUKS 实现了一种独立于平台的标准磁盘格式，用于各种工具。LUKS 用于加密块设备。加密设备的内容是任意的，因此可以加密任何文件系统，包括交换分区。加密卷的开头有一个未加密的标头，它允许存储多达 8 个 (LUKS1) 或 32 个 (LUKS2)加密密钥以及密码类型和密钥大小等加密参数。此标头的存在是 LUK

xml

linux

字段

原创精选 2022-05-27 19:07:16 495 阅读 1点赞 yyds干货盘点

利用分层机制优化Docker Image

微信公众号：运维开发故事，作者：冬子&华子 1.Docker Image 分层存储为了最大化重用 Image，加快运行速度，减少内存和磁盘的占用，Docker container 运行时所构造的运行环境，实际上是由具有依赖关系的多个 Layer 组成的。如图 1 所示，每一串数字 ID 就代表了一个 Docker Image Layer。当我们在 pull 一个 Dock

docker

运维

python

原创精选 2022-05-27 19:01:46 285 阅读 yyds干货盘点

开发和运维对K8S中的应用都做了什么？

微信公众号：运维开发故事，作者：乔克在应用的整个生命周期里，开发和运维都和它密不可分。一个塑造它，一个保养它。如果应用需要部署到K8S中，开发和运维在其中都做了什么呢？开发侧从开发侧来说，我们的应用应该具备以下能力：具有健康检测接口具有优雅退出能力具有metrics接口能够接入链路追踪系统日志输出标准统一定义健康检测接口健康检测接口用于检测应用的健康状态，在K8S中，使用Readiness和Li

github

运维

java

原创推荐 2022-05-25 14:02:16 1128 阅读 1收藏 yyds干货盘点

Kubernetes开源LoadBalancer—Metallb(BGP)

Kubernetes开源LoadBalancer—MetalLB(BGP)1.背景最近一年为了迎接亚运会，单位开发了很多大屏展示界面，这些大屏展示页面需要提供给外部门访问，起初使用Ingress方式，但是需要外部门配置DNS，所以我们准备使用NodePort，但是领导想用LoadBalancer，众所周知，LoadBalancer大部分情况下只能在提供了外部负载均衡器的云提供商上使用，而我们是裸机

负载均衡

ico

解决方案

原创 2022-05-25 13:48:22 285 阅读

JVM 从入门到放弃之 Java 对象创建过程

对象的创建Java 是一门面向对象的编程语言，创建对象通常只是通过 new关键字创建。对象创建过程当虚拟机遇到一个字节码 new指令的时候，首先去检查这个指令的参数是否能够在常量池中定位到一个类的符号引用。并且检查这个符号引用代表的类是否被虚拟机类加载器加载。如果没有，必须先执行类加载的流程。在类的检查通过过后，接下来虚拟机就会为新生成对象分配内存。对象所需要的

java

sed

句柄

原创精选 2022-05-09 16:42:38 454 阅读 yyds干货盘点

十年学会编程

著者：Peter Norvig 翻译：Dai Yuwen为何人人都这么着急？信步走进任何一家书店，你会看到名为《如何在7天内学会Java》的书，还有各种各样类似的书：在几天内或几小时内学会Visual Basic, Windows, Internet等等，一眼望不到尽头。我在Amazon 上做了如下的强力检索：pubdate: after 1992 and title:

计算机类

c++

java

原创 2022-05-09 16:41:54 106 阅读 yyds干货盘点

Tekton系列之实践篇-使用Tekton Trigger让Tekton使用更简单

微信公众号：运维开发故事，作者：乔克在《Tekton实践篇-如何用Jenkins来管理Tekton》我们介绍了如何使用Jenkins来管理Tekton，这种方式是运维主动式管理，也就是需要运维去触发发布，那有没有可能让自动触发Tekton PipelineRun的运行呢？答案是有的，也就是这篇文章分享的Tekton Trigger。什么是Tekton Trigger？Tekton Trig

git

运维

ci

原创精选 2022-05-09 16:41:18 1072 阅读

Tekton系列之实践篇-如何用Jenkins来管理Tekton

微信公众号：运维开发故事，作者：乔克在《Tekton系列之实践篇-由Jenkins改成Tekton》中，我们可以将Jenkinsfile改成Tekton Pipeline，但是Tekton有一个很大的问题是不能很好的划分权限，特别是在Dashboard上根本就做权限控制，那如果在实际中使用的话权限不明会带来很多问题，比如谁删了什么，谁执行了什么都不知道。如果你公司有自动化运维平台，可以接

运维

原创 2022-05-09 16:36:33 258 阅读 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

运维开发故事