1 Pulsar的常用命令 1.1 client客户端 Pulsar 的 Local模式的基本使用： （1）生产数据 bin/pulsar-client produce my-topic --messages “hello-pulsar”说明：向my-topic这个topic生产数据，内容为“hello-pulsar”，如果topic不存在，pulsar会自动创建；（2）消费数据 bin/puls
引言 任何东西都有生命周期，就像沙丁鱼罐头也会过期一样，咱们的消息本身也是有生命周期的，因此像Pulsar这样的流平台/消息队列也提供了Retention、Backlog和TTL机制。默认清理机制 任何机制的出现都是有背景的，因此我们要先了解这三个机制出现之前的情况，才能分析出它们具体分别解决的事什么问题。首先看下图，生产者不断往Broker中写入消息，这些消息在Broker中会按照顺序从右到左进
1、背 景在实际的k8s维护场景中，我们时常会遇到 Pod CPU 突刺的现象。由于信息捕获依赖人工采集，有时甚至还未完成信息捕获，问题就已经恢复了，这让人非常头大。因此，我们需要一个可以自动捕获信息的工具。在GitHub上，我们发现了一个不错的项目k8s-java-debug-daemon，但由于年久失修，已无法满足当前环境的运行需求，所以我们决定对该项目进行二次开发。2、优化内容支持新版的Gr
Kubernetes + Compose = Kompose从 Docker Compose 到 Kubernetes 的转换工具Kompose 是 dockercompose 到 Kubernetes等容器编排器的转换工具。•使用 Docker Compose 简化开发过程，然后将容器部署到生产集群•转换你的 docker-compose.yaml 需要一个简单的命令 kompose conve
浏览器侧看到请求超时，status code 502，即 bad gateway，可能的原因有哪些呢？本文从 SRE 视角给一些常见的排查思路。先上一张省流卡片，把核心思路罗列出来，大家可以保存这个卡片，真遇到故障时可以对照思路排查。使用 Chrome 开发者工具确认报错的接口，拿到基础信息修改 Chrome 生成的 cURL 命令直接请求后端，绕过 Nginx，快速确认是负载均衡的问题还是后端问
opentelemetry链路追踪 完整设计思路
本文的目的是解释 Nginx Ingress 控制器的工作原理，特别是 Nginx 模型的构建方式以及我们为何需要这个模型。1. NGINX 配置ingress-nginx 的目标是构造配置文件（nginx.conf），主要用途是在配置文件有任何变更后都需要重新加载 NGINX。不过需要特别注意的是，在只有 upstream 配置变更的时候我们不需要重新加载 Nginx（即当你部署的应用
1.1 MongoDB复制集简介 一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，这是生产部署的基础。1.1.1 复制集的目的 保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因为单点损坏而丢失。能够随时应对数据丢失、机器损坏带来的风险。 换一句话来说，还能提高读取能力，用户的读取
为了能更方便的查询哪个环节的服务出现了问题，现在常用的解决方案是为整个系统引入分布式链路跟踪。在分布式链路跟踪中有两个重要的概念：跟踪（trace）和 跨度（ span）。trace 是请求在分布式系统中的整个链路视图，span 则代表整个链路中不同服务内部的视图，span 组合在一起就是整个 trace 的视图。在整个请求的调用链中，请求会一直携带 traceid 往下游服务传递，每个服务内部也
这篇文章是关于使用 Kubectl 进行 Kubernetes 诊断的指南。列出了 100 个 Kubectl 命令，这些命令对于诊断 Kubernetes 集群中的问题非常有用。这些问题包括但不限于：• 集群信息• Pod 诊断• 服务诊断• 部署诊断• 网络诊断• 持久卷和持久卷声明诊断• 资源使用情况• 安全和授
转载连接：MySQL服务安全加固安全加固账号安全禁止MySQL以管理员账号权限运行以普通账户安全运行MySQL，禁止以管理员账号权限运行MySQL服务。在/etc/my.cnf配置文件中进行以下设置。[mysql.server] user=mysql避免不同用户间共享账号参考以下步骤。1. 创建用户。``` mysql> mysql> insert into mys
转载自微信公众号：程序员祝融今天我们聊一下 Go 的编码规范，大概分为几大模块，如注包/变量/常量命名、基本语法、函数、错误处理、心得等。1. 代码风格1.1 代码格式代码必须用 gofmt 进行格式化，goland 可以配置，可以自行搜索一下配置我们编写的代码每行应该不超过 120 个字符，超出部分用换行解决。单个文件最大行数最大不超过 800 行.单个函数最大行数不超过 80 行。im
服务器镜像会因为磁盘爆满而报警方法一：首先的思路一般是通过du -sh /* 查看根目录下哪些目录占用的空间比较大然后再du -sh ./* 查看占用的比较大的目录下面有哪些子目录占用的比较大的空间，依次类推。直到查到最后一层的大文件，然后判断是否是日志类型的文件，是否可以删除等。方法二再相对高效一点的方法是通过 du的 -d 参数，或--m
postgresql安装修改系统配置一、修改sysctl.confvim /etc/sysctl.confkernel.shmmax = 34359738368 #实际内存大小，单位为字节Bkernel.shmall = 8388608 #机器物理内存的页面数，物理内存除以4Kvm.swappiness=0vm.overcommit_memory=2vm.overcommit_rati
Mysql主从的基本原理，主要形式以及主从同步延迟原理(读写分离)，导致主库从库数据不一致的问题及解决方案。一、主从数据库的区别(1)主从分工其中Master负责写操作负载，一切写的操作都在Master上执行，读的操作分摊到Slave上进行。在一般互联网应用中，经过数据分析调查得着：读写比例是10：1左右。在写的操作上会触发大量的行锁、表锁、块锁，都是降低系统执行效率的事情，所以采用读写分离，把
1、分片是什么？一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，每一份就是一个分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的"索引"，这个"索引"可以被
tcpdump介绍tcpdump 是一款强大的网络抓包工具，运行在 linux 平台上。熟悉 tcpdump 的使用能够帮助你分析、调试网络数据。tcpdump语法tcpdump [-adeflnNOpqStvx][-c<数据包数目>][-dd][-ddd][-F<表达文件>][-i<网络界面>][-r<数据包文件>][-s<数据包大小>
1.运行SCP命令shellnohupscptest.tar.gzroot@192.168.0.7:/home2.输入密码nohup:appendingoutputtonohup.outroot@192.168.0.7'spassword:3.输入ctrl+z暂停程序会出现如下提示：1+Stoppednohupscptest.tarroot@192.168.0.7:/home4.输入bg使进程在后
AutoSSH 是一种用以对 SSH 登录进行安全地自动化的软件。
nginx的启动和简易部署 nginx服务器的启动： nginx源码安装默认安装路径为:/usr/local/nginx把nginx的启动脚本加入到path环境变量： export PATH=$PATH:/usr/local/nginx/sbin 查看一下帮助文档： 启动的时候直接使用nginx命令
盗链是一种损害原有网站合法权益，给原网站所在服务器造成额外负担的非法行为。 盗链的实现原理： 客户端向服务器请求资源时，为了减少网络带宽，提高响应时间，服务器一般不会一次将所有资源完整地传回给客户端。比如在请求一个网页时，首先会传回该网页的文本内容。当客户端浏览器在解析文本的过程中发现有图片存在时，
：上一片myloder搞崩溃，为什么百度的博文都是抄袭一模一样的，哎烦！ 这一片文章我们来介绍物理备份工具xtracebackup! 首先是安装可以percona官网下载安装，下载rpm包直接yum安装即可！ XtraceBackup是由知名数据库软件服务企业Percona提供的一款热备工具，除了能
playbook的语法结构playbook使用yml标记语言，这是一种标记语言，这种标记语言在文件的最开始需要使用三个“-”来说明文件开始，然后使用缩进来说明代码块的范围。下面通过一个简易的实例，来说明playbook的语法。官方实例说明文档---#标记文件的开始-hosts:webservers#指定该playbook在哪个服务器上执行vars:#表示下面是定义的变量，http_port:80#
1、查看有多少个IP访问：awk'{print$1}'log_file|sort|uniq|wc-l2、查看某一个页面被访问的次数：grep"/index.php"log_file|wc-l3、查看每一个IP访问了多少个页面：awk'{++S[$1]}END{for(ainS)printa,S[a]}'log_file>log.txtsort-n-t''-
介绍：本程序旨在为安全应急响应人员对Linux主机排查时提供便利，实现主机侧Checklist的自动全面化检测，根据检测结果自动数据聚合，进行黑客攻击路径溯源。系统环境：系统：CentOS(6、7)+python(2.x、3.x)权限：root权限启动执行时间：默认安全扫描大概执行时间为4～6分钟，完全扫描在1～2小时之间，程序执行时间的长度由检测文件的多少决定，有可能会存在较长的时间，请耐心等待
Nginx的upstream模块中max_fails及fail_timeout，这两个指令，分别是配置关于负载均衡过程中，对于上游(后端)服务器的失败尝试次数和不可用时间官网文档中解释max_fails是指在fail_timeout配置的时间内，服务器通信失败的次数，默认为1，即在fail_timeout时间内，1次请求失败即不再尝试，将请求根据hash规则，转发到下一个上游服务fail_time
LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取，所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消息，Windows事件日志记录，支持故障排除，使用户能够快速查找日志数据官网地址：https://loganalyzer.
keepalived初始化及启动#keepalived启动脚本变量引用文件，默认文件路径是/etc/sysconfig/，也可以不做软链接，直接修改启动脚本中文件路径即可（安装目录下）[root@localhost/]#cp/usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/keepalived#将keepalived主程序加入
注释多行文本使用vim打开要操作的文件Ctrl+V，进入VISUALBLOCK模式使用上下的方向键移动光标，选择你需要注释的行shift+i输入注释符号#esc，退出visualblock模式，稍微等待一下（其他行的注释可能会有一些延迟），是不是已经将多行注释掉了啊？取消注释多行文本取消注释也类似，而且更简单一些，如下：使用vim打开要操作的文件Ctrl+V，进入VISUALBLOCK模式使用上下
操作步骤证书安装1、已在SSL证书管理控制台中下载并解压缩cloud.tencent.com证书文件包到本地目录。解压缩后，可获得相关类型的证书文件。其中包含Nginx文件夹和CSR文件：文件夹名称：Nginx文件夹内容：1_cloud.tencent.com_bundle.crt证书文件2_cloud.tencent.com.key私钥文件CSR文件内容：cloud.tencent.com.cs
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
