sqtce的博客_RocketMQ,Zookeeper,Pulsar原创

RocketMQ Namesrv域名切换

环境Namesrv正常情况下都使用域名，便于后期维护。域名IP指向到新IPtest-mq1test.com10.6.65.710.7.3.1test-mq2test.com10.6.66.310.7.4.16test-mq3test.com10.6.66.4210.7.8.20操作1，在新的集群上将Namesrv集群部署好nohup bin/mqnamesrv &2，先将第一个域名解析

MQ

MQ域名解析

Name迁移

原创点赞0 阅读71 收藏0 评论0 2022-03-22

pulsar优雅缩减bookies

背景之前都是按统一的部署架构（broker3台+bookies5台）在生产环境部署一套puslar集群，上线后，查看监控，硬件资源使用率较低，本着降本省钱的理念，于是开始考虑缩减机器，bookies可以缩减成3台。说干就干。操作方法broker操作1，修改broker配置文件# 创建Ledger时指定Ensemble的大小managedLedgerDefaultEnsembleSize=3# 创建

硬件资源

操作方法

生产环境

原创点赞0 阅读299 收藏0 评论0 2022-01-13

Golang的内置函数和错误处理介绍

内置函数基本介绍 Golang设计者为了编程方便，提供了一些函数，这些函数可以直接使用，被称为Go的内置函数1， len 用来求长度，如：string array ，slice，map， channel2，new 用来分配内存，主要用来分配值类型，如：int, float32,struct....返回的是指针代码示例package mainimpo

错误处理

go语言

内置函数

基本介绍

代码示例

原创点赞0 阅读317 收藏0 评论0 2021-12-10

pulsar集群参数调优

硬件配置组件配置zookeeper4C8G100G * 3broker16C64G500G * 3bookie16C64G500G * 5broker.conf参数# zk集群地址zookeeperServers=zk1:2181,zk2:2181,zk3:2181# 配置存储连接字符串（以逗号分隔的列表）configurationStoreServers=zk1:2181,zk2:2181,zk

bundle

5g

zookeeper

客户端

连接字符串

原创点赞0 阅读564 收藏0 评论0 2021-12-09

Golang的时间和日期相关函数介绍

基本介绍在编程中，程序员会经常使用到日期相关的函数，如：统计某段代码执行花费的时间等1，时间和日期相关函数，需要导入time包2，time.Time类型用于表示时间package mainimport ( "fmt" "time")func main() { now :=time.Now() fmt.Printf("now=%v now type=%T\n",

2d

unix

字符串

时间戳

格式化日期

原创点赞0 阅读262 收藏0 评论0 2021-12-08

Golang的字符串函数介绍

1，统计字符串的长度，按字节len(str)func main() { str := "hello北" fmt.Println("str len=",len(str))}2，字符串遍历，同时处理有中文的问题 r :=[]rune(str)func main() { str2 := "hello北京" r := []rune(str2) for i :=0; i

字符串

子串

i++

golang

16进制

原创点赞0 阅读463 收藏0 评论0 2021-12-07

Golang的函数传递方式介绍

基本介绍值类型参数默认就是值传递，而引用类型参数默认就是引用传递两种传递方式1，值传递2，引用传递不论是值传递还是引用传递，传递给函数的都是变量的副本，不同的是，值传递也是值的拷贝，引用传递的是地址的拷贝，正常来说，地址拷贝效率高，因为数据量小，而值拷贝决定拷贝的数据大小，数据越大，效率越低值类型和引用类型1，值类型：基本数据类型int 系列，float系列，bool,string，数组

值传递

引用传递

引用类型

作用域

值类型

原创点赞0 阅读313 收藏0 评论0 2021-12-06

Golang的闭包和函数 defer介绍

文件名

匿名函数

后缀

代码示例

后缀名

原创点赞0 阅读653 收藏0 评论0 2021-12-05

Golang的init函数和匿名函数介绍

init函数init函数介绍每一个源文件都可以包含一个init函数，该函数会在main函数执行前，被GO运行框架调用，init会在main函数前被调用代码示例：package mainimport "fmt"func init() { fmt.Println("init()...")}func main(){ fmt.Println("main()...")}init函数的注意事项1，

匿名函数

main函数

全局变量

初始化

源文件

原创点赞0 阅读329 收藏0 评论0 2021-12-03

Golang的return和递归函数介绍

return基本语法gofunc函数名（形参列表）（返回值类型列表）{语句...return返回值列表}注：golang函数支持返回多个值1，如果返回多个值时，在接收时，希望忽略某个返回值，使用_符号表示占位忽略2，如果返回值只有一个，返回值类型列表，可以不写()代码示例：gopackagemainimport"fmt"functest(n1int){n1=n1+1fmt.Println("tes

递归

值类型

代码分析

代码示例

不执行

原创点赞0 阅读619 收藏0 评论0 2021-12-02

Golang的函数与包的介绍

函数的基本概念为完成某一功能的程序指令（语句块）的集合，称之为函数在Golang中，函数分为：自定函数，系统函数函数的基本语法func 函数名（形参列表）(返回值列表){ 执行语句... return返回值列表}注：1，形参列表：表示函数的输入2，函数中的语句：表示为了实现某一功能代码块3，函数可以有返回值，也可以没有不用函数的代码示例package mainimport

包名

代码示例

基本语法

golang

函数调用

原创点赞0 阅读405 收藏0 评论0 2021-11-30

zookeeper查看日志和快照方法

zookeeper的日志文件和快照文件都是二进制数据，无法直接打开查看，需要使用命令进行转换1，查看日志方法进入日志目录，确定需要查看的日志文件，日志路径：/data/zookeeper/log/version-2进入zookeeper安装目录，使用命令行$cd /workspace/zookeeper-3.4.13 $java -classpath .:lib/slf4j-api-1.7.25.

zookeeper

jar

日志文件

命令行

java

原创点赞0 阅读1523 收藏0 评论0 2021-11-30

Golang的goto和return介绍

goto基本介绍1，Golang语句的goto语句可以条件地转移到程序中指定的行2，goto语句通常与条件语句配合使用，可以实现条件转移，跳出循环体等功能 3，在Golang程序设计中一般不主张使用goto语句，以免造成程序流程的混乱，使理解和调试程序都产生困难goto基本语法goto label...label:statementgoto的流程图代码示例：package mainimp

main函数

基本介绍

golang

代码示例

基本语法

原创点赞0 阅读364 收藏0 评论0 2021-11-29

Golang的break和continue介绍

break的基本介绍break语句用于终止某个语句块的执行，用于中断当前for篁或跳出switch语句break基本语法 { ... break ...}以for循环使用break为例的流程图代码示例：package mainimport ( "fmt" "math/rand" "time")func main() { var count int

for循环

代码示例

i++

嵌套

流程图

原创点赞0 阅读281 收藏0 评论0 2021-11-29

Golang的for循环控制

for循环的基本语法 for 循环变量初始化;循环条件; 循环变量迭代{ 循环操作（语句）}说明：1，对for循环来说，有四个要素2，循环变量初始化3，循环条件4，循环操作（语句），也叫循环体5，循环变量迭代for循环执行的顺序说明 1，执行循环变量初始化2，执行循环条件3，如果循环条件为真，就执行循环操作4，执行循环变量迭代5，反复执行步骤，直到循环条件为false，就

for循环

i++

字符串

迭代

变量初始化

原创点赞0 阅读310 收藏0 评论0 2021-11-29

Golang的Switch分支控制

switch基本介绍1，switch语句用于不同条件执行不同动作，每一个case分支都是唯一的，从上到下逐一测试，直到匹配为止2，匹配项后面不需要加break基本语法 swtich 表达式{ case 表达式1，表达式2，...: 语句块1 case 表达式3，表达式4，...: 语句块2 //可以写多个case语句 default

数据类型

golang

switch语句

基本语法

浮点数

原创点赞0 阅读483 收藏0 评论0 2021-11-29

Golang程序的流程控制

流程控制在程序中，程序运行的流程控制决定程序是如何执行的，主要有三在流程控制语句。1）顺序控制2）分支控制3）循环控制顺序控制程序从上到下逐行执行，中间没有任何判断和跳转顺序控制流程图Golang中定义变量时采用合法的前向引用如：func min() { var i int = 10 var j int = i + 20 fmt.Println(j)}分支控制分支控制就是让程序

代码块

双分支

基本语法

代码示例

嵌套

原创推荐点赞0 阅读1111 收藏0 评论0 2021-11-29

Golang数据类型介绍

数据类型的基本介绍每一种数据都定义了明确的数据类型，在内在中分配了不同大小的内存空间整数类型整数类型就是用于存放整数值的，如-2，999，1等package mainimport "fmt"func main(){ var i int = 1 fmt.Println("i=",i) //k的值超过127就会报错， constant 129 overflows int8 va

字符串

golang

数据类型

浮点型

浮点数

原创点赞0 阅读273 收藏0 评论0 2021-11-25

Golang的变量介绍

1，变量介绍变量的概念变量是程序的基本组成单位变量相当于内存中一个数据存储空间的表示，可以把变量看成一个房间的门牌号，通过门牌号可以找到房间。同理，通过变量名可以访问到变量的值。变量的使用步骤声明变量（定义变量）变量赋值使用变量案例：package mainimport "fmt"func main(){ //声明变量（定义变量） var i int //变量赋值

赋值

变量名

数据类型

初始化

全局变量

原创点赞0 阅读723 收藏0 评论0 2021-11-25

RockeMQ手动偏移消费者的Offset值

背景半夜三更收到公司告警信息，提示是mq生产者发送异常，一直在不停的发送告警信息。根因分析1，查看硬件资源，一切都正常，且是在业务低峰期，排因大流量导致的错误2，根据告警信息去查对应的服务日志，发现一条可疑日志，properties不应该出现这么大3，到mq控制台查看topic情况，发现有积压，积压的offset值为62565613，这条消息被卡住4，通过命令行查看消息的具体内容 bin/mqad

rocketmq

偏移消费位点

修改消费者offset值

原创点赞2 阅读1030 收藏2 评论1 2021-11-12

pulsar集群清理硬盘方法

消息保留策略默认情况下，当消息到达 broker 时，会一直保留这条消息直到消费者确认已消费到这条消息，此时它才被删除。你可以修改命名空间中所有主题的消息保留策略，来保留所有订阅中已经确认的消息。消息保留策略支持两种类型：根据消息大小保留或者根据时间保留。当使用 Reader 接口时，保留策略是有用的。因为 Reader 接口不使用消息确认机制，消息将永远不会存在 backlog 中。在

pulsar

pulsar集群硬盘

pulsar硬盘清理

原创推荐点赞20 阅读1959 收藏1 评论0 2021-11-04

解决pulsar集群触发shedder

背景由于使用了默认的参数，broker触发了多次shedder，导致有许多重复消息。需要更改broker.conf参数来解决问题集群由3台broker 5台bookie组成，硬件配置为16c 64G, 1.78T SSD排障步骤1，查看代码，发现如果是触发了Shedder ，broker日志中会打印类似的日志，Attempting to shed load on {}, which has max

pulsar

shedder

pulsar参数调优

原创点赞1 阅读2199 收藏0 评论1 2021-11-02

zookeeper 做注册中心详细介绍

注册中心概念注册中心涉及三大角色1、服务提供者2、服务消费者3、注册中心他们之间的关系主要是1、各个服务启动的时候，将自己网络地址等信息记录到注册中心2、服务消费者从注册中心查询服务提供者提供的服务，并通过对应的地址调用服务提供者的 api3、微服务与注册中心使用心跳机制通信，如果注册中心与微服务长时间无法通信，就会注销该服务实例注册中心架构图：注册中心的主要作用在微服务架构中，注册中心主

注册中心

zk注册中心

zookeeper注册中心

原创点赞20 阅读358 收藏1 评论0 2021-10-13

Zookeeper升级配置过程

背景公司用zookeepr来做注册中心，由于公司服务越来越多，zookeeper集群的的长连接的负担很重，偶尔还会出现CPU抖动的情况，机器的配置为4C 8G。基于上述原因，才决定升级硬件配置，升级到32C 64G集群现况因为之前公司要求所有服务都需要多机房，做过一次扩容，将集群规模升级为4+3+2的模式集群域名配置域名实例idsoazk1，soazk2，soazk3Server1，S

zookeeper

zk升级

zookeeper升级配置

原创点赞17 阅读1596 收藏1 评论1 2021-10-11

pulsar bookies清理磁盘方法

背景 5台bookies的硬盘被打满，导致pulsar不能正常提供服务。当bookies的硬盘被打到95%以上，会自动把bookies给设置为readonly的原因是因为有消费者积压，造成大量的数据未被消费确认。默认情况下，Pulsar 会永久存储所有未确认的消息。在大量消息未得到确认的情况下，会导致大量磁盘空间的使用。因此，我们需要将未确认的消息从硬盘中清除操作方法 1，可以设置生存时间

pulsar

bookies

pulsar清理硬盘

原创点赞0 阅读2271 收藏0 评论0 2021-09-07

pulsar的Kop压力测试

背景 kop服务器配置：cpu: 32C 内存: 128G 硬盘：3.7T （8台机器） zk服务配置：cpu: 4C 内存: 8G 硬盘：40G （3台）部署：zk部署在3台机器上，kop分别部署在8台机器上目的：对Pulsar集群的kop进行性能压力测试, 总结 1，10万tps，消息体1k，最大tps11万 (40和80分区一样) 2，100万tps，消息体1k，最大tps30万

pulsar

kop

kop测试

原创点赞0 阅读1590 收藏0 评论0 2021-09-03

Pulsar的Kafka协议适配器KoP部署

背景为了能平滑、不改写代码、无侵入地迁移应用使用pulsar，KoP以插件形式支持Kafka协议。 Github地址：https://github.com/streamnative/kop 下载Kop版本 https://github.com/streamnative/kop/releases/tag/v2.8.0.7 下载与pulsar版本一致的kop 下载的文件为：pulsar-

pulsar

pulsarKop

kop

原创点赞1 阅读2142 收藏0 评论0 2021-08-18

alertmanager 发钉钉告警报400错误

背景基于Prometheus+prometheus-webhook-dingtalk+Alertmanager监控Pulsar并通过钉钉发告警，当pulsar出现积压，或者发出故障，可以第一时间处理解决。具体的安装方法，请查看之前的博客《基于Prometheus+Grafana+Alertmanager监控Pulsar发钉钉告警》现象在非生产环境，pulsar的积压能够正常告警，生产环境积压

alertmanager告警

告警

pulsar

原创点赞2 阅读2583 收藏0 评论0 2021-08-12

pulsar升级

pulsar

原创点赞0 阅读962 收藏0 评论0 2021-08-02

pulsar 集群报错Failed to lookup null for topic

背景集群配置 Pulsar集群版本：2.8.0 Pulsar Broker节点数：3 Pulsar Bookies节点数：5 Pulsar Zookeeper节点数：3 因为消费者服务有问题，需要重启消费者服务现象登陆到broker上去查看日志，只有一个broker节点上有些可疑的日志，不断的在打印这些日志 [pulsar-io-4-4] INFO org.apache.pulsar.b

pulsar

pulsar报错

原创点赞0 阅读908 收藏0 评论0 2021-08-02

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

sqtce

RocketMQ Namesrv域名切换

pulsar优雅缩减bookies

Golang的内置函数和错误处理介绍

pulsar集群参数调优

Golang的时间和日期相关函数介绍

Golang的字符串函数介绍

Golang的函数传递方式介绍

Golang的闭包和函数 defer介绍

Golang的init函数和匿名函数介绍

Golang的return和递归函数介绍

Golang的函数与包的介绍

zookeeper查看日志和快照方法

Golang的goto和return介绍

Golang的break和continue介绍

Golang的for循环控制

Golang的Switch分支控制

Golang程序的流程控制

Golang数据类型介绍

Golang的变量介绍

RockeMQ手动偏移消费者的Offset值

pulsar集群清理硬盘方法

解决pulsar集群触发shedder

zookeeper 做注册中心详细介绍

Zookeeper升级配置过程

pulsar bookies清理磁盘方法

pulsar的Kop压力测试

Pulsar的Kafka协议适配器KoP部署

alertmanager 发钉钉告警报400错误

pulsar升级最新版本

pulsar 集群报错Failed to lookup null for topic