sqtce的博客_RocketMQ,Zookeeper,Pulsar

zookeeper日志切割及参数优化

一、Jvm参数在zookeeper/conf创建java.env文件，以16G内存为例export JVMFLAGS="-Xms8G -Xmx8G -Xmn4G -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/data/zkout/gc/gc-%t.log $JVMFLAGS" 二、日志滚动1.conf/log4j.properties调整

zookeeper

vim

系统参数

原创 1月前 67 阅读

RocketMQ消息积压为何会到从节点拉取消息

背景突然收到电话告警，RocketMQ集群的cpu被打到90%以上，马上打开监控系统查看下，cpu直线上升硬盘I/O也在狂飙集群中只有两个节点的cpu暴涨，通过集群信息查下，发现是集群中的两个从节点的cpu暴涨。(我们的集群是4主4从，2个节点部署在同一台机器上，为了省钱)。虽然从节点cpu暴涨不影响整个集群的正常tps写入，还得要清楚是啥原因造成的cpu暴涨。找到对应的集群业务负责人，询问有什么

rocketmq

从节点拉取消息

原创 4月前 394 阅读

RocketMQ手动跳过延迟消息offset

背景收到业务人员反馈，延迟30s的消息，到时间还没有正常被消费，于是登陆到broker节点上去查看日志，有个ERROR级别的报错：#vim rocketmq-log/stats.log ScheduleMessageService, a message time up, but reput it failed, topic: SCHEDULE_TOPIC_XXXX msgId 016F51324

延迟消息跳过offset

原创 4月前 225 阅读

Rocketmq的tag显示积压

背景公司有一个topic，消费者160个，都使用了tag来过滤消息，在压测的时候，发现有一个问题，consumerA的积压值在不停的变化，触发了积压告警。而且实际上生产者并没有发送consumerA所使用的tag，理论上不应该有积压才对。在平台上看consumerA的积压情况，到集群通过命令行查看也是一样都显示积压。原因分析假如消费者在消费offset=100的这条tag1消息后，后面连续出现10

客户端

服务端

技术内幕

原创 6月前 312 阅读

Linux部署mysql8.0

下载mysql版本#wget https://dev.mysql.com/get/mysql80-community-release-el7-6.noarch.rpm安装mysql#rpm -ivh mysql80-community-release-el7-6.noarch.rpmyum install mysql-server --nogpgcheck -y权限设置 #chown -R m

mysql

mysql 部署

原创精选 2022-07-22 10:12:48 706 阅读

linux部署.net应用程序

安装.NET SDK ASP.NET Core 安装 .NET 之前，请运行以下命令，将 Microsoft 包签名密钥添加到受信任密钥列表，并添加 Microsoft 包存储库。打开终端并运行以下命令：#rpm -Uvh https://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm 安装 SDK.NET

.net

应用程序

asp.net

原创精选 2022-07-21 21:59:20 484 阅读

RabbitMQ常用命令

背景当rabbitmq压力较大，导致rabbitmq无法正常显示，需要登陆到rabbitmq集群的机器上，使用命令行查看rabbitmq集群的相关状态rabbitmq常用命令查看连接状态信息#rabbitmqctl list_connections state查看队列积压情况rabbitmqctl list_queues -p pt_test messages_unacknowledged&nbs

常用命令

rabbitmq

原创 2022-07-20 21:58:02 393 阅读

RabbitMQ 网络分区处理方法

背景当网络发抖动，造成Rabbitmq网络分区，就是一个节点在一分钟（或者一个net_ticktime时间）内不能连接上另一个节点，那么主节点会认为另一个节点已经挂了。就算之后两个节点连通，但是这两个节点都认为对方已经挂了，主节点此时认定发生了网络分区的情况通过命令行查看网络分区情况$sudo rabbitmqctl cluster_status如果出现上图现象，则说明出现网络分区，处理方法则需要

rabbitmq

网络分区

脑裂

原创精选 2022-07-18 10:39:07 414 阅读

RabbitMQ 流量控制处理方法

登陆到MQ管理控制台，选择Connections，找到状态为flow，处理方法点击进Name一栏的ip地址，点击Channel，点击Queue，在Bindings项点，击Unbind。触发流控的原因 1，生产消费速度不匹配2，CPU负载过高3，消息体过大，RabbitMQ处理不过触发流控后，生产者无法往RabbitMQ投递信息，生产者的线程会被阻塞，业务将受到

rabbitmq

mq

mq流控

原创精选 2022-07-15 11:08:07 681 阅读

RabbitMQ Queue Unacked积压清除方法

处理方法选择Queues，查找积压的Queues并点击这个Queues ，选择：Purge，点：Purge Messages。如果清除没有效果让业务方重启应用服务Uack积压过多的后果 1，消息被正常消费，消费者没有回ack给MQ消费者如果没有设置QoS值，RabbitMQ会无限投递信息给消费者，导致消费者内存被耗尽消费

rabbitmq

积压处理方法

原创精选 2022-07-14 10:16:38 5220 阅读

RabbitMQ Reday消息积压处理方法

Reday消息积压处理方法登陆到MQ管理控制台，“Overview”--查看“Ready ”,查看消息数是否在不断上涨，处理方法请选择Queues，查找Reday的Queues,并点击这个Queues ，查看consumers是否存在，如果出现以下情况，联系业务方，通知业务方检查客户端的重连机制，如果需要清除Reday消息，请选择：Purge，点：Purge

消息积压

消息积压处理方法

原创精选 2022-07-13 19:20:45 1455 阅读

RabbitMQ node节点状态不可用处理方法

登陆到rabbitmq控制台，如果看到Nodes一栏有红色的，说明RabbitMQ集群中出现节点不可用处理方法需要重启RabbitMQ服务#rabbitmqctl start_app如果无法启动成功，使用如下命令重启#service rabbitmq-server restartNode节点不可用的后果当Node节点宕机，状态为不可用时，会有少量消息丢失

rabbitmq

rabbitmq节点不可用

原创 2022-07-12 20:55:53 550 阅读

RocketMQ消费者状态解释

在RocketMQ原生控制台中，通过消息检索，能看到消费者的状态有如下四种：NOT_ONLINE ：消费者不在线CONSUMED ：消息已经被投递消费CONSUMED_BUT_FILTERED ：消息已经被投递且被过滤比如，发布端发布消息topicA，tagA，订阅端订阅topicA，tagB, tagA的消息就被集群消费的消费者忽略掉了NOT_CONSUME_YET ：消息未被投递有可能消息发生

rocketmq

mq

控制台

消费者状态

原创 2022-07-07 16:53:29 1806 阅读

InfluxDB优化配置项

时序数据库InfluxDBInfluxDB是一个用于存储和分析时间序列数据的开源数据库。也是使用最多的一个时序数据库。常见选项的默认配置 (influxdb.conf)# 禁止报告开关，默认每 24 小时往 usage.influxdata.com 发送报告reporting-disabled = false# 用于备份和恢复的 RPC 服务的绑定地址bind-address = "127.0.

influxdb

influx

influx配置优化

原创精选 2022-06-21 11:32:03 5971 阅读 1点赞 1收藏

RocketMQ Namesrv域名切换

环境Namesrv正常情况下都使用域名，便于后期维护。域名IP指向到新IPtest-mq1test.com10.6.65.710.7.3.1test-mq2test.com10.6.66.310.7.4.16test-mq3test.com10.6.66.4210.7.8.20操作1，在新的集群上将Namesrv集群部署好nohup bin/mqnamesrv &2，先将第一个域名解析

MQ

MQ域名解析

Name迁移

原创 2022-03-22 11:49:35 330 阅读

pulsar优雅缩减bookies

背景之前都是按统一的部署架构（broker3台+bookies5台）在生产环境部署一套puslar集群，上线后，查看监控，硬件资源使用率较低，本着降本省钱的理念，于是开始考虑缩减机器，bookies可以缩减成3台。说干就干。操作方法broker操作1，修改broker配置文件# 创建Ledger时指定Ensemble的大小managedLedgerDefaultEnsembleSize=3# 创建

硬件资源

操作方法

生产环境

原创精选 2022-01-13 15:37:54 1045 阅读

Golang的内置函数和错误处理介绍

内置函数基本介绍 Golang设计者为了编程方便，提供了一些函数，这些函数可以直接使用，被称为Go的内置函数1， len 用来求长度，如：string array ，slice，map， channel2，new 用来分配内存，主要用来分配值类型，如：int, float32,struct....返回的是指针代码示例package mainimpo

错误处理

go语言

内置函数

基本介绍

代码示例

原创精选 2021-12-10 19:32:18 408 阅读

pulsar集群参数调优

硬件配置组件配置zookeeper4C8G100G * 3broker16C64G500G * 3bookie16C64G500G * 5broker.conf参数# zk集群地址zookeeperServers=zk1:2181,zk2:2181,zk3:2181# 配置存储连接字符串（以逗号分隔的列表）configurationStoreServers=zk1:2181,zk2:2181,zk

bundle

5g

zookeeper

客户端

连接字符串

原创精选 2021-12-09 19:35:10 2558 阅读

Golang的时间和日期相关函数介绍

基本介绍在编程中，程序员会经常使用到日期相关的函数，如：统计某段代码执行花费的时间等1，时间和日期相关函数，需要导入time包2，time.Time类型用于表示时间package mainimport ( "fmt" "time")func main() { now :=time.Now() fmt.Printf("now=%v now type=%T\n",

2d

unix

字符串

时间戳

格式化日期

原创 2021-12-08 20:35:49 421 阅读

Golang的字符串函数介绍

1，统计字符串的长度，按字节len(str)func main() { str := "hello北" fmt.Println("str len=",len(str))}2，字符串遍历，同时处理有中文的问题 r :=[]rune(str)func main() { str2 := "hello北京" r := []rune(str2) for i :=0; i

字符串

子串

i++

golang

16进制

原创精选 2021-12-07 21:02:15 685 阅读

Golang的函数传递方式介绍

基本介绍值类型参数默认就是值传递，而引用类型参数默认就是引用传递两种传递方式1，值传递2，引用传递不论是值传递还是引用传递，传递给函数的都是变量的副本，不同的是，值传递也是值的拷贝，引用传递的是地址的拷贝，正常来说，地址拷贝效率高，因为数据量小，而值拷贝决定拷贝的数据大小，数据越大，效率越低值类型和引用类型1，值类型：基本数据类型int 系列，float系列，bool,string，数组

值传递

引用传递

引用类型

作用域

值类型

原创 2021-12-06 19:52:20 1293 阅读

Golang的闭包和函数 defer介绍

文件名

匿名函数

后缀

代码示例

后缀名

原创精选 2021-12-05 15:07:09 1050 阅读

Golang的init函数和匿名函数介绍

init函数init函数介绍每一个源文件都可以包含一个init函数，该函数会在main函数执行前，被GO运行框架调用，init会在main函数前被调用代码示例：package mainimport "fmt"func init() { fmt.Println("init()...")}func main(){ fmt.Println("main()...")}init函数的注意事项1，

匿名函数

main函数

全局变量

初始化

源文件

原创精选 2021-12-03 20:09:55 669 阅读

Golang的return和递归函数介绍

return基本语法gofunc函数名（形参列表）（返回值类型列表）{语句...return返回值列表}注：golang函数支持返回多个值1，如果返回多个值时，在接收时，希望忽略某个返回值，使用_符号表示占位忽略2，如果返回值只有一个，返回值类型列表，可以不写()代码示例：gopackagemainimport"fmt"functest(n1int){n1=n1+1fmt.Println("tes

递归

值类型

代码分析

代码示例

不执行

原创精选 2021-12-02 19:40:40 1828 阅读

Golang的函数与包的介绍

函数的基本概念为完成某一功能的程序指令（语句块）的集合，称之为函数在Golang中，函数分为：自定函数，系统函数函数的基本语法func 函数名（形参列表）(返回值列表){ 执行语句... return返回值列表}注：1，形参列表：表示函数的输入2，函数中的语句：表示为了实现某一功能代码块3，函数可以有返回值，也可以没有不用函数的代码示例package mainimport

包名

代码示例

基本语法

golang

函数调用

原创精选 2021-11-30 20:36:32 501 阅读

zookeeper查看日志和快照方法

zookeeper的日志文件和快照文件都是二进制数据，无法直接打开查看，需要使用命令进行转换1，查看日志方法进入日志目录，确定需要查看的日志文件，日志路径：/data/zookeeper/log/version-2进入zookeeper安装目录，使用命令行$cd /workspace/zookeeper-3.4.13 $java -classpath .:lib/slf4j-api-1.7.25.

zookeeper

jar

日志文件

命令行

java

原创精选 2021-11-30 16:53:45 6600 阅读

Golang的goto和return介绍

goto基本介绍1，Golang语句的goto语句可以条件地转移到程序中指定的行2，goto语句通常与条件语句配合使用，可以实现条件转移，跳出循环体等功能 3，在Golang程序设计中一般不主张使用goto语句，以免造成程序流程的混乱，使理解和调试程序都产生困难goto基本语法goto label...label:statementgoto的流程图代码示例：package mainimp

main函数

基本介绍

golang

代码示例

基本语法

原创 2021-11-29 22:03:00 1244 阅读

Golang的break和continue介绍

break的基本介绍break语句用于终止某个语句块的执行，用于中断当前for篁或跳出switch语句break基本语法 { ... break ...}以for循环使用break为例的流程图代码示例：package mainimport ( "fmt" "math/rand" "time")func main() { var count int

for循环

代码示例

i++

嵌套

流程图

原创 2021-11-29 21:48:42 1239 阅读

Golang的for循环控制

for循环的基本语法 for 循环变量初始化;循环条件; 循环变量迭代{ 循环操作（语句）}说明：1，对for循环来说，有四个要素2，循环变量初始化3，循环条件4，循环操作（语句），也叫循环体5，循环变量迭代for循环执行的顺序说明 1，执行循环变量初始化2，执行循环条件3，如果循环条件为真，就执行循环操作4，执行循环变量迭代5，反复执行步骤，直到循环条件为false，就

for循环

i++

字符串

迭代

变量初始化

原创精选 2021-11-29 21:26:25 3386 阅读

Golang的Switch分支控制

switch基本介绍1，switch语句用于不同条件执行不同动作，每一个case分支都是唯一的，从上到下逐一测试，直到匹配为止2，匹配项后面不需要加break基本语法 swtich 表达式{ case 表达式1，表达式2，...: 语句块1 case 表达式3，表达式4，...: 语句块2 //可以写多个case语句 default

数据类型

golang

switch语句

基本语法

浮点数

原创精选 2021-11-29 20:52:20 1325 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

sqtce