sqtce的博客_RocketMQ,Zookeeper,Pulsar

按发布时间
按阅读量
2019年 17篇

全部139篇
2023年4篇 07月1篇 04月2篇 02月1篇 2022年12篇 07月9篇 06月1篇 03月1篇 01月1篇 2021年44篇 12月8篇 11月12篇 10月2篇 09月2篇 08月4篇 06月2篇 05月2篇 04月1篇 02月1篇 01月10篇 2020年8篇 12月1篇 06月1篇 04月2篇 03月4篇 2019年17篇 10月1篇 07月3篇 06月3篇 05月3篇 04月1篇 03月1篇 02月3篇 01月2篇 2018年26篇 12月4篇 11月8篇 10月1篇 09月1篇 08月4篇 07月5篇 05月2篇 02月1篇 2017年19篇 12月5篇 10月1篇 09月1篇 08月2篇 07月2篇 05月2篇 04月2篇 03月4篇 2016年9篇 12月1篇 10月2篇 09月2篇 08月3篇 07月1篇
推荐/精选
全部

全部原创转载翻译

RocketMQ集群生产环境master节点节点优雅下线

1，现状描述由于某些原因，导致rocketmq集群中某个master节点不能正常服务，需要为master节点做流量迁移动作，已确保消息不丢失配置策略为：异步刷盘主从异步复制如果直接下线该master，由于主从异步复制，可能导致部分消息来不及复制到slave造成消息丢失。所以该方案不可行。另一种方案选择：关闭该broker的写入权限，待该broker不再有写入和消费时，再下线该节点。2.关闭brok

rocketmq

原创 2019-10-12 19:32:13 4250 阅读 1点赞 2收藏 1评论

开启Kafka ACL认证控制

通过 producer、consumer、admin 实现了写入、读取和 consumer-group 控制权限的分离。没有配置 zookeeper 的 SASLBroker 端1. 创建 JAAS 文件，注意结尾两个分号，保存为 kafka_server_jaas.conf#vim config/kafka_server_jaas.conf KafkaServer { org.apache.ka

kafka acl

原创 2019-07-12 20:10:08 7192 阅读

开启Kafka ACL认证控制

kafka acl

原创 2019-07-12 20:10:02 8856 阅读

ETCD集群部署

etcd 是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。etcd 的灵感来自于 ZooKeeper 和 Doozer，侧重于：简单：支持 curl 方式的用户 API (HTTP+JSON)安全：可选 SSL 客户端证书认证快速：单实例可达每秒 10000 次写操作可靠：使用 Raft 实现分布式ETCD下载https://github.com/etcd-io/etcd

ectd

原创 2019-07-01 14:58:45 5709 阅读

RocketMQ4.5.1两主两从集群部署

RockerMQ简介RocektMQ是阿里巴巴在2012年开源的一个纯java、分布式、队列模型的第三代消息中间件，不仅在传统高频交易链路有着低延迟的出色表现，在实时计算等大数据领域也有着不错的吞吐。2016年11月11号，双十一大促见证了RocketMQ低延迟存储架构的成功试水，99.996%的延迟落在了10ms以内，极个别由于GC引发的停顿在50ms以内，其高性能、低延时和高可靠的特性承载了近

rocketmq

原创 2019-06-14 16:44:17 4059 阅读 1收藏 2评论

Pulsar集群搭建部署

一、集群组成说明1. 搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群（Broker 是 Pulsar 的自身实例)。这三个集群组件如下：ZooKeeper 集群（3 个 ZooKeeper 节点组成）bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成）broker 集群（3 个 P

pulsar 消息中间件

原创 2019-06-13 20:27:50 10000+阅读 2点赞 1评论

zookeeper kafka迁移后logstash消费不了Kafka消息

zookeeper和kafka安装在同3台机器上，组成一个集群，对外提供服务因为种种原因，需要将kafka和zookeeper 做整体迁移首先申请3台机器部署好zookeeper服务，加到原来的集群中，方法见上篇Zookeeper迁移(扩容/缩容)将kafka也加入到现有的集群中，将数据迁移到新的broker中将老的3台zookeeper 和kafka下线，发现kafka的就无法消费数据，log

zookeepr kakfa

原创 2019-06-11 20:43:54 2789 阅读

Zookeeper迁移(扩容/缩容)

zookeeper选举原理在迁移前有必要了解zookeeper的选举原理，以便更科学的迁移。快速选举FastLeaderElectionzookeeper默认使用快速选举，在此重点了解快速选举：向集群中的其他zookeeper建立连接，并且只有myid比对方大的连接才会被接受（也就是每2台只会有1个连接，避免连接浪费）每台zookeeper默认先投自己，然后向集群广播自己的选票收到对方的选票时，依

zookeeper扩容缩容

原创 2019-05-23 11:22:05 2595 阅读

RabbitMQ 6种业务场景

应用场景1-“Hello Word”一个P向queue发送一个message，一个C从该queue接收message并打印。producer，连接至RabbitMQ Server，声明队列，发送message，关闭连接，退出。应用场景2-work queues工作队列（又称：任务队列——Task Queues）是为了避免等待一些占用大量资源、时间的操作。当我们把任务（Task）当作消息发送到队列中

RabbitMQ

原创 2019-05-22 10:16:11 4258 阅读

RabbitMQ控制台详解

overview→Totals所有队列的阻塞情况Ready：待消费的消息总数Unacked：待应答的消息总数Total：总数Ready+UnackedPublish：producterpub消息的速率。Publisherconfirm：broker确认pub消息的速率。Deliver(manualack)：customer手动确认的速率。Deliver(autoack)：customer自动确认的

rabbitmq

详解

原创 2019-05-06 15:16:16 10000+阅读

kubernetes1.14.0 安装 helm 教程

Helm 可以理解为 Kubernetes 的包管理工具，可以方便地发现、共享和使用为Kubernetes构建的应用，它包含几个基本概念Chart：一个 Helm 包，其中包含了运行一个应用所需要的镜像、依赖和资源定义等，还可能包含 Kubernetes 集群中的服务定义，类似 Homebrew 中的 formula，APT 的 dpkg 或者 Yum 的 rpm 文件，Release: 在 Ku

k8s

helm

原创 2019-04-03 18:35:13 2704 阅读

docker目录迁移及docker日志自动清理

docker 默认安装路径为/var/lib/docker/，当docker用过一段时间后发现/var/lib/docker/overlay2 占用很大，就清理Docker占用的磁盘空间，将目录/var/lib/docker 目录迁移到较大的磁盘上查看磁盘使用情况# du -hs /var/lib/docker/查看Docker的磁盘使用情况，docker system df命

docker

自动清理

原创 2019-03-27 11:04:53 8382 阅读

Apache Kafka 基本操作

启动ZooKeeper打开一个新终端并键入以下命令#cd /usr/local/zookeeper-3.4.13/#bin/zkServer.sh start关闭ZooKeeper,请键入以下命令#cd /usr/local/zookeeper-3.4.13/#bin/zkServer.sh stop启动Kafka Broker，请键入以下命令#cd /us

kafka

基本操作

原创 2019-02-25 15:57:01 1515 阅读

zookeeper kafka集群安装配置

转至元数据结尾转至元数据起始节点信息节点主机节点应用节点IPkafka01zookeeper kafka1.1.1.23kafka02zookeeper kafka1.1.1.24kafka03zookeeper kafka1.1.1.27下载JDK如果没有下载Java，请通过访问以下链接并下载最新版本来下载最新版本的JDK。http://www.oracle.com/technetwork/ja

zookeeper

fakfa

原创 2019-02-22 15:28:12 1040 阅读

Prometheus+Grafana+kafka_exporter搭建监控系统监控kafka

kafka_exporter 通过 Kafka Protocol Specification 收集 Brokers, Topics 以及 Consumer Groups的相关指标，使用简单，运行高效，相比于以往通过kafka内置的脚本进行收集，由于没有了JVM的运行开销，指标收集时间从分钟级别降到秒级别，便于大规模集群的监控。git项目地址：https://github.com

Prometheus

Grafana

原创 2019-02-14 13:41:16 10000+阅读 1点赞

kubeadm部署kubernetes 1.13.1集群

kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具，本篇文章使用kubeadm搭建一个单master节点的3节点k8s集群。#kubernetes部署dashboard可视化插件：https://blog.csdn.net/networken/article/details/85607593#kubernetes部署 Prometheus Operator监控

k8s

转载 2019-01-29 15:51:32 8147 阅读 1评论

zkdoctor安装部署

zkdoctor是一个ZooKeeper服务的统计、监控报警以及自动化运维平台：监控ZooKeeper集群运行状态，做到有问题及时发现、及时解决，掌握ZooKeeper整体运行情况。准备环境jdk下载相应版本http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装jdk#rpm -iv

zkdoctor监控zookeeper

原创 2019-01-08 16:56:48 4362 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

sqtce