管理topic相关的1. 创建topic./kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic test --zookeeper zk_host:port/chroot2. 删除topic./kafka-topics.sh --delete --topic test --zookeeper zk_host:p
转载
2024-03-20 20:27:15
60阅读
Kafka集群与运维10.1 集群应用场景10.1.1 消息传递Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因(将处理与数据生产者分离，缓冲未处理的消息等)。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka
转载
2024-05-15 06:05:20
70阅读
文章目录一、producer 相关命令1. kafka-console-producer 生产消息2. 使用 kafka-producer-perf-test 进行producer的基准测试3. 使用 kafka-verifiable-producer 批量推送消息4. 使用kafka-replay-log-producer进行topic之间的消息复制二、consumer相关命令1. kafka
转载
2024-03-19 09:55:57
137阅读
ERROR Fatal error during KafkaServer startup.Configured zookeeper.connect may be wrong检查一下kafka配置文件 config/server.propertieszookeeper.connect=bigdata111:2181, bigdata112:2181, bigdata113:2181去zookeepe
原创
2023-10-10 14:33:47
308阅读
经验： 关闭kafka自动
原创
2022-07-29 16:32:07
513阅读
Kafka是一种分布式消息队列系统，采用发布 - 订阅模式，主要由生产者（Producer）、消费者（Consumer）、代理（Broke
目录一、Kafka介绍1、Kafka的定义2、消息队列应用场景3、Kafka结构4、zk和Kafka二、Kafka生产者1、基本原理介绍2、Kafka的异步发送3、生产者分区原理4、提高生产者吞吐，发送能力5、生产者数据可靠性6、生产者数据去重7、消息有序8、数据乱序三、Kafka的broker1、kafka的borker和zk的关系2、broker总体流程3、Kafka的副本4、分区副本分配5、
2011年年初，美国领英公司(LinkedIn)开源了一款基础架构软件，以奥地利作家弗兰兹·卡夫卡(Franz Kafka)的名字命名，之后LinkedIn将其贡献给Apache基金会，随后该软件于2012年10月成功完成孵化并顺利晋升为Apache顶级项目——这便是大名鼎鼎的ApacheKafka。历经7年发展，2017年11月，Apache Kafka正式演进到1.0时代，本书就是基于1.0.
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test-group6. 添加客户端属性--consumer-property这个参数也可以给客户端添加属性,但是注意 不能多个地方配置同一个属性,他们是互斥的;比如在下面的基础上还加上属性--group test-grou
Kafka的生产集群部署方案背景假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。QPS计算公式：640000000 ÷ (3x60x60) = 60000，也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。磁盘空间计算
转载
2020-11-08 16:11:48
284阅读
Docker 镜像/容器命令、运维命令
• 镜像与容器的使用
• 镜像操作
• 容器操作
• 容器资源使用情况
• 默认输出
• 只返回当前的状态
• 只输出指定的容器
• 格式化输出的结果
转载
2023-07-11 06:33:38
110阅读
一、ceph守护服务管理 官方文档 ceph节点可以使用一条命令影响所有服务，也可以更细粒度的去管理单独的守护进程，比如systemctl start ceph.target 指令将停止此节点上所有的ceph相关进程，包括osd、mgr等等，也可以使用systemctl start ceph-osd ...
转载
2021-09-12 17:35:00
341阅读
2评论
Kubernetes 集群运维的实现方式基本可以分为以下几个步骤：准备环境、安装 Kubernetes、创建集群、进行集群管理和维护。
步骤 | 动作 | 代码示例
--- | --- | ---
1 | 准备环境 | 安装 Docker，并启动 Docker 服务
2 | 安装 Kubernetes | 导入 Kubernetes GPG 公钥添加 Kubernetes 的 apt repos
原创
2024-01-23 10:48:26
132阅读
更新configserver信息 1.登录一个configserver节点,查看configserver信息 直接修改原来的数据会报错 2.查看rs的帮助命令 rs帮助命令 /data/mongod/package/mongodb-linux-x86_64-amazon-3.6.2/bin/mong
原创
2023-08-18 11:35:52
71阅读
环境注意，系统版本对安装MHA有影响OS：三台 CentOS Linux release 7.3.1611 (Core)mysql： mysql Ver 14.14 Distrib 5.7.12, for Linux (x86_64)MHA： mha4mysql-0.58服务器信息10.150.132.103 VIP
10.150.132.100 master
10.150.132.101
**ES集群运维指南**
作为一名经验丰富的开发者，我将向你介绍如何进行ES集群的运维工作。ES（Elasticsearch）是一个基于Lucene的开源搜索引擎，常用于构建实时搜索和分析系统。在实践中，我们需要对ES集群进行不断的监控和维护，以确保其稳定性和性能。
下面是整个ES集群运维的流程：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 部署ES集群 |
原创
2024-05-07 10:36:08
91阅读
# 如何实现“运维 Redis 集群”
## 一、整体流程
首先我们需要了解搭建 Redis 集群的整体流程，下面是一个简单的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装 Redis 软件 |
| 2 | 配置 Redis 集群节点 |
| 3 | 启动 Redis 集群 |
| 4 | 验证 Redis 集群配置 |
## 二
原创
2024-06-29 05:36:31
64阅读
文章目录ConfigCommand1 查询配置Topic配置查询其他配置/clients/users/brokers/broker-loggers 的查询查询kafka版本信息2 增删改 配置 `--alter`Topic
原创
2022-05-17 20:42:57
499阅读
文章目录kafka-leader-election Leader重新选举More日常运
原创
2022-05-18 10:03:55
583阅读
Segment镜像概述当Greenplum数据库高可用性被启用时，有两种类型的Segment：主Segment和镜像Segment，每个主Segment都有一个对应的镜像Segment。主Segment从Master接收请求来对该Segment的数据库做更改并且接着把那些更改复制到对应的镜像。如果主Segment变成不可用，数据库请求会被转移到镜像Segment。Segment镜像采用了一种物理文
转载
2024-04-03 10:34:00
90阅读
