record, partition, offset, replication一个非常大的Topic可以被分成多个分区（partition）, 从而分配到多个broker中（分区可以存储在不同的服务器上，分区是对Topic中所包含数据集的物理分区）。kafka中的每一条消息（record）都会分配一个自增ID（Offset）。一个partition中的消息可以顺序发给消费者，不保证多个partion
转载
2024-02-23 11:22:32
13阅读
一、Kafka集群参数调优1、JVM参数调忧默认启动的Broker进程只会使用1G内存，在实际使用中会导致进程频繁GC，影响Kafka集群的性能和稳定性 通过jstat -gcutil 1000查看到kafka进程GC情况 主要看YGC,YGCT,FGC,FGCT这几个参数，如果这几个值不是很大，就没什么问题。YGC：young gc发生的次数 YGCT：young gc消耗的时间 FGC：ful
转载
2024-02-15 20:55:28
24阅读
kafka消息消费原理演示 在实际生产过程中，每个topic都会有多个partitions，多个partitions的好处在于，一方面能够对 broker上的数据进行分片有效减少了消息的容量从而提升io性能。另外一方面，为了提高消费端的消费 能力，一般会通过多个consumer去消费同一个topic ，也就是消费端的负载均衡机制，也就是我们接下 来要了解的，在多个partition以及多个cons
转载
2024-02-15 14:26:42
62阅读
# 安装Kafka on Docker
Apache Kafka 是一个分布式流处理平台，常用于构建实时数据管道和流处理应用程序。在本文中，我们将介绍如何在Docker容器中安装和运行Kafka。
## 步骤
### 步骤一：拉取Kafka镜像
首先，我们需要拉取官方的Kafka镜像。可以在终端中运行以下命令来拉取最新版本的Kafka镜像：
```shell
docker pull wu
原创
2024-06-17 04:15:02
78阅读
堂堂一个大网站，居然没有注销账户的功能。跟客服反应要注销账户，客服居然说不能注销账户，建议停用。我也是服气了。
原创
2019-03-28 11:25:50
889阅读
51CTO是一个面向IT技术人员的综合性技术网站，为广大IT从业人员提供丰富的技术资源和服务。本文将以51CTO为例，通过代码示例介绍51CTO的主要功能和使用方法，帮助读者更好地了解和使用该网站。
## 51CTO简介
51CTO成立于2005年，是中国最早的IT技术社区之一。作为IT技术人员学习交流的平台，51CTO提供了丰富的技术文章、教程、视频等资源，涵盖了计算机基础、网络安全、云计算
原创
2024-01-15 20:04:41
176阅读
51cto所憧憬的一个地方，高手云集的一个地方，hello 51cto!
原创
2011-04-26 11:16:34
963阅读
1评论
好像51cto好像真的被攻击了，因为编辑界面都变成什么鸟样了，呵呵
原创
2016-04-22 18:28:31
1182阅读
不想做CTO，只想做好自己手头的事情，做一些重要不紧急的事情。
原创
2015-11-07 19:57:41
881阅读
我的天小白真不是好做的上了一天班本想晚上回来更新下咱的技术博客发篇文章显摆显摆前前后后把首页找了好几个遍还麻烦了百度大师也没能找到发表文章的那个Button本人的挫败感顿时油然而生这51cto果然是纯技术交流网站没点本事你也别想发表文章好在咱这小白不是白当的最后终于还是被我给逮着了下面公布给后来的小盆友希望你们表浪费那么长时间在准备工作上来了个人博客标题栏的下方位置有个选项卡再往下紧挨着有个Tex
转载
2020-03-27 11:21:40
823阅读
#include <stdio.h>int main(){printf("hello world\n");return 0;}#include <stdio.h>
int main()
{
printf("hello world\n");
return 0;
}
原创
2021-09-27 19:38:58
478阅读
点赞
3评论
51CTO是国内最大的IT技术社区之一，通过技术社区、技术博客和新媒体矩阵等综合产品服务体系，凝聚了2000万IT技术人员、50万位技术博主和近千家IT公司的CTO。作为华为鸿蒙操作系统合作伙伴，51CTO与华为鸿蒙官方共同建立了鸿蒙技术社区，全力服务于鸿蒙开发者生态。51CTO主办的WOT是中国IT技术人员的行业盛会，每年吸引数千顶尖技术人员进行现场交流。51CTO是中国IT技术图书出版的重要
原创
2022-03-24 19:37:44
639阅读
当我们谈论 Kafka 性能调优时，需要考虑很少的配置参数。因此，为了提高性能，最重要的配置是控制磁盘刷新速率的配置。此外，我们可以根据组件划分这些配置。因此，让我们先谈谈Producer。因此，在生产者方面需要注意的最重要的配置是Compression
Batch size
Sync or Async而且，在消费者方面，重要的配置是Fetch size虽然，当我们考虑批处理大小时，总是会困惑多大
转载
2024-02-18 19:53:49
14阅读
回想刚在这里建博客的时候，天天来写，生活要比现在觉得充实的多，∴决定履行前面对自己的承诺，一定要天天写，而且在51cto上一定要写。原因呢，我觉得这里的php结构的还是快多了，爽多了。虽然对不打算对php研究，但它的性不能不让人肃然起敬。
原创
2007-04-27 17:37:21
643阅读
2评论
