Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS, S3等，可以把这些大的文件存放到共享存储
转载
2024-04-23 13:18:39
314阅读
CPUKafka是I/O密集型而非计算密集型的框架，所以对CPU的需求是各个指标里最宽松的，消耗CPU的点主要在于消息的压缩和解压缩。一个Kafka Broker节点往往要承载许多个Topic Partition并与许多个Producer/Consumer交互，所以并行度（核心/线程数）要比单核性能（频率）更重要。一般来讲单节点8C/16T，主频2GHz以上（按Broadwell架构计）就可以满足
转载
2024-02-15 16:51:15
97阅读
我们都知道Kafka一大特点就是快，每秒甚至可以达到百万级别的吞吐量，然后这种级别的吞吐量居然还是基于磁盘的读写，那么kafka是如何做到的呢？接下来我们就一起来分析下其中的奥妙。磁盘顺序写对于一般的机械硬盘来说如果要查找某个数据，需要先寻址，然后通过机械运动（磁头臂驱动磁头找到对于的磁道、扇面）来读取数据，这种飘忽不定的查询方式就造成了大量的时间消耗在了机械运动上，磁头被不停的移来移去，所以说我
转载
2024-04-01 14:02:24
77阅读
Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万。但是很多使用过Kafka的人,经常会被问到这样一个问题,Kafka为什么速度快,吞吐量大；大部分被问的人都是一下子就懵了，或者是只知道一些简单的
转载
2024-03-06 17:52:23
432阅读
最近在搭建一套ELK+redis+filebeat的日志分析系统，在filebeat启动后出现了redis服务器内存可用率暴跌，导致服务挂掉的情况,避免忘记，记录一下通过查看系统日志，可以发现系统报可用内存不足，redis进程被系统kill掉经过排查是因为Nginx集群四台机器的数据瞬间涌入redis（单机），因数据量太大导致redis内存使用率暴涨停掉四台Nginx服务器上的filebeat服务
转载
2023-06-14 15:18:19
104阅读
## 深入了解Redis集群内存满了读不到
### 介绍
Redis 是一个开源的内存数据库管理系统，常用于缓存、消息中间件以及持久化。Redis 集群是一种分布式环境下的 Redis 实例集合，用于提高性能和可用性。
然而，在使用 Redis 集群的过程中，我们可能会遇到一个问题：当 Redis 集群的内存使用率达到上限时，导致无法正常读取数据。本文将深入探讨这个问题，并给出解决方案。
原创
2024-06-28 06:04:54
41阅读
## 如何实现“redis集群主节点内存满了”
作为一名经验丰富的开发者，你需要教会一位刚入行的小白如何实现“redis集群主节点内存满了”的操作。下面将为你详细介绍这个过程。
### 流程概述
首先，我们来看一下整个过程的流程，可以用表格展示出来：
```markdown
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 监控redis集群主节点内存 |
| 2
原创
2024-04-14 06:17:15
33阅读
Kafka消息的存储Kafka的设计基于一种非常简单的指导思想：不是要在内存中保存尽可能多的数据，在需要时将这些数据刷新（flush）到文件系统，而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中，但不进行刷新数据的任何调用。实际中这样做意味着，数据被传输到OS内核的页面缓存中了，OS随后会将这些数据刷新到磁盘。大家普遍为“磁盘很慢”，因而人们都对持久化（persistent s
转载
2024-04-25 10:12:00
157阅读
众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。顺序写入因为硬盘是机械结构，每次读写都会寻址-&g
转载
2024-08-07 09:48:56
342阅读
生产者调优、硬件选择：假设：100万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条处理速度=1亿/(24*3600s)=1150条/s一条日志按1k计算，1150 条/每秒钟 * 1k ≈ 1m/s 。高峰期每秒钟：1150 条 * 20 倍 = 23000 条。数据量：20MB/s服务器台数选择：服务器台数= 2 * （生产者峰值生产速率 * 副本
转载
2024-03-15 10:04:27
67阅读
上篇详细阐述了redis集群的安装搭建以及集群监控变更相关运维操作，本篇继续对redis集群调优和常见问题的解决进行介绍。一、集群调优1.1 Linux 内存内核参数优化：Vm.overcommit_memory参数说明: 文件指定了内核针对内存分配的策略，其值可以是0、1、2。0：表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存， 内存申请允许；否则，内存申请失败，并把错误
转载
2023-12-30 16:51:02
64阅读
线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思，并且结合本次故障，对kafka使用的最佳实践有了更深刻的理解。好了，一起来回顾下这次线上故障吧，最佳实践总结放在最后，千万不要错过。1、现象线上kafka消息突然开始堆积消费者
转载
2024-04-29 07:18:03
216阅读
kafka集群细节支出折磨我死去活来，查看众多文档进度缓慢，内容重复，所以站在大佬的肩膀上 整理文档记录它。kafka说明： 一个Topic可以认为是一类消息，每个topic将被分成多个partition(区)，,此外kafka还可以配置partitions需要备份的个数(replicas)。有多少个partitions就意味着有多少个"leader",kafka会将"leader"均衡的分散在每
转载
2024-03-27 10:04:12
110阅读
缓存数据满了怎么办?首先要明确, 用作缓存的数据都是设置了过期时间的, 没有过期时间那不叫缓存, 那叫持久化.如果遇到缓存满了又该怎么办呢?加内存
这是最简单粗暴的办法, 不过成本相对较高内存淘汰策略redis的内存淘汰策略是指在Redis的用于缓存的内存不足时, 怎么处理需要新写入且需要申请额外空间的数据.maxmemory参数: 设置内存的最大使用量(配置)maxmemory-polic
转载
2023-05-29 09:13:25
115阅读
可以增加内存。可以采用内存淘汰策略。 首先要明确什么是内存淘汰策略？因为redis本身就具备缓存淘汰。redis内存淘汰策略是指当redis内存达到最大的内存限制会申请额外的内存空间。对于怎么处理需要新写入且需要申请额外空间的数据？这时候就需要采用内存淘汰策略了。noeviction(默认策略）：当内存不足以容纳新写入数据时，新写入操作会报错。 allkeys-lru：当内存不足以容纳新写入数据时
转载
2023-05-25 14:21:43
212阅读
docker-compose安装高可用Eureka集群构建Eureka注册中心镜像搭建集群通过nginx实现负载均衡配置nginx ssl支持注册product和consumer测试是否可用 构建Eureka注册中心镜像eureka项目来自于我之前写的一篇博客,博客地址: springcloud篇-(高可用注册中心Eureka集群实现) 1.修改原项目中的application.yml配置ser
转载
2023-10-14 05:44:07
196阅读
文章目录1. kafka为什么不支持读写分离？这样做的优点有哪些？2. Kafka可靠性研究2.1生产者2.2 服务端2.3 消费者3. Kafka零拷贝原理4. Kafka生产者发送消息流程 1. kafka为什么不支持读写分离？这样做的优点有哪些？Kafka 不直接支持主写从读（Master-Slave）模式的原因是，Kafka 的设计目标是提供高吞吐量和低延迟的分布式消息传递系统，而不是传
redis做了aof持久化后，aof文件突然增大,导致磁盘无法写入数据 由于磁盘写满，无法进行aof重写，减少aof文件体积； 需要对磁盘进行扩容，进行手动aof重写# redis-cli -p 6379 -h 127.0.0.1
127.0.0.1:6379> BGREW
转载
2023-08-15 17:41:23
97阅读
# Docker 内存满了怎么办？
Docker 是一款非常流行的容器化技术，它可以将应用程序和其依赖的环境打包成一个独立的容器。这使得应用程序的部署和运行变得更加简单和高效。然而，在使用 Docker 的过程中，有时候会遇到容器内存满了的问题。本文将介绍如何解决 Docker 内存满了的问题，并提供相关的代码示例。
## 1. 了解 Docker 内存管理
在解决 Docker 内存满了的
原创
2024-02-01 09:27:51
198阅读
1、kafka自带的zk是单机的，修改配置也能改成集群，但是有风险，搞不好把kafka改坏了2、讲道理，虽然kafka依赖zk，但是这毕竟是两个组件，独立出来当然更好，我们应该降低耦合度安装zookeeper其实也不复杂，只是会有很多坑，我下面的每一步都不要漏掉，最容易出问题的地方就是路径，建议路径保持和我一致，这样你基本直接复制我的命令就能用1、来到你的服务器，到opt目录，创建一个zookee
