CPUKafka是I/O密集型而非计算密集型的框架，所以对CPU的需求是各个指标里最宽松的，消耗CPU的点主要在于消息的压缩和解压缩。一个Kafka Broker节点往往要承载许多个Topic Partition并与许多个Producer/Consumer交互，所以并行度（核心/线程数）要比单核性能（频率）更重要。一般来讲单节点8C/16T，主频2GHz以上（按Broadwell架构计）就可以满足
转载
2024-02-15 16:51:15
97阅读
Kafka为什么速度快、吞吐量大Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万。但是很多使用过Kafka的人,经常会被问到这样一个问题,Kafka为什么速度快,吞吐量大；大部分被问的人都是一下子就懵了，或者是只知道一些简单的
转载
2024-03-06 17:52:23
432阅读
搭建kafka,需要先搭建zookeeper第一步：下载zookeeeper的压缩包，下载网址如下http://archive.cloudera.com/cdh5/cdh/5/我们在这个网址下载我们使用的zk版本为zookeeper-3.4.5-cdh5.14.2.tar.gz下载完成之后，上传到我们的node01的/hadoop/soft路径下准备进行安装第二步：解压node01执
Kafka消息的存储Kafka的设计基于一种非常简单的指导思想：不是要在内存中保存尽可能多的数据，在需要时将这些数据刷新（flush）到文件系统，而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中，但不进行刷新数据的任何调用。实际中这样做意味着，数据被传输到OS内核的页面缓存中了，OS随后会将这些数据刷新到磁盘。大家普遍为“磁盘很慢”，因而人们都对持久化（persistent s
转载
2024-04-25 10:12:00
157阅读
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议：最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS, S3等，可以把这些大的文件存放到共享存储
转载
2024-04-23 13:18:39
314阅读
众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafak采用了两个技术，顺序写入和MMFile。顺序写入因为硬盘是机械结构，每次读写都会寻址-&g
转载
2024-08-07 09:48:56
342阅读
生产者调优、硬件选择：假设：100万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条处理速度=1亿/(24*3600s)=1150条/s一条日志按1k计算，1150 条/每秒钟 * 1k ≈ 1m/s 。高峰期每秒钟：1150 条 * 20 倍 = 23000 条。数据量：20MB/s服务器台数选择：服务器台数= 2 * （生产者峰值生产速率 * 副本
转载
2024-03-15 10:04:27
65阅读
HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分做BlockCache，用来读，当然Memstore也有读的功效，不过由于Hbase的scan机制，从Memsotre读到数据的效果一般。 今天主要来分析下Hbase的BlockCache机制，并且阐述其中碰到的一个RTE异常。 话不多说，首先来看看Hbase的存储机制。其
转载
2023-12-09 11:55:53
59阅读
简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址：https://www.cloudera.com/documentation/ent
转载
2024-04-02 13:33:35
55阅读
线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思，并且结合本次故障，对kafka使用的最佳实践有了更深刻的理解。好了，一起来回顾下这次线上故障吧，最佳实践总结放在最后，千万不要错过。1、现象线上kafka消息突然开始堆积消费者
转载
2024-04-29 07:18:03
216阅读
目 录一 Kafka 11 版本选择 12 集群搭建规划 13 修改Kafka相关配置文件 14 配置全局变量 15 启动Kafka集群 26 测试数据 3二 Flume 51 版本选择 52修改Flume相关配置文件 53 配置全局变量 64 启动Flume 65 测试数据 7三 Flume + Kafka测试启动命令 101 Flume启动测试命令 102 Kafaka启动测试命令
转载
2024-04-24 06:52:13
138阅读
可以增加内存。可以采用内存淘汰策略。 首先要明确什么是内存淘汰策略？因为redis本身就具备缓存淘汰。redis内存淘汰策略是指当redis内存达到最大的内存限制会申请额外的内存空间。对于怎么处理需要新写入且需要申请额外空间的数据？这时候就需要采用内存淘汰策略了。noeviction(默认策略）：当内存不足以容纳新写入数据时，新写入操作会报错。 allkeys-lru：当内存不足以容纳新写入数据时
转载
2023-05-25 14:21:43
212阅读
缓存数据满了怎么办?首先要明确, 用作缓存的数据都是设置了过期时间的, 没有过期时间那不叫缓存, 那叫持久化.如果遇到缓存满了又该怎么办呢?加内存
这是最简单粗暴的办法, 不过成本相对较高内存淘汰策略redis的内存淘汰策略是指在Redis的用于缓存的内存不足时, 怎么处理需要新写入且需要申请额外空间的数据.maxmemory参数: 设置内存的最大使用量(配置)maxmemory-polic
转载
2023-05-29 09:13:25
115阅读
Cloudera Manager需求：磁盘空间，最小满足：------------系统/var分区下有5GB------------系统/usr分区有500MB------------系统/opt下面最好多配置点多数情况下RAM 4GB是比较合适的，如果装了Oracle数据库，就是必须的了。没有Oracle数据库且节点在100个以下的，也是足够的。通常说来，不推荐使用虚拟机和安装了双系统的主机，这
转载
2023-07-04 14:40:30
147阅读
添加kafka1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/把包放到parcel-repo目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4添加kafka角色.默认选项即可安装
原创
2018-06-27 11:37:10
2071阅读
1.在已经安装好系统的linux服务器上关闭selinux和iptables2.在所有linux服务器上配置ntp服务并设置ntp时间同步3.在所有linux服务器上安装好cm和cdh版本所需要对应的java版本(1).下载java包到/usr/local目录解压(2).添加java环境到/root/.bash_profile目录下 export JAVA_HOME=/usr/local/jdk
下载Apache kafka各版本下载地址：https://mirror.bit.edu.cn/apache/kafka/CDH 官方提供的kafka http://archive.cloudera.com/kafka/kafka/4/kafka_2.11-2.2.1-kafka-4.1.0.jar 中版本号意思，第一个是scala1.12 、kafka 2.2.1、cdh4.1.0安装部署添加h
转载
2024-09-11 21:04:43
58阅读
hbase分布式，数据最终会落到 hdfs 文件系统中，所以先要部署 hdfs ，详见文档 hadoop-2.6.0-cdh5.9.3分布式高可用部署。hdfs 部署完毕后，就可以部署 hbase 集群了。 hbase开启 snappy 压缩功能的话，请查看文档首先从cdh官网下载 hbase-1.2.0-cdh5.9.3.tar.gz 包。http://archive.cloudera.com/
转载
2024-10-29 20:23:36
80阅读
前期准备1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系（etc/hosts） 4.关闭防火墙(chkconfig iptables off) chkconfig --list iptables //查看 chkconfig iptables off //关闭防火墙 service iptales status //查看 5.ssh免登陆 6.安装JDK，配置环境变量等(p
转载
2024-10-21 13:29:16
117阅读
文章目录一、概述1.1、定义1.2、如何运作？1.3、传统消息队列的应用场景1.4、消息队列的两种模式1.5、Kafka的基础架构二、安装（需要安装zookeeper）三、常用命令行操作3.1、主题命令行操作3.2、生产者命令行操作3.3、消费者命令行操作 一、概述1.1、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Quere）。 发布/订阅：消息的发布者不会将消息
转载
2024-07-18 08:38:51
32阅读
