Kafka的Replica概念kafka的replica指的是消息的备份,为了保证kafka的高可用(当leader节点挂了之后,kafka依然能提供服务)kafka提供了备份的功能。这个备份是针对partition的。可以通过 default.replication.factor 对replica的数目进行配置,默认值为1,表示不对topic进行备份。如果配置为2,表示除了leader节点,对于
转载 2024-03-10 11:03:33
114阅读
kafka集群配置
原创 2018-03-19 17:20:02
1157阅读
1点赞
本文主要记录了 Kafka 线上环境集群部署考虑因素以及非常非常重要的 Kafka 参数配置讲解。1. 概述Kafka 生产环境的一些注意事项,包括集群部署的考量和 集群配置参数的设置等,具体见下图:2. 集群部署2.1 操作系统主要为以下 3 方面:I/O 模型的使用 Kafka 客户端底层使用了 Java 的 selector,selector 在 Linux 上的实现机制是 epoll
转载 2024-04-25 11:07:48
78阅读
Broker端参数存储信息相关配置1.log.dirs:指定Broker需要使用的若干个文件目录路径,无默认值 2.log.dir:单路径,对log.dirs参数的补充 生产环境只需设置log.dirs,多个路径逗号分隔,如/home/kafka1,/home/kafka2,/home/kafka3,另外最好保证这些目录挂载到不同的物理盘,这样的好处是: 提升读写性能:多块物理盘可同时读写数据 能
转载 2024-06-03 21:31:36
90阅读
一、前期准备1. 三台主机都需要安装好jdk2. 三台主机都要配置好zookeeper3. 准备好kafka压缩包二、kafka集群的安装1. 上传压缩包2. 解压 3. 创建消息目录4. 修改server.properties文件5. 分发 kafka安装目录6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.propertie
转载 2023-09-02 22:16:32
138阅读
原创 2021-09-05 14:27:30
286阅读
1,解压[root@localhost ~]# tar -zxvf kafka_2.10-0.10.0.1.tgz -C /usr/local[root@localhost ~]# mv /usr/local/kafka_2.10-0.10.0.1  /usr/local/kafka这里我们将kafka安装到了/usr/local目录下。2,配置kafka集群这里将kafka安装到/us
转载 2024-02-09 12:03:37
64阅读
kafka简介 Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。使用Scala语言进行编写,提供了与JMS规范类似的特性,但是编写上并不是jms实现。kafka中只有topic的概念,没有队列。kafka的应用场景 kafka 具有高吞吐量、具有分区特性、副本机制及容错性的优点(kafka 每秒可以处理几十万消息),让 kafka 成为了一个
转载 2024-04-02 20:24:13
58阅读
一、Server(Broker) 的全局配置 最为核心的四个配置 broker.id、port、log.dir、zookeeper.connect。 ------------------------------------------- 系统 相关 ------------------------------------------- ##每一个broker在集群中的唯一标示,要求是正数。在改变I
转载 2024-06-12 15:50:47
266阅读
最最重要的kafka集群参数配置一、Broker 端参数1:Broker是需要配置存储信息的,即Broker使用哪些磁盘,针对存储信息的参数如下:log.dirs:指定Broker需要使用的若干个文件目录,这个参数没有默认值,这个需要自己指定。log.dir:他是上一个参数的补充。所以只用设置log.dirs即可。2:一般线上的生产环境中都会给log.dirs指定多个路径,例如:/opt/kafk
转载 2024-02-11 14:16:19
67阅读
在项目中使用kafka的场景有很多,尤其是实时产生的数据流,例如:电商数据、电信数据、统计等,通过kafka可以结合flink进行大数据分析。所以第一步就是要集成kafka。springboot已经将kafka集成到框架里了,只需要引用依赖就可以简单使用。一、引入依赖<!-- spring-kafka --> <dependency> <groupId>
转载 2023-08-19 14:01:40
157阅读
0. 前期准备需要有 zookeeper 集群已经部署。1. 集群规划服务器hadoop102服务器hadoop103服务器hadoop104zookeeperzookeeperzookeeperkafkakafkakafka2. 安装部署2.1 获取安装包下载地址2.2 上传并解压安装包# 使用 xftp 或其他工具上传到 hadoop02 的 /opt/software/,然后解压 [harr
目录Broker 端参数Topic 级别参数JVM参数操作系统参数动态 Broker 参数配置Broker 端参数log.dirs:Broker 需要使用的若干个文件目录路径,必须指定;最好不同路径挂载到不同的物理磁盘,提升读写性能且能能够实现故障转移log.dir:单个路径zookeeper.connect:zookeeper端口listeners:访问kafka的监听器advertised.l
转载 2023-08-16 21:51:57
260阅读
#ZK # 8. 启动Zookeeper【注意:每台均要执行上面的配置,然后每台都执行启动】 [root@node01 zookeeper-3.6.3]$ zkServer.sh start # 9. 查看 Zookeeper 启动状态 [root@node01 zookeeper-3.6.3]$ zkServer.sh status # 10.停止 Zookeeper 服务 [root@node
转载 2024-03-26 18:16:45
144阅读
一、Kafka 概述Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。二、消息队列的两种模式(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。 消息被消费以后,queue 中不再有存储,所以消息消费者不可能消费到已经被消费的消息。
一、pom文件<!--Kafka 依赖--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>二、配置文件在application.yml中添
转载 2023-10-10 19:40:29
392阅读
前言上篇文章讲到了消息在 Partition 上的存储形式,本来准备接着来聊聊生产中的一些使用方式,想了想还有些很重要的工作组件原理没有讲清楚,比如一个 Topic 由 N 个 Partition 组成,那么这些 Partition 是如何均匀的分布在不同的 Broker 上?再比如当一个 Broker 宕机后,其上负责读写请求的主 Partition 无法正常访问,如何让从 Partition
1.pom<!-- kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>2.yml默认连接一个kafka配置如下: s
转载 2023-09-24 20:39:01
144阅读
根据自己的java版本对Kafka版本进行选择4.0以上版本不兼容java8,这里推荐使用3.8.0版本
转载 8天前
408阅读
# 搭建Kafka Java集群配置教程 作为一名经验丰富的开发者,我将会帮助你实现Kafka Java集群配置。首先,让我们看一下整个配置流程: | 步骤 | 操作 | 代码示例 | |------|----------|-------------------------| | 1 | 下载Kafka | 下载Kafka压缩包 |
原创 2024-02-28 03:39:21
38阅读
  • 1
  • 2
  • 3
  • 4
  • 5