Apache Kafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka 官网：Apache Kafka关于ZooKeeper的弃用根据 Kafka官网信息，随着Apache Kafka 3.5版本的发布，Zookeeper现已被标记为已弃用。未来计划在Apache Kafka（4.0版）的下一个主要版本中删除ZooKeeper，该
CentOs6.5安装Kafka集群步骤1.配置单个虚拟机1.1下载kafka安装包打开浏览器，输入网址： http://kafka.apache.org/downloads.html。每台机器的环境：CentOs 6.5 ，Java 1.8 ,kafka2.11自带Zookeeper。 1.2压缩包操作下载完成后，打开终端，在命令行输入 cd /Download，然后输入l
转载
2024-05-30 08:49:12
151阅读
kafka简介kafka官网：http://kafka.apache.org/ kafka下载页面：http://kafka.apache.org/downloads kafka配置快速入门：http://kafka.apache.org/quickstart 新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。為了實現
转载
2024-05-11 23:48:00
383阅读
作者介绍郑杰文，腾讯云存储，高级后台工程师，2014 年毕业加入腾讯，先后从事增值业务开发、腾讯云存储开发。对业务性、技术平台型后台架构设计都有深入的探索实践。对架构的海量并发、高可用、可扩展性都有相当的经验，目前主要研究分布式领域和存储领域。Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到
Linux下使用kafka自带zookeeper安装伪集群详解一、准备工作1 、默认已经安装好JDK 2、提前下载一个准备好的安装包：kafka_2.13-2.5.0.tgz 3、 手动下载 下载地址：http://kafka.apache.org/downloads二、开始安装上传安装包 2.解压安装包[root@iZuf63aacjtzo5bxq68kfpZ kafka]# tar -zxvf
转载
2024-06-23 10:28:43
276阅读
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-03-15 09:57:22
110阅读
一、官网下载kafkahttp://kafka.apache.org/downloads.html二、把下载的tar包上传到Linux,并解压到指定位置tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/java三、启动Zookeeper（kafka依赖Zookeeper）进入kafka/bin目录下，执行zookeeper-server-start.sh//修改zoo
转载
2024-06-20 18:37:39
53阅读
5.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群5.2集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕）l 关闭防火墙chkconfig iptables off && setenforce 0l 创建用户groupadd realtime &&useradd realtime&&
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-02-18 21:52:17
38阅读
Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。 为了做到水平扩展，一个 Topic 实际是由多个 Partition 组成的，遇到瓶颈时，可以通过增
背景介绍有那么一段时间，我们的系统需要用到分布式流式处理和消息系统，而 Apache Kafka 似乎成了我们建立业务关键型应用程序的坚实基础。它可用于很多场景下，比如产品更新管道、订单跟踪、实时用户通知、商户账单等。接下来的故事讲述了我们如何将 Kafka 引入到我们的 Rails 单体代码库中，内容包括技术细节、我们面临的挑战以及我们在此过程中所做的技术决策。眼前的挑战第一个问题是 Kafka
本章目录 一 kafka简介 二 kafka安装 三 kafka测试 四 zk安装 一 kafka简介： 1、角色： broker（一个kafka节点） producers（生产者） topic（主题） consumers（消费者，消费者可以配置组，让这一组消费哪个主题，在一个分区中的生产与消费是有序的） partition（topic的分区数，即
转载
2024-07-27 10:14:55
37阅读
zookeeper 是应用广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HFDS、Yarn、Hbase、Kafka等，都扮演着基础角色在kafka.utils.ZKUtils对象的开头，预先定义了很多ZK路径，如：object ZkUtils extends scala.AnyRef {
val AdminPath : java.lang.String = { /* compiled
1、软件环境
1、linux一台或多台，大于等于2
2、已经搭建好的zookeeper集群
3、软件版本kafka_2.11-0.9.0.1.tgz
2、创建目录并下载安装软件
#创建目录
cd /opt/
mkdir kafka #创建项目目录
cd kafka
mkdir kafk
目录一、安装Zookerper二、安装Kafka2.1安装2.2文件解读2.3 文件内容三、测试1、 创建主题2、查看主题输入：2、删除主题3、 创建生产者4、 创建消费者5、查看topic6、 重要（操作日志的处理）：四、kafka设置多代理集群1、复制文件修改属性2、启动各个代理3、查看日志一、安装Zookerper1、 下载安装包http://zookeeper.apache.org/rel
转载
2024-03-21 10:43:31
49阅读
消息队列的引入，什么时候使用MQ？MQ(Message Queue)，一种跨进程的通信机制，用于上下游传递消息。能达到解耦、异步、消峰限流的作用。举几个对应的适用例子。解耦1. 比如定时任务依赖的场景，晚上需要跑一些定时统计任务，任务2依赖任务1的结果，任务3依赖任务2的接口，一般开发人员会在每个定时任务之间，预留一些时间buffer处理。但是，当某一天其中一个任务超出常规时间，任务就跑乱套了，第
转载
2024-08-25 13:19:43
48阅读
概述 在平时对kafka的运维工作中，我们经常会由于某些原因去删除一个topic，比如这个topic是测试用的，生产环境中需要删除。或者我想扩容topic的同时，这个topic中的数据我不想要了，这时候删除topic，增加broker，再重新创建topic就会是比较简单的方法。但是kafka删除topic时，有很多关键的点必须清楚，否则在删除topic的时候就会出现各种各样的问题。 我测试环境
转载
2024-06-03 10:32:39
153阅读
1 事务 一、事务场景 1.
如
producer
发的多条消息组成一个事务这些消息需要对
consumer
同时可见或者同时不可见 。 2. producer
可能会给多个
topic
，多个
partition
发消息，这些消息也需要能放在一个事务里面，这就形成了一个典型的分布式事务。 3. kafka
的应用场景经常是应用先消费一个
top
转载
2024-08-01 16:46:00
53阅读
1.什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2.为什么要使用消息队列 kafka缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka
一、Zookeeper集群安装 要求：zookeeper的 jdk 要 6以上zookeeper生产环境版本为 3.4.81.首先编辑/Etc/Hosts1. 在5台都加入：
2. 10.0.50.10 zk-kafka01
3. 10.0.50.11 zk-kafka02
4. 10.0.50.12 zk-kafka03
5. 10.0.50.13 zk-kafka
转载
2024-08-13 16:46:28
39阅读
