1.介绍Kafka最初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布式消息系统，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。Apache Kafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消息处理业务
前提：kafka作为分布式消息的一款中间件，安装过程比较复杂，这里记录一下。它依赖zk作为协调服务，所以不会装zk的，请移步上一篇文章吧！
下面是详细的步骤！
1、找到压缩包，名称为kafka_2.10-0.10.2.0.tgz
2、上传到ewallet目录下
3、解压缩。tar-xzvf XXX
环境linux版本：centos7.9 kafka版本：3.5.1 jdk版本：jdk1.8，kafka是scala语言开发的，该语言依赖JVM运行环境 ZooKeeper版本：3.8.2，用于选举partition下载下载地址：https://kafka.apache.org/downloads选择kafka_2.13-3.5.1.tgz安装包，其中2.13是开发kafka语言scala版本，3
1、启动 Zookeeper 服务，在 kafka 的根目录下使用命令Kafka用到了Zookeeper，，先开启zookeeper，如下图所示：下面用一个单实例的Zookkeeper服务，可以在命令结尾处加个&符号，这样就可以启动后离开控制台bin/zookeeper-server-start.sh config/zookeeper.properties &2、启动 kafka，
转载
2024-02-23 11:42:50
352阅读
linux 常用的kafka操作命令行，可以查看kafka安装目录下的bin文件夹。本文暂时只总结我们常用的一些命令。因后期版本升级，一些数据的存储考虑到多方面因素，kafka做了一些调整，所以相应的查询命令也发生了一些改变。比如0.9版本以后，offset(偏移量)的存储，从zookeeper集群迁移到了kafka集群里来。TOPIC 常用查询命令#创建Topics,指定名字，分区数，
转载
2024-03-21 10:03:29
201阅读
文章目录kafka的下载解压kafka安装包kafka配置修改kafka启动kafka生产与消费的示例参考文献 写在前面：kafka的使用需要zookeeper环境kafka的下载我们直接从官网上下载：wget http://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz解压kafka安装包sudo tar zxvf kafka_
转载
2024-03-23 16:34:44
316阅读
Kafka集群环境搭建本文只讲述Kafka集群环境的搭建步骤,后续会对kafka的其他相关知识进行整理.1、准备工作Linux服务器3台(本文将在一台linux服务器上建立三个文件夹来模拟三台linux服务器,搭建伪集群)JDK1.8http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
转载
2024-04-03 13:09:45
426阅读
前提已经安装JDK：【Linux】安装JDK8，查看java进程、查看jdk安装路径
1、下载kafka和zookeeper，本文放在/home/kafka目录下
直接下载：wget https://archive.apache.org/dist/kafka/2.2.1/kafka_2.11-2.1.1.tgz
wget https://archive.a
转载
2021-02-01 15:46:00
409阅读
2评论
Kafka安装配置(本文为在 linux 环境下安装配置Kafka)在官网下载好kafka的安装包(linux和windows环境下都是同一个)将文件直接上传到linux下的/opt/software/目录下（可以通过xftp或者直接拖拽）解压到/opt/module/目录下：解压命令：tar -zxvf kafka_2.13-3.1.0.tgz -C /opt/module/ 解压并安装到指定的
转载
2024-04-27 19:26:16
154阅读
Linux环境下搭建Zookeeper + Kafka 集群1.准备需要三台Linux服务器，分别为linux1，linux2，linux3 保证三台机器网络互通且都可以访问外网。没机器的也可以在虚拟机里面搭建，可以参考我之前写的文章去搭建，本文中不再赘述。2.下载安装包下载zookeeper: https://pan.baidu.com/s/1FBZhIQAYkBo4urvkCig3cg 提取码
转载
2024-04-03 11:06:48
118阅读
搭建kafka集群，需要先搭建zookeeper集群，搭建zookeeper集群，依赖于jdk 2.将jdk-8u231-linux-x64.tar.gz放到/usr/local下面3.执行tar -zxvf jdk-8u231-linux-x64.tar.gz 解压安装包4.vi /etc/profile 配置jdk#jdk
export JAVA_HOME=/usr/loc
转载
2024-03-29 13:29:52
95阅读
目录1. 准备服务器2. 选一台服务器配置kafka安装包2.1 下载安装包2.2 解压安装包2.3 修改配置文件3. 分发安装包到其他机器4. 修改每台机器的broker.id5. 配置环境变量6. 启停kafka服务6.1 启动kafak服务6.2 停止kafka服务 1. 准备服务器 &nbs
转载
2024-03-27 09:52:50
187阅读
一、kafka安装
安装是非常简单的，现在推荐安装0.8的版本，这个版本是非常稳定的，而且公司里面也多用此版本。
简单的安装：
这个是我使用的版本，kafka_2.11-0.8.2.2.tgz
直接tar -zxvf kafka_2.11-0.8.2.2.tgz -C /soft/apps/kafka
转载
2024-03-19 13:14:47
149阅读
1、安装1.1 下载与安装kafka下载地址：Apache Kafka需要说明的是，kafka的安装依赖于zk，zk的部署可直接参考《Zookeeper介绍与基本部署》。当然，kafka默认也内置了zk的启动脚本，在kafka安装路径的bin目录下，名称为zookeeper-server-start.sh，如果不想独立安装zk，可直接使用该脚本。1.2 配置kafkakafka 的配置文件在/ap
# 从零开始在Linux上安装Kafka
欢迎来到本教程！在本文中，我将带领你在Linux操作系统上安装Apache Kafka，让你快速上手使用这个流行的分布式消息队列系统。
## 步骤概览
在下面的表格中，我将展示整个安装Kafka的流程，让你对接下来要做的事情有一个整体的认识。
| 步骤 | 描述 |
| ---- | ------------------
原创
2024-05-22 10:27:19
77阅读
是需要安装好zookeeper，见安装zookeeper教程# 例如成功的地址为，下边跑kafka容器需要用到159.xx.xx.xx:2181运行,注意填上自己对应的IP：【159.xx.xx.xx】docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=1
原创
2022-10-14 10:36:54
82阅读
基本概念简介Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。总的来讲，Kafka 通常具有 3 重角色：存储系统：通常消息队列会把消息持久化到磁盘，防止消息丢失，保证消息可靠性。
转载
2024-07-02 22:23:37
21阅读
前言kafka是一个优秀的消息队列框架，现在基于linux安装写个文档记录下。提示：以下是本篇文章正文内容，下面案例可供参考一、环境准备1.下载linux 安装包。 https://kafka.apache.org/downloads 注意下载二进制包，如果不是下载二进制包，就要自己编译了，这里不需要这么麻烦，就直接下载了。官网推荐下载2.13版本，就下载这个版本就行了。 2. 注意这个版本已经内
转载
2024-04-30 16:43:31
598阅读
Linux系统中的红帽（Red Hat）是一款颇受欢迎的操作系统，它提供了稳定、安全和高性能的解决方案。在安装红帽系统时，我们需要选择合适的安装目录来存放系统文件和数据，以保证系统运行的稳定性和效率。
首先，红帽系统的安装目录通常分为根目录（/）、/boot目录、/usr目录、/home目录和/var目录等。其中，根目录（/）是整个系统的根目录，包含了所有的系统文件和目录。/boot目录存放了系
原创
2024-03-21 09:31:46
71阅读
关于kafka的介绍就暂时不写了，我们根据官网来看看如何安装及搭建kafka消息中间件，首先我们去官网把kafka的安装包下载下来，地址是https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.0/kafka_2.12-2.4.0.tgz，因为我们大多都是用的Windows，因此需要将下载下来的安装包上传
