目录1、Kafka背景2、Kafka应用场景3、Kafka架构原理3.1、Producer And Consumer3.2、Topic4、安装教程首先我们先了解一下kafka的作用与背景（如果已非常了解kafka那么请直接跳过）1、Kafka背景本质上是一个消息系统，由当时从LinkedIn出来创业的三人小组开发，他们开发出了Apache Kafka实时信息队列技术，该技术致力于为各行各业的公司提
转载
2024-09-03 04:25:10
26阅读
前言kafka是一个优秀的消息队列框架，现在基于linux安装写个文档记录下。提示：以下是本篇文章正文内容，下面案例可供参考一、环境准备1.下载linux 安装包。 https://kafka.apache.org/downloads 注意下载二进制包，如果不是下载二进制包，就要自己编译了，这里不需要这么麻烦，就直接下载了。官网推荐下载2.13版本，就下载这个版本就行了。 2. 注意这个版本已经内
转载
2024-04-30 16:43:31
587阅读
我这边安装的是kafka_2.10-0.10.2.2.tar.gz, zookeeper-3.4.5.tar.gz1.安装zookeeper下载连接官网地址：https://zookeeper.apache.org/releases.html先上传linux并解压tar -zxvf zookeeper-3.4.5.tar.gz进入对应zookeeper配置目录并重命名zoo_sample
转载
2024-03-27 16:55:34
136阅读
准备下载zookeeper，我这里用的是zookeeper3.5.5版本。（这里提下，要下载带bin的文件，这个是已经编译好的，不带bin的是源码）下载kafka，我用的是2.12-2.4.0版本Centos7系统，Jdk1.8版本安装zookeeper因为kafka是依赖于zookeeper的，所以要先安装zookeeper。首先在 /usr/local/目录下建立 zookeeper3.5.5
转载
2024-04-17 14:15:50
26阅读
Linux下的Kafka+Zookeeper使用以及配置1.1(有待完善)1. 开发环境Linux版本Ubuntu 16.04.1 （虚拟机）Kafka版本kafka_2.12-1.1.0 （二进制版本）Zookeeper版本zookeeper-3.4.102. 占用内存推荐服务器内存3. 准备工作下载zookeeper 主页网址：http://zookeeper.a
转载
2024-04-23 12:47:28
199阅读
根据自己的java版本对Kafka版本进行选择4.0以上版本不兼容java8，这里推荐使用3.8.0版本
4.1 chkconfig命令详解 chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。 使用语法： chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level <等级代号>][系统服务][on
搭建Kafka集群需要先搭建好zookeeper集群（具体查看我的上一篇博客）先在/usr/local下下载解压Kafka配置Kafka配置文件（config文件夹下的server.properties）在Kafka的bin目录下启动Kafka 需要先搭建好zookeeper集群（具体查看我的上一篇博客）先在/usr/local下下载解压Kafkawget http://mirror.bit.e
转载
2024-06-28 04:02:04
125阅读
【KASAN linux内存检测工具】 (本文档将引导编译一个开启kasan功能的内核)一 简介： Kernel Address Sanitizer 缩写KASAN；是linux内核的动态内存检测工具， 主要检查所有程序中内存越界访问和使用已经释放内存空间的问题。 ！注意：开启kasan后系统可用内存会减少约1/8，并且系统运行的程序性能会大幅下降。二 获取： kasan在lin
转载
2024-03-18 16:54:50
47阅读
https://www.jb51.net/article/76397.htm目录目录一、关闭SELINUX、开启防火墙9092端口二、安装JDK三、安装kafka四、创建启动和关闭的 kafka 执行脚本五、创建生产者 topic 和 消费者 topic 简单示例六、查看运行的进程 和 当前topic一、关闭SELINUX、开启防火墙9092端口1、关闭SELINUX# vim /etc/seli
转载
2024-03-07 09:53:05
45阅读
一、搭建Zookeeper集群 二、kafka broker集群搭建kafka 下载、解压wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
tar -xzf kafka_2.11-0.9.0.0.tgzkafka broker配置文件修改 修改kafka根目录下的config/server.propertie
转载
2024-05-15 20:41:36
92阅读
在使用Linux系统进行开发的过程中，经常需要用到一些消息队列来实现不同服务之间的通讯。而Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种大规模数据处理和分析项目中。下面将介绍如何在Linux系统上安装和配置Kafka。
首先，我们需要下载Kafka的安装包。可以在官方网站上找到最新的版本，并选择合适的压缩包下载到本地。下载完成后，解压文件并将解压后的文件夹移动到合适的目录下。接
原创
2024-05-29 11:46:23
65阅读
1、简单使用1、1 安装zookeepeper并启动启动kafka自带的zookeeper（建议独立安装zookeeper并配置启动。）zookeeper-server-start ../../config/zookeeper.propertieszookeeper.properties在kafka主目录下的config目录中 也可以直接使用自己下载并独立安装的
转载
2024-02-19 23:39:57
357阅读
（一）安装与配置安装列表kafka_2.10-0.8.1.1.tarjdk1.7.0_51.tar1 安装jdk如果jdk已安装，可以跳过；没有安装的可以参照：2 安装kafka1.2.1 解压kafka我的集群有3台机器，ip分别为ip1、ip2、ip3，将kafka_2.10-0.8.1.1.tar分别拷贝至每个机器的/apps/svr/目录下，进行解压tar -xf kafka_2.10-0
转载
2024-08-04 15:09:59
422阅读
kafka依赖zookeeper，先下载并安装zookeeper：https://mirrors.tuna.tsinghua.edu.cn/a
原创
2023-05-26 06:06:33
40阅读
# 单Linux配置Kafka Docker集群
Kafka是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。Docker是一个开源的应用容器引擎，可以轻松地打包和部署应用程序。本文将介绍如何在单台Linux服务器上使用Docker配置Kafka集群。
## 环境准备
在开始之前，请确保你的Linux服务器上已经安装了Docker和Docker Compose。可以通过以下命令安
原创
2024-07-22 09:28:51
39阅读
kafka配置很多，分Broker配置、Topic配置、producer配置、consumer配置、Connect配置、AdminClient配置。详细内容见kafka中文官网。其中，很多配置并不需要修改，除非有需要使用默认值更好。1.Broker配置核心基础配置
broker.id 用于服务的broker id。如果没设置，将生存
转载
2024-02-09 16:58:27
177阅读
一 KafkaSSL配置1.1 创建密钥和证书以下在每台kafka服务器上执行keytool -keystoreserver.keystore.jks -alias localhost -validity 365-keyalg RSA -genkey以下在连接kafka的clientt端执行，如果不要求客户端身份认证（服务器端没有配置ssl.client.auth=requ
转载
2024-03-27 12:06:53
63阅读
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-02-18 21:52:17
38阅读
一、背景在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。在权限控制之前，我们必须要启用的就是用户认证，没有用户，自然没有权限一说了。二、kafka启用kerberos认证2.1 在K
转载
2024-03-27 10:19:28
52阅读
