💬 初识kafka
👁️🗨️ kafka的安装及启动
kafka安装启动
- 概述
- 🥖1. 官网下载:🥖
- 🍗2. 解压 🍗
- 🍢3. 安装jdk🍢
- 🍬4. 配置kafka🍬
- 4.1 配置server.properties
- 4.2 配置zookeeper.properties
- 💤5. 启动kafka💤
概述
Kafka是一个开源的分布式消息队列系统,最初由LinkedIn公司开发。它可以用于构建高吞吐量、低延迟的数据管道,支持实时数据处理和流式计算。
Kafka的核心概念是消息(Message)、主题(Topic)和分区(Partition)。消息是数据的基本单位,可以包含任何类型的数据。主题是消息的分类或分类器,将消息分配到不同的主题中以便进行处理。分区是主题的子集,每个分区都有自己的副本和控制器。当消息被写入Kafka时,它们首先被写入主分区,然后被复制到所有副本分区中。如果一个副本分区不可用,则其他副本分区会继续接收和处理该消息,从而保证数据的可靠性和可用性。
Kafka具有以下特点:
- 高吞吐量:Kafka可以处理数百万条消息每秒,支持大规模并发处理。
- 低延迟:Kafka使用异步IO模型,可以在毫秒级别内处理消息。
- 可扩展性:Kafka可以轻松地扩展到数千个节点,以应对不断增长的数据需求。
- 可靠性:Kafka通过副本机制和控制器确保数据的可靠性和可用性。
- 灵活性:Kafka支持多种数据格式和协议,可以与各种应用程序集成。
初步了解了kafka的基本概念之后我们来下载安装使用。
🥖1. 官网下载:🥖
根据官网提示 最好是下载scala 2.13相关的版本
3.4.0是最新的稳定版本 可以看到新增了一些功能还有改进了一些功能
新加的功能:
- 禁用 JmxReporter 注册
- 允许广播结果记录
- 在消费者协议中添加“生成”字段
- 基于时间的集群元数据快照
🍗2. 解压 🍗
工具解压 或者命令解压
命令解压参照下方命令:
🍢3. 安装jdk🍢
根据提示 使用之前需要安装jdk8以上 如果没有安装的自己装一下即可 具体安装及配置网上很多这里就不详细写了
jdk下载地址:https://www.oracle.com/java/technologies/downloads/
🍬4. 配置kafka🍬
4.1 配置server.properties
进入到config文件夹里面,找到server.properties文件,进行编辑,找到log.dirs,修改这个参数的路径为:
log.dirs=(安装目录\kafka-logs)
4.2 配置zookeeper.properties
进入到config文件夹里面,找到zookeeper.properties文件,进行编辑,找到dataDir,修改这个参数的路径为:
dataDir=(安装目录\zookeeper-data)
配置完毕,kafka安装完成。
💤5. 启动kafka💤
安装完毕之后来启动kafka
windows kafka启动命令
(1):
打开cmd,进入kafka安装目录,执行:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
(2):
再打开一个cmd,进入kafka安装目录,执行:
.\bin\windows\kafka-server-start.bat .\config\server.properties