一、启动Zookeeper服务在Windows系统中打开第1个cmd窗口，启动Zookeeper服务：> cd c:\kafka_2.12-2.4.0
> .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.Properties 二、启动Kafka服务打开第2个cmd窗口，然后输入下面命令启动Kafka服务：>
转载
2024-03-22 10:27:17
99阅读
专注Python、AI、大数据 @七步编程
Kafka简介 Kafka是一款流行分布式消息分布订阅系统，除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道，管道的两端分别是消息生产者(producer)和消息消费者(consumer)，消息生产者产生日志等消息后可以发送到管道中，这时消息队列可以驻留在内存或者磁盘上，直到消费者来把它读走为止
转载
2024-02-26 22:02:21
81阅读
kafka概述一、kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种形式1.3 Kafka 基础架构二、kafka安装部署2.1安装部署2.1.1.jar包下载2.1.2.解压到指定的文件夹下2.1.3.创建两个文件夹以供后续使用2.1.4. 修改配置文件（1）修改zookeeper.properties 文件（2） 修改server.prop
转载
2024-02-23 17:49:35
61阅读
1. Kafka 的简介1.1 核心概念Broker：一台 kafka 服务器就是一个 broker，一个集群由多个 broker 组成。Topic：主题只是逻辑上的分类，实际上数据在存储时必须存储在某个主题的分区下。Topic 可以类比为数据库中的库。Partition：分区是物理上数据存储的路径，分区在磁盘上就是一个目录，目录名由主题名-分区名组成。（分区还具有一定的逻辑属性，分区中的副本才是
转载
2024-03-28 14:44:53
32阅读
一、kafka使用要点要点一：Producer即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic，topic1，topic2。Topic即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息。Consumer即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。要点二：kafka的存
转载
2024-02-11 08:18:32
105阅读
一、Kafka概述Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.这是Kafka官网里的
转载
2024-02-24 16:45:55
80阅读
kafka3.0的基本使用1.启动kafka服务进入kafka/bin目录下./kafka-server-start.sh -daemon ../config/server.properties验证是否启动成功：进入到zk中的节点看id是 0 的broker有没有存在（上线）ls /brokers/idsserver.properties核心配置详解：PropertyDefaultDescript
转载
2024-03-07 18:09:04
506阅读
大家想一想在你们平时开发的系统里面有没有这种情况，就是你们系统会调用到第三方接口服务，而且这个接口服务是在你流程里面进行同步调用的，这个时候你们的系统性能是直接和第三方接口服务挂钩的，也就是第三方接口服务性能的好坏直接影响到你自己的系统。我想大部分人都遇到过这样的系统调用吧，我们公司也经常遇到，合作商给的接口，就直接同步调用了，上个月我们有一个第三方接，开始组员调研时没太仔细，以为对于我们业务影响
MQ kafka是以吞吐量高而闻名，不过其数据稳定性一般，而且无法保证消息有序性。阿里巴巴的RocketMQ基于Kafka的原理，利用Java代码打造，弥补了Kafka的缺点，继承了其高吞吐的优势，其客户端目前以Java为主。RabbitMQ基于面向并发的语言Erlang开发，吞吐量不如Kafka，但是消息可靠性较好。也能有效的保证消息的有序性。因为Erlang的原因，集群搭建比较方便。支持多种协
Kafka是Apache基金会开发的一个开源流处理平台，由Scala和Java编写，Kafka是一个开源的分布式事件流平台，主要应用于大数据实时处理领域。
原创
精选
2024-03-06 15:25:44
237阅读
一、MAC环境下安装启动kafka1、安装kafkabrew install kafka复制代码安装详情安装详情里面包含一些使用介绍，主要包括几个部分：安装kafka前默认安装了zookeeper，说明kafka依赖zookeeper，为什么依赖，下一部分会讲到。这部分介绍了zookeeper和kafka的启动命令，要么用brew services start命令设置自启或重启（macOS 使用l
转载
2024-03-26 10:34:38
58阅读
Pika pika是360奇虎公司开源的一款类redis存储系统，主要解决的是用户使用 Redis 的内存大小超过 50G、80G 等等这样的情况，会遇到启动恢复时间长，一主多从代价大，硬件成本贵，缓冲区容易写满等问题。Pika 就是针对这些场景的一个解决方案： Pika 的单线程的性能肯定不如 Redis，Pika 是多线程的结构，因此在线程数比较多的情况下，某些数据结构
kafka安装和启动kafka的背景知识已经讲了很多了，让我们现在开
转载
2017-05-16 11:16:00
162阅读
2评论
简介kafka是一个分布式的流媒体平台 应用：消息系统、日志收集、用户行为追踪、流式处理。特点高吞吐量 处理数据能力强，能处理TB级的海量数据消息持久化 把数据存在硬盘里，硬盘价格低且空间大（处理海量数据）； 对硬盘顺序读取，效率是很高的。高可靠性 分布式的服务器，可以做集群部署高可扩展性 服务器不够用了，加一个服务器，只需要简单配置一下。术语Broker：kafka服务器，集群中的每一个服务器，
转载
2024-03-26 10:39:08
49阅读
一、概述kafka是一个分布式的流处理平台。它通常用于构建实时的数据管道，以及实时流处理。能够横向扩展，有容错机制，高速运行在生产上。特性：发布&订阅：像消息系统一样读写流数据。处理：数据流能够高效的被处理，接近实时。存储：数据流能够安全的在进行分布式中多副本的存储。kafka架构：producer:生产者consumer：消费者broker：存储容器。生产者生产数据放到broker中，消
转载
2024-03-02 10:08:15
41阅读
1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因 2：It lets y
大数据之kafka 第一章 kafka概述 1.1 定义 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 同步处理： 生产者生产数据，直接传给消费者 异步处理： 生产者生产数据，把数据放在消息队列中，供消费者自 ...
转载
2021-10-09 10:34:00
271阅读
2评论
kafka详解
原创
2022-07-12 11:03:02
166阅读
说明从2.2.4版开始，您可以直接在注释上指定Kafka使用者属性，这些属性将覆盖在使用者工厂中配置的具有相同名称的所有属性
原创
2022-05-17 20:01:40
1218阅读
大家好，我是哪吒。一、概括1.1 介绍 Kafka 消息延迟和时序性Kafka 消息延迟和时序性对于大多数实时数据流应用程序至关重要。本章将深入介绍这两个核心概念，它们是了解 Kafka 数据流处理的关键要素。1.1.1 什么是 Kafka 消息延迟？Kafka 消息延迟是指消息从生产者发送到消息被消费者接收之间的时间差。这是一个关键的概念，因为它直接影响到数据流应用程序的实时性和性能。在理想情况
原创
2023-12-18 23:52:43
199阅读
