python3 交互操作 kafka 之 kafka-pythonkafka 2.12 配置远程访问
转载
2021-06-18 13:58:47
92阅读
一、Kafka 安装与使用1、安装jdk官方建议使用JDK 1.8版本，因此本文使用的环境都是JDK1.8。关于JDK的安装，本文不再详述，默认Java环境
kafka没有提供version命令，但是命令行里面有ps -ef|grep '/libs/kafka.\{2,40\}.jar'
原创
2022-03-09 11:44:19
676阅读
Kafka系列1：Kafka概况Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容：Kafka简介Kafka特点Kafka基本概念Kafka架构Kafka的几个核心概念分区Partition复制Replication消息发送消费者组消费偏移量Kafka的工程应用Kaf
转载
2020-02-04 23:00:00
223阅读
2评论
kafka没有提供version命令，但是命令行里面有ps -ef|grep '/libs/kafka.\{2,40\}.jar'
原创
2021-09-11 12:40:29
3263阅读
Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达2
原创
2023-06-11 18:05:16
179阅读
spark读取kafka数据流提供了两种方式createDstream和createDirectStream。两者区别如下：1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，...
原创
2021-08-31 09:20:50
355阅读
public String title; public ConsumerRecords<byte[], byte[]> records; public KafkaConsumerSimple(String title, ConsumerRecords<byte[], byte[]> records) { this....
原创
2021-08-31 09:23:18
221阅读
spark读取kafka数据流提供了两种方式createDstream和createDirectStream
原创
2022-02-22 09:42:04
46阅读
public String title; public ConsumerRecords<byte[], byte[]> records; public KafkaConsumerSimple(String title, ConsumerRecords<byte[], byte[]> records) { this....
原创
2022-02-22 09:42:28
98阅读
Kafka简介：1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目
原创
2022-02-22 09:43:45
38阅读
Kafka简介：1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3. Kafka是一个分布式消息队列：生产者、消费者的功能。它提...
原创
2021-08-31 09:21:45
145阅读
安装jdk略，zookeeper略创建消息持久化目录/mnt/hadoop/kafka/kafkaLogs下载kafkawget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgztar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop修改配置confi...
原创
2021-08-31 09:21:49
81阅读
安装jdk略，zookeeper略创建消息持久化目录/mnt/hadoop/kafka/kafkaLogs下载kafkawget ://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgztar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop修改配置confi...
原创
2022-02-22 09:43:19
26阅读
为何需要 Kafka 集群本地开发，一台 Kafka 足够使用。在实际生产中，集群可以跨服务器进行负载均衡，再则可以使用复制功能来避免单独故障造成的数据丢失。同时集 群可以提供高可用性。如何估算 Kafka 集群中 Broker 的数量要估量以下几个因素：需要多少磁盘空间保留数据，和每个 broker 上有多少空间可以用。比如，如果一个集群有 10TB 的数据需要保留，而每个 broker 可以存储 2TB，那么 至少需要 5 个 broker。如果启用了数据复制，则还需要一倍的空...
原创
2021-06-03 13:46:34
348阅读
点赞
...
转载
2021-08-31 15:17:00
42阅读
2评论
整体结构：1.Producer ：消息生产者，就是向kafka broker发消息的客户端。2.Consumer ：消息消费者，向kafka broker取消息的客户端3.Topic ：可以理解为一个队列。4.Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topi...
原创
2021-08-31 09:21:13
105阅读
承接url:kafka系列--结构01每个partition的数据如何保存到硬盘：相等于一个巨型文件
原创
2022-02-22 09:43:04
49阅读
下载http://kafka.apache.org/downloads.html修改配置修改server.properties#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，producer或consumer将在此端口建立连接port=9092#处理网络请求的线程数量num.networ...
原创
2022-03-09 11:44:20
195阅读
Kafka基础架构在上一节我们也说过一些名词概念什么的，这一节我们就详细看一下这些概念都是什么，怎样去理解。Topic (主题)主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。这里的逻辑容器可以看做是消息的类别，我们将同一类的消息放在一个Topic你可以通过kafka 提供的命令来查看当前kafka 集群都有哪些分区Partition(分区)Partition 是 Kafka 中比较特色的部分，一个 Topic 可以分为多个 Partition，每个 Partition
原创
2021-10-14 16:46:27
314阅读
