wx63560c7d74933的博客_从头开始学Kafka

从头开始学Kafka

第一章 Kafka概述1.1 Kafka之基本概念1.2 Kafka之ZooKeeper1.3 Kafka之环境搭建第二章 Kafka之Admin API2.1 创建客户端AdminCli

kafka

java

big data

偏移量

配置信息

原创 2022-10-24 19:27:14 38 阅读

1.1 Kafka概述之基本概念

1.简介Kafka是Apache开发的一种分布式的发布-订阅消息系统。其特点有以下两点，一是

kafka

big data

数据

服务器

原创 2022-10-24 19:19:19 37 阅读

2.6 Kafka Admin API之查看主题配置信息

1.代码示例public class AdminSample { private static final String topicName = "steven"; priv

kafka

java

配置信息

代码示例

bootstrap

原创 2022-10-24 19:18:55 35 阅读

1.2 Kafka概述之ZooKeeper

1.Mac环境下ZooKeeper的安装首先从官网下载ZooKeeper压缩包，然后解压，在根目录下v/zookeeper-3.4

kafka

zookeeper

top命令

官网

原创 2022-10-24 19:18:51 58 阅读

1.3 Kafka概述之环境搭建

1.Mac环境下Kafka的安装首先从官网下载Kafka压缩包，然后解压下载得到的Kafka压缩包。2.环

kafka

big data

scala

zookeeper

根目录

原创 2022-10-24 18:34:47 31 阅读

2.1 Kafka Admin API之创建客户端

1.Admin APIAPI作用AdminClientAdminClient客户端对象NewTopic创建topicCreateTopicsResu

kafka

java

apache

ide

原创 2022-10-24 18:34:43 56 阅读

2.2 Kafka Admin API之创建主题

1.代码示例public class AdminSample { private static final String topicName = "steven";

kafka

java

主线程

代码示例

原创 2022-10-24 18:34:38 72 阅读

2.3 Kafka Admin API之查询主题

1.代码示例public class AdminSample { private static final String topicName = "steven"; priv

kafka

java

代码示例

bootstrap

原创 2022-10-24 18:34:24 61 阅读

2.4 Kafka Admin API之删除主题

1.代码示例public class AdminSample { private static final String topicName = "steve

kafka

主线程

bootstrap

代码示例

原创 2022-10-24 18:34:20 45 阅读

2.5 Kafka Admin API之查看主题描述信息

1.代码示例public class AdminSample { private static final String topicName = "steven";

kafka

代码示例

bootstrap

原创 2022-10-24 18:34:17 61 阅读

2.7 Kafka Admin API之修改主题配置信息

1.代码示例public class AdminSample { private static final String topicName = "steven"; pr

kafka

bootstrap

代码示例

原创 2022-10-24 18:34:12 31 阅读

2.8 Kafka Admin API之增加分区

1.代码示例public class AdminSample { private static final String topicName = "steven"; pri

kafka

代码示例

bootstrap

原创 2022-10-24 18:34:08 89 阅读

3.1 Kafka Producer API之异步发送

1.代码示例public class ProducerSample { private static final String topicName = "steven"; /*

kafka

apache

zookeeper

原创 2022-10-24 18:34:04 107 阅读

3.2 Kafka Producer API之异步阻塞发送

1.代码示例public class ProducerSample { private static final String topicName = "steven";

kafka

apache

序列化

原创 2022-10-24 18:34:01 114 阅读

3.3 Kafka Producer API之异步回调发送

1.代码示例public class ProducerSample { private static final String topicName = "steve

kafka

apache

zookeeper

原创 2022-10-24 18:33:57 69 阅读

3.4 Kafka Producer API之发送原理

1.发送原理Producer发送原理主要分为两步，第一步是构建Producer对象，第二步是发送

kafka

序列化

发送消息

元数据

原创 2022-10-24 18:33:53 111 阅读

3.5 Kafka Producer API之自定义分区负载均衡

1.代码示例public class PartitionSample implements Partitioner { @Override public in

kafka

java

ide

自定义

原创 2022-10-24 18:33:49 87 阅读

3.6 Kafka Producer API之消息传递保障

1.传递保障在一个分布式发布订阅消息系统中，组成系统的计算机总会由于各自的故障而不能正常工作。在Kafka中，一个单独的broker，可能会在生产者发送消息到一个topic的时候宕机，或出现网络故障，从而导致生产者发送消息失败。Kafka提供了三种传递保障来解决上述问题，其依赖Producer和Cons

kafka

发送消息

发布订阅

原创 2022-10-24 18:33:45 32 阅读

4.2 Kafka Consumer API之手动提交偏移量

1.代码示例上述代码在工作中并不常用，因为Kafka消费者消费消息通常会做一些业务处理，

kafka

big data

apache

数据

原创 2022-10-24 18:33:42 85 阅读

4.1 Kafka Consumer API之自动提交偏移量

1.简介(1).提交位移Consumer需要向Kafka汇报自己的位移数据，这个汇报过程被称为提交位移

kafka

big data

数据

apache

原创 2022-10-24 18:33:38 74 阅读

4.3 Kafka Consumer API之单个分区提交偏移量

1.代码示例public class ConsumerSample { private static final String topicName = "steven"; p

kafka

big data

apache

自定义

原创 2022-10-24 18:33:35 34 阅读

4.4 Kafka Consumer API之手动控制一个或多个分区的消费

1.代码示例public class ConsumerSample { private static final String topicName = "stev

kafka

apache

代码示例

原创 2022-10-24 18:33:31 59 阅读

6.5 Kafka集群之Leader选举

1.Broker选举kafka并没有采用多数投票来选举leader的(redis和es采用的是多数投票方式来进行选举的)，原因有两个，一是防止选举时选举到了数据不全的broker，二是当选举没

kafka

zookeeper

big data

数据

原创 2022-10-24 17:54:17 176 阅读

6.4 Kafka集群之副本集

1.简介Kafka的数据是存储在日志文件中的，Kafka副本集(副本因子)是指将这些日志文件复制多份从而起到数据备份的目的

kafka

big data

副本集

数据

原创 2022-10-24 17:54:12 34 阅读

4.5 Kafka Consumer API之多线程并发处理

1.consumer一对一消费partition(1).简介这种类型是经典模式，每一个线程单独创建一个KafkaConsumer消费一个partition，用于保证线程安全。(2).代码示

kafka

big data

apache

sed

原创 2022-10-24 17:54:08 25 阅读

6.1 Kafka集群之基本概念

1.基本概念broker:一般指Kafka的部署节点leader:用于处理消息的接收和消费等请求follower:主要用于备份消息数据2.拓扑图kaffka节点故障

kafka

zookeeper

big data

数据

原创 2022-10-24 17:49:54 60 阅读

6.2 Kafka集群之Linux下单机部署

修改server.properties文件broker.id=0port=9092host.name=localhostlog.dirs=/tmp/kafka/logszookeeper.connect=locaohost:2181修改zookeeper.pr

kafka

linux

zookeeper

官网

原创 2022-10-24 17:49:50 79 阅读

5.2 Kafka Streams API之统计单词

1.代码示例(1).添加依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-streams</artifa

kafka

java

apache

原创 2022-10-24 17:49:42 177 阅读

5.3 Kafka Streams API之算子演示

1.代码示例public class StreamSample { private static final String TOPIC_INPUT = "steven-stream-in"; private s

kafka

apache

zookeeper

原创 2022-10-24 17:49:39 39 阅读

5.1 Kafka Streams API之概述

1.简介Stream是处理分析存储在Kafka数据的客户端程序库，其通过state store可以实现高效状态操作，并且支持原语

kafka

流处理

数据

客户端程序

原创 2022-10-24 17:49:35 125 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx63560c7d74933的博客