high2011的博客_Kafka原创博文

【架构设计】-- ACK 机制

用于确认接收方是否已经正确接收了发送方发送的数据。这种机制的好处是可以保证数据的可靠传输，防止数据的丢失或重复传输。如果没有A

网络

架构

数据

服务器

数据传输

原创 3月前 105 阅读

【Kafka进阶】-- unclean.leader.election.enable参数的内涵

在 kafka 1.x 版本中，处于安全和可靠的考虑，有不少参数过于保守。所以用户需要按需调整1、将 broker 参数 unclean.lea

大数据

kafka

Powered by 金山文档

副本集

重启

原创精选 2023-03-31 16:14:09 629 阅读

[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

1、前言目前Kafka 的稳定大版本是 1.0.x，加上主流的CDH （CDH 5.13.0以上）和 HDP（hd

Kafka

kafka

zookeeper

apache

原创 2022-11-03 14:47:44 154 阅读

[Kafka基础]--命令行使用举例(CDH版本)

参考

kafka

hadoop

zookeeper

原创 2022-11-03 14:37:02 146 阅读

[Kafaka Broker Configs]--log.retention.hours

kafka

日志文件

字节数

数据

原创 2022-11-03 14:36:49 191 阅读

[Kafka基础]-- 集群的安装

准备：3台机器---》h15\h16\h17 每台机器都需要kafka先安装kafka到h15，其他2台机器安装一样的kafka,但是需要修改 broker.id=？（保证?不和其他kafka机器重复）1、进入kafka的zip所在目录下解压： unzip kafka_2.10-0.8.2.1.zip 2、进入目录/home/kafka_2.10-0.8.2.1/config/，修改

kafka

zookeeper

redis

原创 2022-11-03 14:27:21 82 阅读

[Kafka基础]-- Kafka的2套Consumer API(本文讲解SampleConsumer)

Kafka提供了两套API给ConsumerThe high-level Consumer API The SimpleConsumer API

kafka

java

hadoop

原创 2022-11-03 14:16:43 68 阅读

[Kafka基础]-- auto.offset.reset介绍

kafka

重置

抛出异常

原创 2022-11-03 14:16:36 386 阅读

[Kafka基础]--自定义Kafka分区器

在调用Kafka的Producer API时，如果没有指定分区器，那么数据将会根据默认分区器的算法均分

kafka

自定义分区

apache

java

原创 2022-11-03 14:16:32 136 阅读

[Kafka 基础]-- Producer 参数(Kafka -0.10.2.1)

参数如下： acks = all batch.size = 16384 block.on.buffer.full = false bootstrap.servers =

Kafka

Producer

kafka

apache

ide

原创 2022-11-03 14:06:58 96 阅读

【Kafka基础】-- topic 常用管理命令汇总

1、环境Kafka 版本：2.2.1-cdh6.3.0 Java 版本： oracle jdk 1.82、常用命令2.1、查看Kafka 版本$ kafka-topics --version2.2、创

kafka

大数据

bootstrap

数据

原创 2022-11-03 14:06:02 85 阅读

【kafka基础】-- 读写流程及举例

1. 连接到 zk 集群，从 zookeeper 中拿到对应的 topic 的 partition 信息和 partition 的 leader 的相关信息2. 连接到对应的 leader

kafka

zookeeper

分布式

数据

偏移量

原创 2022-11-03 14:05:58 197 阅读

[Kafka 基础]-- 安装 kafka-manager 监控

一、Kafka 监控工具介绍目前还没有一款公认比较优秀的 Kafka 监控工具，各有各的好，我们可以针对自己需要去选择，但是如果你

Kafka-manager

监控

kafka

github

可执行

原创 2022-11-03 14:03:51 274 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5b9871c196fb8的博客

【架构设计】-- ACK 机制

【Kafka进阶】-- unclean.leader.election.enable参数的内涵

[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

[Kafka基础]--命令行使用举例(CDH版本)

[Kafaka Broker Configs]--log.retention.hours

[Kafka基础]-- 集群的安装

[Kafka基础]-- Kafka的2套Consumer API(本文讲解SampleConsumer)

[Kafka基础]-- auto.offset.reset介绍

[Kafka基础]--自定义Kafka分区器

[Kafka 基础]-- Producer 参数(Kafka -0.10.2.1)

【Kafka基础】-- topic 常用管理命令汇总

【kafka基础】-- 读写流程及举例

[Kafka 基础]-- 安装 kafka-manager 监控