high2011的博客_Kafka

【架构设计】-- ACK 机制

用于确认接收方是否已经正确接收了发送方发送的数据。这种机制的好处是可以保证数据的可靠传输，防止数据的丢失或重复传输。如果没有A

网络

架构

数据

服务器

数据传输

原创 3月前 105 阅读

【Kafka进阶】-- unclean.leader.election.enable参数的内涵

在 kafka 1.x 版本中，处于安全和可靠的考虑，有不少参数过于保守。所以用户需要按需调整1、将 broker 参数 unclean.lea

大数据

kafka

Powered by 金山文档

副本集

重启

原创精选 2023-03-31 16:14:09 629 阅读

【Kafka基础】-- Log Cleanup 策略

一、基本描述在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。在Kafka中有以下几种处理过期数据的策略：· log.cleanup.policy=delete（Kafka中所有用户创建的topics，默认均为此策略）o 根据数据已保存的时间，进行删除（默认为1周）o 根据log

kafka

java

分布式

Powered by 金山文档

数据

转载 2023-02-18 12:35:55 211 阅读

[Kafka基础]-- kafka指南

参考：https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocolhttp://kafka.apache.org/protocol.html 介绍概观预赛网络分区和自举分区策略配料版本控制和兼容性议定书

kafka

客户端

API

元数据

翻译 2023-01-02 21:49:15 323 阅读

【Kafka升级】-- 官方指导及注意事项

2.2.0中的显着变化从0.8.x，0.9.x，0.10.0.x，0.10.1.x，0.10.2.x，0.11.0.x，1.0.x，1.1.x或2.0.0升级到2.1.0请注意，2.1.x包含对用于存储使用者偏移量的内部架构的更改。升

kafka

运维

分布式

重新启动

java

翻译 2022-11-14 19:04:43 378 阅读

[Kafka设计解析]--（七）Kafka Stream

Kafka Stream背景 Kafka Stream是什么Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无

Kafka

消息队列

kafka

数据

spark

转载 2022-11-03 14:50:58 91 阅读

[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量？

ns-in-a-kafka-cluster/这是许多Kafka用户提出的常见问题。这篇文章的目的是解释几个重要的决定因素，并提供一些简单的公式。更多的分区提供更高的吞吐量首先要理解的是，主题分区是Kafka中并行性的单位。在生产者和代理...

Kafka

kafka

数据

zookeeper

翻译 2022-11-03 14:50:37 172 阅读

[Kafka设计解析]--（八）Exactly Once语义与事务机制原理

性Exactly Once《Kafka背景及架构介绍》一文中有说明Kafk...

Kafka

消息队列

kafka

数据

幂等

转载 2022-11-03 14:50:03 79 阅读

[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

1、前言目前Kafka 的稳定大版本是 1.0.x，加上主流的CDH （CDH 5.13.0以上）和 HDP（hd

Kafka

kafka

zookeeper

apache

原创 2022-11-03 14:47:44 154 阅读

[Kafka设计解析]--（五）Kafka性能测试方法及Benchmark报告

群监控工具　　Kafka提...

Kafka

消息队列

kafka

性能测试

服务器

转载 2022-11-03 14:47:30 103 阅读

[Kafka调优]--调优Apache Kafka集群

今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-kafka-deployment/==========================================

Kafka

调优

kafka

apache

转载 2022-11-03 14:40:47 118 阅读

[Kafka基础]--命令行使用举例(CDH版本)

参考

kafka

hadoop

zookeeper

原创 2022-11-03 14:37:02 146 阅读

[Kafaka Broker Configs]--log.retention.hours

kafka

日志文件

字节数

数据

原创 2022-11-03 14:36:49 191 阅读

[Kafka基础]-- 集群的安装

准备：3台机器---》h15\h16\h17 每台机器都需要kafka先安装kafka到h15，其他2台机器安装一样的kafka,但是需要修改 broker.id=？（保证?不和其他kafka机器重复）1、进入kafka的zip所在目录下解压： unzip kafka_2.10-0.8.2.1.zip 2、进入目录/home/kafka_2.10-0.8.2.1/config/，修改

kafka

zookeeper

redis

原创 2022-11-03 14:27:21 82 阅读

[Flume基础]-- 使用Kafka与Flume

一、描述在CDH 5.2及更高版本中，Flume包含Kafka源和sink。使用这些从Kafka到Hadoop或

kafka

flume

hdfs

hadoop

翻译 2022-11-03 14:18:06 226 阅读

[Kafka基础]-- Kafka的2套Consumer API(本文讲解SampleConsumer)

Kafka提供了两套API给ConsumerThe high-level Consumer API The SimpleConsumer API

kafka

java

hadoop

原创 2022-11-03 14:16:43 68 阅读

[Kafka基础]-- auto.offset.reset介绍

kafka

重置

抛出异常

原创 2022-11-03 14:16:36 386 阅读

[Kafka基础]--自定义Kafka分区器

在调用Kafka的Producer API时，如果没有指定分区器，那么数据将会根据默认分区器的算法均分

kafka

自定义分区

apache

java

原创 2022-11-03 14:16:32 136 阅读

[Kafka 基础]-- Producer 参数(Kafka -0.10.2.1)

参数如下： acks = all batch.size = 16384 block.on.buffer.full = false bootstrap.servers =

Kafka

Producer

kafka

apache

ide

原创 2022-11-03 14:06:58 96 阅读

【Kafka基础】-- topic 常用管理命令汇总

1、环境Kafka 版本：2.2.1-cdh6.3.0 Java 版本： oracle jdk 1.82、常用命令2.1、查看Kafka 版本$ kafka-topics --version2.2、创

kafka

大数据

bootstrap

数据

原创 2022-11-03 14:06:02 85 阅读

【kafka基础】-- 读写流程及举例

1. 连接到 zk 集群，从 zookeeper 中拿到对应的 topic 的 partition 信息和 partition 的 leader 的相关信息2. 连接到对应的 leader

kafka

zookeeper

分布式

数据

偏移量

原创 2022-11-03 14:05:58 197 阅读

[Kafka 基础]-- 安装 kafka-manager 监控

一、Kafka 监控工具介绍目前还没有一款公认比较优秀的 Kafka 监控工具，各有各的好，我们可以针对自己需要去选择，但是如果你

Kafka-manager

监控

kafka

github

可执行

原创 2022-11-03 14:03:51 274 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5b9871c196fb8的博客

【架构设计】-- ACK 机制

【Kafka进阶】-- unclean.leader.election.enable参数的内涵

【Kafka基础】-- Log Cleanup 策略

[Kafka基础]-- kafka指南

【Kafka升级】-- 官方指导及注意事项

[Kafka设计解析]--（七）Kafka Stream

[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量？

[Kafka设计解析]--（八）Exactly Once语义与事务机制原理

[Kafka基础]-- 在 mac os 10.14.2上安装 kafka-1.0.x

[Kafka设计解析]--（五）Kafka性能测试方法及Benchmark报告

[Kafka调优]--调优Apache Kafka集群

[Kafka基础]--命令行使用举例(CDH版本)

[Kafaka Broker Configs]--log.retention.hours

[Kafka基础]-- 集群的安装

[Flume基础]-- 使用Kafka与Flume

[Kafka基础]-- Kafka的2套Consumer API(本文讲解SampleConsumer)

[Kafka基础]-- auto.offset.reset介绍

[Kafka基础]--自定义Kafka分区器

[Kafka 基础]-- Producer 参数(Kafka -0.10.2.1)

【Kafka基础】-- topic 常用管理命令汇总

【kafka基础】-- 读写流程及举例

[Kafka 基础]-- 安装 kafka-manager 监控