1. canal安装官方文档：https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart版本: canal 1.1.3 , JDK 1.8+ ,MySQL 5.7 软件下载之后解压缩，有2个配置文件需要更改:canal.properties
example/instance.properties再修改之前，先
转载
2024-06-20 06:59:56
58阅读
一.kafaka的异步发送kafka对于消息的发送,可以支持同步和异步,同步会需要阻塞,而异步不需要等待阻塞的过程,从本质上来说, kafka都是采用异步的方式来发送消息到broker,但是kafka并不是每次发送消息都会直接发送到broker上,而是把消息放到了一个发送队列中,然后通过一个后台线程不断从队列中取出消息进行发送,发送成功后会触发callback,kafka客户端会积累一定量的消息统
转载
2023-07-17 09:39:50
497阅读
前面的时候，我因为后台粉丝的一些问题，整理了一篇文章，将ELK三个技术进行详细的讲解，从原理到实践，全面覆盖，但是因为篇幅原因，我分成了两篇进行整理，上篇主讲ES话不多说，直接上正题一、 Logstash数据采集工具安装和使用1． 简介Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。而在官网
转载
2023-12-26 19:57:23
94阅读
1.Kafka 的设计时什么样的呢?Kafka将消息以topic为单位进行归纳将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一一个或多个服务组成，每个服务叫做一个broker.producers通过网络将消息发送到Kafka集群，集群向消费者提供消息2数据传输的事物定义有哪三种?数据传输的事
那 Kafka 为什么这么快？如何做到这个高的性能？本篇文章主要从这 3 个角度来分析：生产端服务端 Broker消费端 先来看下生产端发送消息，Kafka 做了哪些优化？（1）生产端 Producer 先来回顾下 Producer 生产者发送消息的流程：首先指定消息发送到哪个 Topic。选择一个 Topic 的分区 partitiion，默认是轮询来负载均衡。也
转载
2024-03-21 09:16:39
221阅读
消费者发送消息流程解析生产者发送消息流程发送消息类型序列化器分区器拦截器其他生产者参数 生产者发送消息流程发送消息类型同步发送//同步发送消息
//通过send()方法发送完一个消息后返回一个Future，然后调用Future对象的get()方法等待Kafka响应
Future<RecordMetadata> future = producer.send(record);
//如果K
转载
2023-09-02 17:30:55
196阅读
目录1、页缓存技术 + 磁盘顺序写2、零拷贝技术3、最后的总结“ 这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下
转载
2024-04-09 06:41:55
47阅读
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，，但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据；因此，我对flume参照别人的做法，增加了拦截器；即在flume配置文件中 增加以下字段；-----
stage
转载
2024-06-19 09:03:06
110阅读
kafka简介：Kafka 属于分布式的消息引擎系统，它的主要功能是提供一套完备的消息发布与订阅解决方案。kafka相关术语：topic：发布订阅的对象就是topic,可以为每个业务、每个应用甚至是每类数据都创建专属的主题Partitioning：分区（Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志。生产者生产的每条消息只会被发送到一个分
转载
2024-01-30 19:06:09
35阅读
架构图1）Producer ：消息生产者，就是向kafka broker发消息的客户端。2）Consumer ：消息消费者，向kafka broker取消息的客户端3）Topic ：可以理解为一个队列。4） Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。
转载
2024-07-04 16:43:26
254阅读
一、Kafka中Topic的操作kafka集群安装好了以后我们就想向kafka中添加一些数据 想要添加数据首先需要创建topic 那接下来看一下针对topic的一些操作新增Topic：指定2个分区，2个副本，注意：副本数不能大于集群中Broker的数量因为每个partition的副本必须保存在不同的broker，否则没有意义，如果partition的副本都保存在同一个broker，那么这个brok
转载
2023-08-18 09:52:52
1967阅读
在现代软件架构中，Apache Kafka 已成为一个关键的消息流处理平台，而处理 Kafka 的主题（topic）则是需要开发者特别关注的内容。在这篇博文中，我将详细描述如何解决与 Java Kafka topic 相关的问题，涵盖协议背景、报文结构、交互过程、异常检测和扩展阅读等内容。
## 协议背景
首先，我找到了Kafka协议的发展历程，并通过一幅关系图来表现不同版本之间的关系。Kaf
ConcurrentModificationException：KafkaConsumer is not safe for multi-threaded access 和KafkaProducer不同的是，KafkaConsumer不是线程安全的，所以我们不能直接在没有同步保护的机制下直接启用另一个线程调用consumer的任何方法(除了wakeup)。因此，实现这个需求有两种途径：使用重量级的
转载
2023-12-13 23:03:06
250阅读
apache kafka中topic级别配置1.topic级别配置用法配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate:1) 创建topi
转载
2023-12-09 18:17:22
221阅读
Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。在一个topic被创建后，会有它默认的参数，不过有些topic的参数可能仍需要根据实际情况进行一些调整，例如：Replication F
转载
2023-09-13 16:37:35
330阅读
1.全局配置与topic级别的关系是什么？ 2.你认为topic级别配置哪些比较有用？ 1.topic级别配置用法
配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。
创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max me
转载
2023-11-28 20:31:00
148阅读
一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Co
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
117阅读
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1. 发布/订阅模式一对多，生产者将消息发布到 topic 中，有多个消费者订阅该主题，发布到 topic 的消息会被所有订阅者消费，被消费的数据不会立即从 topic 清除。2. 架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发
转载
2024-05-16 07:14:35
109阅读
kafka-其他参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看topic 级别参数topic级别的参数是指覆盖 broker 端全局参数；每个不同的 topic 都可以设置自己的参数值。举例来说，上面提到的日志
转载
2024-03-19 10:23:24
62阅读
