Master-Slave：
读写分离，save复制master的数据。同步复制：保证了强一致性但是会影响高可用性，因为写入的时候要保证slave都写入了才能返回告诉生产者数据写入成功，如果slave过多就是时间过长。异步复制：数据写入master之后不要求所有的slave都写入就返回生产者写入成功，然后由slave异步的同步，同步过程既可以是master去推也可以是slave去拉，master不需
转载
2024-03-29 07:06:01
49阅读
前言本系列是kafka相关的第一篇，主要对kafka的producer和consumer进行介绍。此系列不会对kafka的原理进行介绍，因此需要读者有一定的kafka背景知识和使用经验。1. producer整体架构kafka的生产者，是异步生产，主要由两个线程组成。主线程通过send()方法发送的数据，实际都放入了RecordAccumulator中暂存起来；sender线程将RecordAcc
转载
2024-04-15 18:05:01
56阅读
业务背景说明：本公司有一个业务场景是需要从A数据库异构同步至B数据库，在B数据库进行一些逻辑统计查询操作，大致如下图：当时设计的技术架构如下：第一步：通过canal监听A库的binlog日志，将binlog日志信息发送至kafka消息队列第二步：部署消费者canal-kafka工程（纯java编写），消费kafka消息，异构原始数据，落B库，canal-kafka可以多节点分片部署该方案咋一看可能
转载
2024-03-11 06:33:22
70阅读
在这里插入代码片StarRocks之系统架构 - 墨天轮 (modb.pro) StarRocks的系统架构1、 https://docs.starrocks.io/en-us/3.0/loading/RoutineLoad2、支持的数据 Routine Load 现在支持使用来自 Kafka 集群的 CSV、JSON 和 Avro（自 v3.0.1 起支持）格式的数据。 笔
异步传输（Asynchronous Transmission）： 异步传输将比特分成小组进行传送，小组可以是8位的1个字符或更长。发送方可以在任何时刻发送这些比特组，而接收方从不知道它们会在什么时候到达。一个常见的例子是计算机键盘与主机的通信。按下一个字母键、数字键或特殊字符键，就发送一个8比特位的ASCII代码。键盘可以在任何时刻发送代码，这取决于用户的输入速度，内部的硬件必须能够在任何时刻接收
目录一、高级API1. 自动提交offset二、低级API1. 手动提交offset1.1. 同步提交offset1.2. 异步提交offset1.3. 数据漏消费和重复消费2. 自定义存储offset三、kafka 同步、异步发送1. 异步发送1.1. 不带回调函数1.2. 带回调函数2. 同步发送四、自定义Interceptor1. 拦截器原理2. 拦截器案例 一、高级API优点：不需要执行
转载
2024-05-10 11:22:50
65阅读
01 幂等性如此重要Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统(如结算平台)，就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，产生的后果将会特别严重。 02 哪些因素影响幂等性使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中，出现网络分区是不可避免的，如果kafka broker 在回复ack
转载
2024-02-29 18:55:54
0阅读
一般发送数据到Kafka，就是new一个producer，然后简单到send就好了，就可以在kafka里面看到数据了，可以在Linux的命令行模式下，使用命令行的消费命令消费到: sh /xx/xx/kafka/bin/kafka-console-consumer.sh --bootstrap-server 1.1.1.1:92 --topic topic_name 但是你在写测试代码
转载
2024-04-02 10:20:49
96阅读
手动提交offset手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。 相同点：都会将本次提交的一批数据最高的偏移量提交 不同点： 同步提交：阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致
转载
2023-06-10 20:22:54
404阅读
Kafka生产者一-向Kafka写 入数据不管是把Kafka作为消息队列、消息总线还是数据存储平台来使用，总是需要有一个可以往Kafka写人数据的生产者和一个可以从Kafka读取数据的消费者，或者一个兼具两种角色的应用程序。 这一章会带着大家学习如下内容：我们以一个生产者示例开始了本章的内容一使 用10行代码将消息发送到Kafka。然后我们在代码中加入错误处理逻辑，并介绍了同步和异步两
转载
2024-01-26 11:40:59
51阅读
实现平台间的数据联网，利用kafka传递消息，考虑到平台内可能有多个项目会进行数据推送，为了各项目间推送的消息进行数据处理不会受到彼此间的阻塞影响，同时保证消息的消费速度，因此需要各项目间独立异步批量的处理数据。本地队列处理 将从kafka监听到的消息放入本地队列中，保证每个项目拥有自己的队列，细分还可以保证每个项目每个数据类型的消息拥有自己的
转载
2023-12-09 13:16:53
130阅读
Kafka精华笔记从安装到实战(Python版)1.kafka简介 kafaka是Apache旗下的顶级开业产品，的本质就是一个消息队列，把数据的实时处理转变为异步处理，也是当下最常用的一款产品1.1 kafka的应用场景 1.应用解耦合 2.同步处理转换为异步处理 3.限流削峰（秒杀活动）1.2 Kafka架构图 Producer : 向Topic中生产数据 Broker: Kafka的节点，
转载
2023-09-23 06:57:43
220阅读
单线程生产者#!/usr/bin/env python# -*- coding: utf-8 -*-
import random
import sys
from kafka import KafkaProducer
from kafka.client import log
import time
import json
__metaclass__ = type
class Producer:
de
转载
2023-08-26 15:42:05
27阅读
1.异步发送API（1）idea创建（2） Producer生成异步发送（生成4个分区，默认取余，为乱序排序（4分区排））package com.cevent.kafka.producer;/**
* Created by Cevent on 2020/6/19.
*/
import org.apache.kafka.clients.producer.KafkaProducer;
impor
转载
2024-04-09 15:17:44
31阅读
目录1、前置概念同步(Synchronous)和异步(Asynchronous)同步异步不能和阻塞非阻塞混为一谈2、Kafka Producer配置解读3、Kafka Consumer配置解读4、异常1、前置概念同步(Synchronous)和异步(Asynchronous)定义：同步和异步关注的是消息通信机制 (synchronous communication/ asynchrono
转载
2023-11-10 15:42:49
77阅读
Kafka 一直以来都以高吞吐量的特性而家喻户晓，就在上周，在一个性能监控项目中，需要使用到 Kafka 传输海量消息，在这过程中遇到了一个 Kafka Producer 异步发送消息会被阻塞的问题，导致生产端发送耗时很大。是的，你没听错，Kafka Producer 异步发送消息也会发生阻塞现象，那究竟是怎么回事呢？在新版的 Kafka Producer 中，设计了一个消息缓冲池，客户端发送的消
转载
2024-02-24 06:16:28
34阅读
producer 的工作逻辑：启动 producer 的线程将待发送消息封装成 ProducerRecord. 然后将其序列化发送给 partitioner, 再由后者确定了目标分区后一同发送给位于 producer 程序中的一块内存缓冲区. 而 producer 的另一个线程负责实时从缓冲区中提取出来准备就绪的消息封装成一个批次，发送给对应的 broker.public class Simple
转载
2024-07-18 10:21:09
38阅读
什么是异步回调？ 本质就是多线程中的线程通信。随着业务模块的拆分，各个系统的业务架构变得越来越复杂，一个业务会调用很多的外部接口，为了提高效率，这种调用是异步的调用，但是最后我们需要使用返回的结果进行处理，这里就需要同步的处理结果，如何实现呢？就产生了异步回调问题。 常用场景：两个pc发送消息，一个Pc发送完了，等待另一方的response，那么
转载
2024-04-11 15:04:01
78阅读
概要kafka-go区分同步写与异步写。同步写能严格确保写入的顺序，因为在写成功之前它会block住应用程序，同时返回错误信息。有三种控制写入完成的时机，1是消息发送完成即返回，2是leader收到后即返回，3是isr收到后即返回，越往后数据的可靠性更高，它们均是通过配置参数来控制。异步写不用等返回结果，而是传入一个回调函数来接收处理返回结果（同步写也支持返回前回调）。异步写的性能更优异，而且在很
转载
2024-03-15 11:49:02
130阅读
Kafka 的 Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。/**
* 注意：消
转载
2024-04-26 14:54:00
40阅读
