Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力
转载
2024-07-04 16:07:13
290阅读
开局一段代码talk is cheap,show me the code,先来看一段创建Kafka producer的代码1public class KafkaProducerDemo {
2
3 public static void main(String[] args) {
4
5 KafkaProducer producer = createProducer(); 6 7
转载
2024-10-02 23:03:14
95阅读
关于消息队列的使用一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。2.1
转载
2024-02-17 20:23:37
264阅读
广播： 主机之间一对所有的通讯模式，网络对其中每一台主机发出的信号都进行无条件复制并转发，所有主机都可以接收到所有信息（不管你是否需要），由于其不用路径选择，所以其网络成本可以很低廉。有线电视网就是典型的广播型网络，我们的电视机实际上是接受到所有频道的信号，但只将一个频道的信号还原成画面。在数据网络中也允许广播的存在，但其被限制在二层交换机的局域网范围内，禁止广播数据穿过路由器，防止广播数据影响大
转载
2024-07-11 20:56:20
92阅读
一、Kafka核心组件及工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：消息主题 ConsumerGroup（CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个
转载
2024-02-14 19:32:04
401阅读
1. 关键名词1.1 Producer1.消息的生产者，向Kafka Broker发送消息的客户端1.2. Consumer1.消息的消费者，向Kafka Broker接受消息的客户端
2.Consumer Group: 单个或多个consumer可以组成一个consumer group；这是Kafka用来实现消息的广播（发送给所有的consumer）的单播（发给任意一个consumer）。一个
转载
2024-02-03 10:35:56
124阅读
1.Kafka 概述为什么需要消息队列:解耦. 冗余. 拓展性. 灵活性&峰值处理能力. 可恢复性. 顺序保证. 缓冲. 异步通信Kafka架构(1)Producer: 消息生产者, 向kafka broker 发消息的客户端 (2)Consumer: 消息消费者, 向kafka broker区小溪的客户端 (3)Topic: 可以理解为一个队列; (4)Consumer Group 是k
转载
2024-04-25 16:17:46
225阅读
概述：Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。Kafka架构图：详解： 1）Producer ：消息生产者，就是向kafka broker发消息的客户端 2）Consumer ：消息消费者，向kafka brok
转载
2024-03-11 08:08:37
705阅读
文章目录kafka消息细节消息的储存单播消息多播消息两者区别 kafka消息细节 消息的储存 ⽣产者将消息发送给broker，broker会将消息保存在本地的⽇志⽂件中。消息的保存是有序的，通过offset偏移量来描述消息的有序性。消费者消费消息时也是通过offset来描述当前要消费的那条消息的位置。单播消息 在⼀个kafka的topic中，启动两个消费者，⼀个⽣产者，问：⽣产者发送消息，这条消
转载
2024-06-05 00:46:58
239阅读
1 kafka简介根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： (1)发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因。 (2)以容错的方式记录消息流，kafka以文件的方式来存储消息流。 (3)可以在消息发布的时候进行处理。使用场景: (1)在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能。 (2)构建实时
转载
2024-04-26 21:12:32
924阅读
1.这个记录的实例就是说，接了上一篇的代码修改，加了广播变量的东西。 我在mysql存的某个规则， 我启动sparkStreaming程序的时候使用broadcast广播出去，注意这个就仅执行一次的 然后吧在redis有这么一个kv作为标志，比如说flag=true，每次sparkStreaming程序程序处理数据用到规则之前，都要先到redis看一下
转载
2024-04-05 00:04:01
100阅读
在专题的上一章中，重点讲解了项目的改造背景、难点分析 在进入正篇之前，想简单说一下，之所以会如此的追本溯源的去记录：第一是因为：一个可以落地的解决方案的敲定，是综合项目各方面的原因得到的。没有完美的架构，只有刚好的架构；没有满足一切的架构，只有满足目标的架构。第二是因为想要通过这样的记录，让后面的同学能快速的理解：实践中并不需要沿用我的解决方案，只要能把思路打开，一定会找到更加适合你们项目的方式。
转载
2024-07-18 11:41:39
487阅读
目录
kafka的优势首先几个概念kafka的四大核心APIkafka的基本术语主题和日志（Topic和Log）每个分区都是一个顺序的，不可变的队列，并且可以持续的添加，分区中的每个消息都被分配了一个偏移量（offset），相当于下标，在每个分区中这个偏移量都是唯一的kafka集群的图示kafka集群的主分区和备份pritition如何持久化数据消费者组分布式（Distr
转载
2024-09-18 21:19:11
91阅读
文章目录Kafka中的关键细节1.消息的顺序存储2. 单播消息的实现3.多播消息的实现4.查看消费组及信息主题、分区的概念1.主题Topic2.partition分区 Kafka中的关键细节1.消息的顺序存储消息的发送方会把消息发送到broker中，broker会存储消息，消息是按照发送的顺序进行存储。因此消费者在消费消息时可以指明主题中消息的偏移量。默认情况下，是从最后一个消息的下一个偏移量开
转载
2024-03-27 10:30:46
348阅读
Apache KafkaKafka核心组件Producer ：消息生产者，就是向 kafka broker 发消息的客户端。Consumer ：消息消费者，向 kafka broker 取消息的客户端Topic ：名称。Consumer Group （CG）：这是 kafka 用来实现一个 topic 消息的广播（发给所有的 consumer）和单播（发给任意一个 consumer）的手段。一个
转载
2024-03-21 09:21:43
2134阅读
文章目录1 Kafka 是什么？1.1 背景1.2 定位1.3 产生的原因1.4 Kafka 有哪些特征消息和批次模式主题和分区生产者和消费者broker 和 集群1.5 Kafka 可以做什么Kafka作为消息系统Kafka 作为存储系统Kafka用做流处理批处理2 为什么选择 Kafka2.1 多个生产者2.2 多个消费者2.3 磁盘数据存储2.4 伸缩性2.5 高性能3 怎么使用 Kafk
转载
2024-08-06 21:11:38
217阅读
环境说明IDEA 2022.2JDK 8.0.312Mac OS 13 beta 4SpringBoot 2.7.2需求背景在进行数据推送的时候，使用到了WebSocket技术实现从服务端向客户端推送的机制，然而因为长连接的机制原因，连接会固定在一台服务器上，这时候数据产出后，需要在集群中广播以实现将数据推送给所有需要的用户。这个广播可以使用Redis以及MQ来实现。 这里因为数据产出侧的限制，会
转载
2023-12-18 18:46:38
132阅读
文章目录概述回顾ack配置幂等性kafka中幂等性存在的问题参考 概述at most once模式 基本思想是保证每一条消息commit成功之后，再进行消费处理；设置自动提交为false，接收到消息之后，首先commit，然后再进行消费at least once模式基本思想是保证每一条消息处理成功之后，再进行commit；设置自动提交为false；消息处理成功之后，手动进行commit；exac
转载
2024-02-08 04:01:47
281阅读
刚刚了解了OSS存储，现在需要了解视频点播服务，什么是视频点播服务？为什么需要视频点播服务？OSS存储不是可以直接存储视频吗？其实我也不很清楚，只是大体上知道视频点播服务是专门云端存储视频的，相比于OSS来说，更加聚焦于视频，更加适合云端操作视频。视频点播服务和OSS大体相同，都是阿里云提供的一种服务，所以视频点播服务应该是和OSS的使用相同，逻辑上不会相差太多。后面翻看官方文档发现：视频点播基于
文章目录一:Kafka介绍1.Kafka使用的场景2.Kafka基本概念3.Kafka的安装二:基本操作1.创建topic2.发送/消费消息三:单播消息和多播消息1.单播消息2.多播消息3.下图就是描述单播和多播消息的区别3.查看消费组及信息四:主题,分区的概念1.主题Topic2.分区Partition2.1分区的概念2.2创建多个分区3.kafka中消息日志文件中保存的内容 一:Kafka介
转载
2024-03-21 09:15:36
797阅读
