这里写目录标题一、简介二、基本概念消息主题与分区生产者与消费者生产者消费者Brokers和集群偏移量自动提交偏移量如何防止重复消费信息？多机消费如何防止重复消费？消息堆积磁盘占用空间怎么办？如何保证消息不丢失?Kafka 零拷贝原理内存映射技术mmapKafka rebalance机制kafka缺点kafka为什么不支持更多的partitions？Springboot 集成 Kafka发送消息消
转载
2024-06-24 08:28:50
87阅读
引言从本篇开始，少侠将会和大家一起进入消息队列（MQ）的学习。学习MQ之前，首先必须要掌握它的应用场景（不能为了用而用），然后继续深入关键特性。1 MQ的应用场景1.1 MQ应用场景：解耦语言间解耦应用间解耦 屏蔽实现细节 异步通信，做到上下游各自扩展 以投递通知的方式，上游不关注下游，不必同时在线地域之间解耦：数据复制、传递1.2 MQ应用场景：广播RPC：发送次数由消费者决定MQ：生产者只发送
导读：Kafka 是广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析不可或缺的工具。本篇为 Kafka 系列的第一篇文章，之后将会每天持续更新，让你从上手到实践。作者 | 计缘什么是MQ首先我们来认知什么是MQ系统既消息队列（Message Queue）系统。举个不恰当的例子，消息（Message）就相当于自来水，队列（Queue）就相当于自来水管道，错综复杂的管道将自来水送给千家万户
转载
2024-05-29 11:46:55
25阅读
小编有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调API。对为什么使用这些中
MQ(Message Quene):消息队列，典型的生产者/消费者模型，生产者 不断向消息队列中生产消息，消费者不断地从消息队列中获取并消费消息。因为消息的产生和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，轻松地实现系统间解耦，所以又称为消息中间件。MQ通过利用高效可靠的消息传递机制进行平台无关的数据交互，并基于数据通信来进行分布式系统的集成。 主流MQ：老牌的ActiveMQ
转载
2024-07-15 00:07:37
385阅读
1、kafka是什么类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。
Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition Utils.abs
转载
2024-04-07 00:04:35
59阅读
maven可以管理项目的依赖，如何找到jar的具体位置，唯一的标识就是坐标。开发过程中需要导入项目所依赖的jar，多个项目之间依赖的管理也有原则。1.坐标的概念<groupId>org.sonatype.nexus</groupId>
<artifactId>nexus-indexe
转载
2024-10-03 13:38:51
30阅读
JMM(Java Memory Model)：Java内存模型，是一个概念。JMM (Java Memory Model)是Java内存模型,JMM定义了程序中各个共享变量的访问规则,即在虚拟机中将变量存储到内存和从内存读取变量这样的底层细节。为什么要设计JMM:屏蔽各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致的内存访问效果。关于JMM的约定：1.线程解锁前必须把
1. 背景随着经济全球化和电子商务的发展，快递业务量也逐年攀升。传统的人工处理操作复杂且耗时，并且可能会出现价格不统一、资料不完整等问题，已经不能满足人们的需求。2. 技术实现2.1 SSMSSM框架,是Spring+SpringMVC+MyBaits的缩写。Spring实现业务对象管理，Spring MVC负责请求的转发和视图管理，Mybatis作为数据对象的持久化引擎。SSM框架是目前比较主流
目录前言 一、实验要求二、步骤1.主类2.消费者 3.生产者4.超市前言 消费者问题是操作系统中典型的进程同步互斥问题，（英语：Producer-Consumer problem），也称有限缓冲问题（英语：Bounded-buffer problem），是一个进程同步问题的经典案例。该问题描述了两个共享固定大小缓冲区的线程“生产者”（Producer）和“消费者”（C
2011/3/10 一、线程间通讯的Message机制1、Message介绍frameworks/base/core/java/android/Os/Message.javaMessage是线程之间传递信息的载体，包含了对消息的描述和任意的数据对象。Message中包含了两个额外的int字段和一个object字段，这样在大部分情况下，使用者就不需要再做内存分配工作了。虽然Message
转载
2024-01-14 13:16:18
115阅读
今天在看项目的时候，看到了有关消息队列的代码，很多东西都是我不知道的，所以特地去查看了一下有关这方面的知识，然后将它总结了一下，希望可以帮到我自己，帮到你们。什么是mq？为什么要使用mq？ mq是message queue 消息队列，也叫消息中间件，是一种跨进程的通信机制，用于上下游传递消息，是类似于数据库一样需要独立部署在服务器上
转载
2023-11-23 12:48:44
285阅读
1、发布/订阅消息 之前创建的是一个工作队列。工作队列的设计思想是：每个任务仅能由一个worker消费。接下来做一些复杂点的东西：将一个消息传送至多个消费者客户端。这种模式称为“发布/订阅”。 创建一个简单的日志系统来演示这种模式，该系统包含两个简单的程序：一个是产生日志消息，一个接收消息并打印它们。在此日志系统中，所有启动的接收者都将接收这些消息。 实质上，发布的消息将会被广播至所有的消费者。
转载
2024-05-26 11:29:39
312阅读
点对点与发布订阅最初是由JMS定义的。这两种模式主要区别或解决的问题就是发送到队列的消息能否重复消费(多订阅)点对点： 消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意： 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者
转载
2024-04-16 12:24:51
111阅读
第一章 Java 基础知识及相关环境配置简单计算机知识记录位（bit）:一个数字0或者数字1，代表一位。字节（Byte）：每逢8位是一个字节，这是数据存储的最小单位。即1 Byte = 8 bit ；1 KB = 1024 Byte ；1 MB = 1024 KB ；1 GB = 1024 MB ； 1 TB = 1024 MB ； 1 PB = 1024 TB ；1 EB = 1024 PB ；
转载
2024-04-28 15:44:48
53阅读
目录 一、简介二、术语介绍2.1 producter 2.2 consumer2.3 Topic2.4 partition2.5 broker2.6 leader2.7 Follower2.8 replica三 使用场景3.1 削峰3.2 异步3.3 解耦3.4 大数据业务四 kafk
转载
2024-06-05 01:03:53
120阅读
FlinkSql 1.11 读写 Kafka 简单测试。FlinkSql 读 Kafkaimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.EnvironmentSettingsimport org.apache.flink.table.api.bridge.scala.StreamTableEnvironmentimport org.apache.flink.types.Row.
原创
2021-08-31 13:48:02
1248阅读
文件下载Java 8ZooKeeper 3.6.3Kafka 3.0.0下载到本地。使用Xftp或其他工具上传到虚拟机。Java解压：[root@M
原创
2022-11-10 00:04:31
393阅读
KafKa搭建1.上传压缩包2.解压，配置环境变量（master、node1、node2）#解压tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/• 1• 2#配置环境变量
vim /etc/profile
#追加以下内容
#kafka
export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0
export
原创
精选
2021-10-24 15:59:37
1473阅读
点赞
Kafka导航【Kafka】
原创
2024-05-10 14:29:53
55阅读
