（1）为什么使用消息队列啊？核心的有3个：解耦、异步、削峰（2）消息队列有什么优点和缺点啊？优点：解耦、异步、削峰缺点：增加系统复杂度；增加系统故障率；某个消费者失败会有数据一致性问题。如何保证消息队列的高可用啊？kafka：多个broker组成，每个broker是一个节点；每个topic是一类消息，分为多个partition在不同的broker上，每个partition就放一部分数据。分布式消息
1.什么是消息队列（Message Queue）消息队列是消息在传输过程中保存消息的容器（源自百度百科），消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性及日志记录。目前使用较多的消息队列有：ActiveMQ，RabbitMQ，Kafka，RocketMQ等等。应用的场景有异步处理，应用解耦，流量削锋和消息通讯。2.kafka介绍kafka是分布式发布-订阅消
转载
2024-02-28 08:14:45
112阅读
目录一.什么是Kafka1.定义2.什么是MQMQ的好处二.消息队列两种模式点对点模式发布/订阅模式三.消息队列基础架构概念解释概念总结： 一.什么是Kafka1.定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于 大数据实时处理领域。特征:Kafka作为一个集群，运行在一台或者多台服务器上.Kafka 通过 topic 对存储的流数据进行分类。
转载
2024-02-23 10:19:23
51阅读
由于上一节中提到唯品会应用的技术，在这里，先说一下消息发送，kafka 二、搭建Kafka开发环境搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式：使用maven管理jar包依赖。创建好maven项目后，在pom.xml中添加以下依赖： 1. <depende
转载
2024-08-06 20:19:08
55阅读
消息队列 消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返
转载
2024-04-15 13:56:53
177阅读
Kafka的基础架构前言1、kafka是什么呢？2、消息队列是什么呢？3、消息队列的应用场景一、消息队列的两种模式1、点对点模式2、发布/订阅模式二、kafka的架构总结 前言1、kafka是什么呢？kafka传统定义：kafka是一个分布式的基于 发布/订阅模式 的 消息队列（Message Queue），主要应用于大数据实时处理领域。Kafka最新定义：Kafka是一个开源的分布式事件流平台
转载
2024-02-26 13:33:22
58阅读
1. kafka/rabbitMQ/rocketMQ的优缺点 kafka 优点: 高吞吐量属于顶级 10w/s 高可用集群 性能高 通过配置可以消息0丢失 缺点: 功能比较单一 只有推和拉 不适用复杂的业务场景 rabbitMQ 优点: 可以保证数据不丢失 高可用 高级功能,死信队列 消息重试等 劣势: 吞吐量低 一秒几万 维护比
转载
2023-12-14 15:39:44
55阅读
一、为什么要有消息系统。 1、解耦合。 一个事件需要不同的系统提供服务，不同的服务处理的能力不同。（可可豆制作成巧克力的例子） 2、异步控制。 秒杀活动中，可以将风险控制、库存锁定与减库存、生成订单异步处理。 3、流量控制 网关接收请求、请求放在队列中，后端从队列中依次处理请求。二、kafka消息队列 broker是kafka的实例。 producer是生产者。 consumer为消息消费者。 t
转载
2023-09-27 14:25:13
120阅读
1、Kafka简介Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域（hadoop集群）、物联网领域。其主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级别以上数据也能保证常数时间的访问性能；高吞吐率，即使在非常廉价的机器上也能做到单机支持每秒100K条消息的传输；支持Kafka Server间的消息分区，及
转载
2024-02-03 22:25:10
134阅读
在ActiverMQ、RabbitMQ、RocketMQ等等诸多的消息队列技术中，Kafka是适合于大数据领域使用的消息队列。 Kafka是一个采用发布-订阅模式的消息队列，具有以下特点：易用性好，提供了较少的
转载
2024-02-22 02:06:38
71阅读
1 项目中是怎么用消息队列的?项目中有两处使用到了Kafka就是做授信操作的时候, 授信的原始数据通过 写日志的方式 写入日志系统, flented读取日志,将信息发送到kafka, 然后做原始数据处理的 ganglia项目通过 拉取指定kafka消息, 处理数据ganglia系统会对源数据做存储,提取有用信息(分类,实时,非实时), 非实时直接计算存库, 实时的会通过kafka消息 发送到 ve
转载
2024-04-14 09:56:51
55阅读
Kafka定义 KafKa传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 2.8以后的最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。消息队列 消息队列的作用主要是：缓存、削峰、异步通信。 消息队
转载
2023-12-01 13:54:58
57阅读
1. 消息队列MQ简介1.1 消息队列MQ简介消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。来看一下下面的代码：// 1. 创建一个保存字符串的队列
Queue<String> stringQueue = new LinkedList<String>();
// 2. 往消息队列中放入消息
stringQu
转载
2023-11-29 20:47:26
143阅读
消息队列(message queue)1.message queue 简称 mq, 主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。2.缺点1）系统可用性降低：系统引入的外部依赖越多，越容易挂掉。2）系统复杂度提高了3）一致性问题：消息传递给多个系统，部分执行成功，部分执行失败，容易导致数据不一致3.目前在市面上比较主流的消
转载
2024-03-21 09:20:41
123阅读
Kafka基本认识及架构原理一1、kafka的产生这里主要是针对kafka1.0.x之后的版本进行总结，那关于kafka1.0之前，我们一般称kafka为消息队列或者消息系统；首先简单介绍了解一下什么是消息队列。 1、什么是消息队列？ “消息队列”(Mesusage Qeue , MQ)从字面来理解，是一个队列，拥有先进先出(First Input First Output , FIFO)的特性。
转载
2024-02-08 03:42:02
60阅读
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统
一、为什么使用消息队列（MQ）核心：解耦、异步、削峰。（1）、异步 （2）、解耦 （2）、削峰 二、如何选择合适的消息队列2.1 rabbitmq特点：轻量级、迅捷，开箱即用的消息队列。缺点：（1）、对消息的堆积的支持并不友好，当大量消息积压的时候，会导致rabbitmq的性能急剧下降。 （2）、性能是目前常用消息队列中最差的，大概美标中可以处理几万到
转载
2023-07-06 15:22:01
221阅读
本文主要翻译自官网安装部分，并配上自己运行是截图～～～图文结合，看起来方便些！kafka是由LinkedIn开发，主要是用来处理Linkedin的大面积活跃数据流处理(activity stream). 此类的数据经常用来反映网站的一些有用的信息，比如PV,页面展示给哪些用户访问，用户搜索什
转载
2024-08-29 12:41:01
136阅读
本课时主要讲解消息队列与数据库相关的知识，重点讲解三部分知识点：Kafka 的架构与消息交互流程；数据库事务的 4 大特性和分类；MySQL 相关的内容，比如索引、MySQL 调优等。消息队列与数据库知识点先来看看相关知识点汇总，如下图。首先为了防止歧义进行说明，本课时中提到的“队列“就是指“消息队列“。消息队列来看消息队列的应用场景，也就是队列能解决哪些问题。队列可以对应用进行解耦合，应用之间不
转载
2024-03-26 09:25:39
16阅读
简介Kafka是一个分布式、支持分区的（partition）、多副本的（replication）的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息的传输过程中保存消息的容器叫做消息队列。把数据放到消息队列叫做生产者，从消息队列里边取数据叫做消费者.特性1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, 消费
转载
2024-01-29 06:56:51
108阅读
