消息中间件（一）MQ详解及四大MQ比较
1、概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。 2、消息中间件的组成 &n
Dubbo是一个RPC调用的解决方案，我们在最开始的时候都是在一个系统中调用服务，没有远程调用，随着业务的复杂度提升，需要多系统之间进行服务调用，因此在服务的提供方和调用方之间就需要约定一个协议，进行通信，Dubbo就是这样的一个协议，他的整体架构是一个三角形，有服务提供者，注册中心，服务调用者，首先服务提供者向注册中心注册服务，然后服务调用者从注册中心获得服务提供列表，并缓存到本地，然后服务调用
转载
2024-05-05 18:33:59
119阅读
EMC全称Electro Magnetic Compatibility,指设备或系统在其电磁环境中能正常工作，且不对该环境中任何事物构成不能承受的电磁骚扰的能力。EMC是评价电子产品质量的一个重要指标。从广义上讲，EMC测试的具体项目包括以下两个大项：（1）EMI（Electro-Magnetic Interference）—电磁干扰测试此测试之目的为：检测电器产品所产生的电磁辐射对人体、公共电网
EFAK V2.1.0部署提示：原Kafka-eagle已于V2.0.7更名为EFAK前言新版EFAK部署需要sqlite或者MySQL(8.0以上）。使用低版本可能会导致efak无法连接数据库。一、EFAK是什么？EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能。二、安
因为RabbitMQ是由erlang实现的，所以要先安装erlang再安装rabbitMQ一、配置yum软件源地址EPEL（EPEL是管理yum下载软件的软件，也可以说是一个软件仓库）后安装erlang1、EPEL简介：EPEL是企业版Linux附加软件包简称，EPEL是一个由Fedora特别兴趣小组创建、维护并管理的，针对红帽企业版Linux（RHEL）及其衍生发行版（比如CentOS、Scie
目录前言1.本地搭建工具2. Java的环境配置和检验3.postgre的配置4.ThingsBoard配置5.运行ThingsBoard本地平台 1.本地搭建工具thingsboard-windows-3.1.1postgresql-13.3-2-windows-x64jdk-8u152-windows-x64ideaIC-2022.2.3node-v16.18.0-x86 2.&nb
转载
2024-07-09 21:26:59
289阅读
接触分布式相关概念差不多有两周时间了，以前觉得其很神秘，离自己也很遥远，进而对它充满向往。如今有机会参与相关的工作让我觉得既兴奋又倍感压力。好了，切入正题，今天主要就之前学习的一些知识点：kafka、zookeeper做一下总结。 一：消息队列MQ 说到消息队列MQ，目前业界常用的有RabbitMQ、ZeroMQ、ActiveMQ、Kafka、RocketMQ。下面主要就Kafka进行展开分析
转载
2024-04-30 20:56:16
128阅读
MQ的整个过程中有三处可能产生消息的丢失生产者到MQ的链路MQ自身宕机MQ到消费端的链路生产者到MQ的消息丢失生产者发送消息过程中可能因为网络问题等导致消息发送不成功，丢失数据，这个过程MQ提供了两种机制来解决：MQ事务在生产端发送消息时，可以使用MQ提供的事务提交机制，当消息发送成功后才会提交事务继续运行，否则当次处理回滚// 开启事务
channel.txSelect
try {
// 发送消
转载
2024-05-30 09:01:56
53阅读
MQ简介：MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。MQ特点：MQ的消费-生产者模型的一个典型的代表，一端往消息队列中不断的写入消息，而
目录项目介绍common-通用server-服务端client-客户端 前方备注：由于这篇文章是去年七月写的，然后本来打算写过，就删了，但是感觉后面改善的也没有特别多，就是加了个负载均衡啥的，就又恢复了…，然后项目也放GitHub了，地址：simple-rpc，这篇文章做个参考还行。项目介绍前段时间看了《netty实战》这本书，简单的入了一个netty的门，然后想着dubbo RPC也是用net
转载
2024-07-15 00:37:54
23阅读
RPC的实现原理正如上一讲所说，RPC主要是为了解决的两个问题：解决分布式系统中，服务之间的调用问题。远程调用时，要能够像本地调用一样方便，让调用者感知不到远程调用的逻辑。还是以计算器Calculator为例，如果实现类CalculatorImpl是放在本地的，那么直接调用即可： 现在系统变成分布式了，CalculatorImpl和调用方不在同一个地址空间，那么就必须要进行远程过程调用：
1.了解消息队列A.Dubbo远程调用的性能问题Dubbo调用在微服务项目中普遍存在这些Dubbo调用都是同步的"同步"指:A(消费者)调用B(生产者)的服务A在发起调用后,在B返回之前只能等待直到B返回结果后A才能运行 Dubbo消费者发送调用后进入阻塞状态,这个状态表示该线程仍占用内存资源,但是什么动作都不做如果生产者运行耗时较久,消费者就一直等待,如果消费者利用这个时间,那么可以处理更多请求
转载
2024-09-03 10:04:52
113阅读
目录4-路由层监督进程的启动过程4.1 简介4.2 路由层监督进程emqx_router_sup的启动4.3 路由辅助进程emqx_router_helper4.4 路由进程emqx_router 4-路由层监督进程的启动过程4.1 简介上一个章节我们看了emqx_sup监督进程启动初始化逻辑如下: 根据emqx的分层逻辑 我们今天按启动顺序来看,先来看内核层的逻辑emqx_router_sup
# Kafka和MQ的区别
Kafka和MQ（消息队列）都是用于消息传递的中间件，但它们有一些不同点。在本文中，我将详细介绍Kafka和MQ的区别，以及它们各自的优缺点。
## 流程概述
首先，让我们看一下使用Kafka和MQ时的典型流程。下表列出了使用Kafka和MQ的步骤：
| 步骤 | 使用Kafka | 使用MQ |
|------|----------|-------|
| 1.
原创
2024-05-07 09:45:35
201阅读
01 为什么从 Kafka 开始？ 《吃透 MQ 系列》之核心基础篇 围绕 MQ 「一发一存一消费」的本质展开，讲解了 MQ 的通用知识，同时系统性地回答了：如何着手设计一个 MQ？从这篇文章开始，我会讲解具体的消息中间件，之所以选择从 Kafka 开始，有 3 点考虑：第一，RocketMQ 和 Kafka 是目前最热门的两种消息中间件，互联网公司应用最为广泛，将
同步和异步通讯微服务间通讯有同步和异步两种方式：同步通讯：就像打电话，需要实时响应。异步通讯：就像发邮件，不需要马上回复。同步通讯优点：时效性较强，可以立即得到结果缺点：耦合度高性能和吞吐能力下降有额外的资源消耗有级联失败问题异步通讯优点：吞吐量提升：无需等待订阅者处理完成，响应更快速故障隔离：服务没有直接调用，不存在级联失败问题调用间没有阻塞，不会造成无效的资源占用耦合度极低，每个服务都可以灵活
LinkedIn 开发的一个高性能、分布式的消息系统，广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计，
在大部分情况，Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。 Kafka 将消息流按Topic 组织，保存消息的服务器称为Broker，消费者可以订阅一个或者多个Topic。为了均衡负载，一个Topic 的消息又可以划分到多个分区
RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中排队。对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。Redis是一个Key-Value的NoSQ
转载
2023-10-22 19:25:14
84阅读
字节跳动，青训营社区课程，2h如何使用Kafka一、是什么基本概念Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue）Kafka：分布式时间流平台，用于高性能数据管道、流分析、数据集成、关键任务应用MQ的两种模式（1）点对点模式：producer往MQ写入数据，consumer去MQ中消费，消费完后，给MQ一个状态，MQ根据这个状态delete 消息（2）发布/订阅
转载
2024-03-29 08:51:35
127阅读
Redis存储数据类型为list时，是可以当消息队列的。与RabbitMQ的区别如下：1.安全方面：redis不安全，数据完整性不能保证，当消费者下线后，队列中的数据有可能会丢失。而mq不会，mq队列中的数据如果没有被消费，会永久存储在内存中。2.redis发布订阅时，一个队列可以被多个消费者同时订阅，当有消息到来的话，会依次把消息传送给每个订阅者。3.mq：一个队列可以被很多消费者监控，但每个消
转载
2023-06-02 09:22:16
584阅读
