一、作用1、首先我们先了解一下MQ在我们实际开发中的作用 解耦 异步 削峰首先我们了解一下解耦：当我们有A、B、C、D四个系统，看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃.. 在这个场景中，A 系统跟其它各
转载
2024-10-16 14:17:19
285阅读
一、消息中间件的使用场景消息中间件的使用场景总结就是六个字：解耦、异步、削峰 1.解耦如果我方系统A要与三方B系统进行数据对接，推送系统人员信息，通常我们会使用接口开发来进行。但是如果运维期间B系统进行了调整，或者推送过程中B系统网络进行了调整，又或者后续过程中我们需要推送信息到三方C系统中，这样的话就需要我们进行频繁的接口开发调整，还需要考虑接口推送消息失败的场景。&nbs
转载
2024-09-27 12:15:58
171阅读
EFAK V2.1.0部署提示：原Kafka-eagle已于V2.0.7更名为EFAK前言新版EFAK部署需要sqlite或者MySQL(8.0以上）。使用低版本可能会导致efak无法连接数据库。一、EFAK是什么？EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能。二、安
消息中间件简介MQ全称（Message Queue）`又名消息队列，是一种异步通讯的中间件。可以将它理解成邮局，发送者将消息传递到邮局，然后由邮局帮我们发送给具体的消息接收者（消费者），具体发送过程与时间我们无需关心，它也不会干扰我进行其它事情。常见的MQ有kafka、activemq、rocketMQ、rabbitmq等等**消息中间件的应用场景跨系统数据传递、高并发流量削峰、数据异步处理。。。
1. 应用场景适用于大存储量，顺序消息，广播和日志数据传输的场景。设计理念类似kafka，场景类似。和kafak的一些差异如下，可以考虑差异使用：文本协议设计，透明。纯java实现，kafka是scala实现。提供事务支持，包括本地事务和XA分布式事务。Kakfa不支持分布式事务支持HA复制，包括异步复制和同步复制，保证消息的可靠性。Ka
转载
2024-09-24 07:58:45
101阅读
目录0 前言1 什么是ESKF2 系统方程2.1 状态变量2.2 imu的测量值2.3 预测方程及雅克比矩阵2.4 测量方程及雅克比矩阵3 kalman filter loop计算4 Show me the code5 代码下载链接 0 前言在很多工程应用里都需要获得物体的姿态信息，而通过imu估计姿态应该最广。 仅使用imu获取姿态信息有很多算法，本文讨论基于ESKF（Error-State K
kafka优势kafka相比于其他消息系统能够实现有序的并行化的读取，其他的消息系统如果需要实现有序，是通过独占的形式，那样就不能并行化，每次只能有一个消费者读取数据。kafka通过topic和partition的方式实现有序的并行化，每个消费者可以独占一个partition，同时多个消费者读取同一个topic的数据，这样就实现了并行化，但是一个消费群组的消费者不能比一个topic的分区数多，这样
转载
2024-01-28 14:17:09
67阅读
Kafka基本概念 Message 消息，就是要发送的内容，一般包装成一个消息对象。Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 。Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样,Kafka 为每个分区维
转载
2024-04-09 11:39:20
33阅读
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。第一篇文章介绍了 RabbitMQ 和 Apache Kafka内部实现的相关概念。本篇文章会从两个方面探讨这两种技术之间的差异，一个是这两种技术之间的显著差异，另一个是对于软件架构师和开发者需要注意的差异。我们先来说说架构模式，也
转载
2021-08-09 17:31:15
157阅读
Kafka与RocketMQ是两种流行的消息队列系统，用于实现消息的生产者和消费者之间的异步通信。它们在设计和特性上有一些区别，本文将详细介绍它们的区别，并提供代码示例帮助你更好地理解。
首先，我们来看一下Kafka与RocketMQ的区别：
| 特性 | Kafka | RocketMQ
原创
2024-05-06 11:52:41
97阅读
项目需要将日志收集起来做存储分析，数据的流向为rsyslog（收集） -> kafka（消息队列） -> logstash(清理) -> es、hdfs； 今天我们先将如何利用rsyslog进行日志收集到kafka。 一、环境准备 通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过&nbs
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现
转载
2022-02-13 14:13:52
117阅读
消息队列为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调
一、kafka基本概念缓存系统 2、kafka集群中的服务器都叫做broker 3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4、kafka中不同业务系统的消息可以
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单
背景spark streaming + kafka 有两种方案接收kafka数据-基于receiver的方案和direct方案(no receiver方案)。基于receiver的方案，属于比较老的方案，其采用Kafka’s high-level API通过专门的Rceiver去接收kafka数据。 采用 KafkaUtils.createStreamdirect方案，是当前的主流用法，其采用Ka
转载
2024-01-14 20:22:52
103阅读
本节内容： 1. etcd介绍与使用 2. ElastcSearch介绍与使用1. etcd介绍与使用 概念：高可用的分布式key-value存储，可以使用配置共享和服务发现 类似项目：zookeeper和consul 开发语言：Go 接口：提
《消息中间件-Kafka》一、. Kafka概述消息中间件对比特性ActiveMQRabbitMQRocketMQKafka开发语言javaerlangjavascala单机吞吐量万级万级10万级100万级时效性msusmsms级以内可用性高(主从)高(主从)非常高(分布式)非常高(分布式)功能特性成熟的产品、较全的文档、各种协议支持好并发能力强、性能好、延迟低MQ功能比较完善，扩展性佳只支持主要
- 本次目标 - 之前我们在分析KafkaProducer获取元数据的时候就涉及到了网络的部分，不过那个时候我们没有去分析关于网络的事，现在KafkaProducer开始要与Broker建立连接，发送数据了，所以我们不得不分析一下Kafka网络部分代码的设计。(要想看懂这篇内容需要有Java NIO方面的知识，如果这方
RabbitMQ和Kafka都是流行的消息队列系统，它们都可以用于构建分布式系统中的消息传递机制。 虽然它们都可以用于相似的场景，但它们之间仍然存在一些重要的区别。一、数据处理方式不同RabbitMQ是一个传统的AMQP消息队列，它使用队列来存储和传递消息，并通过消息持久化和队列持久化机制，将消息和队列持久化到磁盘中。RabbitMQ在消息传递方面的优点是它可以提供高可靠性和持久性，可以确保消息不
转载
2024-02-27 07:22:14
80阅读
