一、kafka基本概念缓存系统 2、kafka集群中的服务器都叫做broker 3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4、kafka中不同业务系统的消息可以
TL;DR Kafka is an Event Streaming Platform, while NATS is a closer to a conventional Message Queue. Kafka is optimised around the unique needs of emerging Event-Driven Architectures, which enrich the
转载
2024-05-17 03:05:13
196阅读
NSQ是用golang编写的高性能分布式消息队列（可以理解为轻量化的kafka），就个人理解来说，消息队列可以看成一个大的buffer ，用于信息生产速率和信息消费速率、分布式消息同步，同时也便于一些容灾策略的实现。本系列文章着重点在于深入源码理解，不会写一些大的概念以及整体架构，方便理解具体功能的具体实现方式。项目地址 nsq整体的代码结构如下apps里主要是nsq系列进程的启动器，可
kafka一个topic多个partition，一个partition一主多从，leader承担所有的读写，然后同步到follower。老版本producer/consumer需要直接和zk交互，新版本直接和broker交互，因为zk写性能不好。producer内部维护内存队列，异步一定间隔或数量发送到broker，失败的话，默认重试3次；同步发送，需要实时调用flush。每个partition分
转载
2024-06-05 00:30:08
1256阅读
在Kubernetes（K8S）环境中使用nats和kafka是一种常见的做法，它们分别代表了两种流行的消息传递系统。在本篇文章中，我将向你介绍如何在K8S中使用nats和kafka，并给出具体的代码示例。
首先，让我们看一下整个过程的步骤，我将使用表格展示出来：
| 步骤 | 操作 |
|------|------|
| 1. | 创建nats集群 |
| 2. | 创建kaf
原创
2024-05-17 14:06:31
210阅读
1.各个消息队列之间的优点1.activemq特性（1）具有优秀的api，是sun公司提出的jms规范的一种消息队列 （2）不适合高并发场合，性能不足，适合中小型架构 2.kafka **特性：**速度高：使用操作系统的memory mapper files方式，完成操作系统虚拟内存的作用，从而实现到内存 地址的映射 3.rocketmq **特性：**对kafka的事务性和可靠性做出了优化、商业
看到好多招聘JD上都要求要有高并发,消息队列的经验,但是咱又没有咋办?那就只好摸着石头过河了呗,找个消息队列来实践一下. 由于我喜欢用golang,所以在对比了NSQ和kafka后,鉴于NSQ是golang写的,直接编译为binary,所以部署会方便一些,所以我们就来探索一下NSQ.去NSQ的官网https://nsq.io/deployment/installing.html把binary下载下
转载
2024-10-18 14:36:21
57阅读
解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余 有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过
看到好多招聘JD上都要求要有高并发,消息队列的经验,但是咱又没有咋办?那就只好摸着石头过河了呗,找个消息队列来实践一下. 由于我喜欢用golang,所以在对比了NSQ和kafka后,鉴于NSQ是golang写的,直接编译为binary,所以部署会方便一些,所以我们就来探索一下NSQ.去NSQ的官网https://nsq.io/deployment/installing.html把binary下载下
1.1 Kafka是什么Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。** ** **Kafka是一个分布式消息队列：生产者、消费者的功能。**它提
用Netty 自己实现dubbo RPCRPC 的基本介绍RPC (Remote Procedure Call) 远程过程调用，是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外的为这个交互编程。也就是说可以达到两个或者多个应用程序部署在不同的服务器上，他们之间的调用都像是本地方法调用一样。RPC 的调用如下图。常用的RPC 框架有阿里的dubbo，G
转载
2024-09-24 16:15:25
117阅读
1. 介绍最近在研究一些消息中间件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。 官方和第三方还为NSQ开发了众多客户端功能库，如官方提供的基于HTTP的nsqd、Go客户端go-nsq、Python客户端pynsq、基于Node.js的JavaScript
kafka优势kafka相比于其他消息系统能够实现有序的并行化的读取，其他的消息系统如果需要实现有序，是通过独占的形式，那样就不能并行化，每次只能有一个消费者读取数据。kafka通过topic和partition的方式实现有序的并行化，每个消费者可以独占一个partition，同时多个消费者读取同一个topic的数据，这样就实现了并行化，但是一个消费群组的消费者不能比一个topic的分区数多，这样
转载
2024-01-28 14:17:09
67阅读
Kafka基本概念 Message 消息，就是要发送的内容，一般包装成一个消息对象。Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么 Topic 就是一个邮箱 。Partition && Log Partition 分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘 C:, D:, E: 盘一样,Kafka 为每个分区维
转载
2024-04-09 11:39:20
33阅读
Stream +nacos一、消息队列1、消息队列的作用1）削峰填谷2）应用解耦3）异步处理4）消息通讯2、发送方式1）点对点2）发布-订阅模式3、Kafka中间是kafka的集群，包含多个broker，每一个broker相当于一个kafka的实例。Kafka消息不丢失的机制就是备份，kafka分区，会把一个主题划分多个文件。在访问定位时会比较快。每个broker会有leader和follower
转载
2024-09-30 20:05:27
118阅读
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。第一篇文章介绍了 RabbitMQ 和 Apache Kafka内部实现的相关概念。本篇文章会从两个方面探讨这两种技术之间的差异，一个是这两种技术之间的显著差异，另一个是对于软件架构师和开发者需要注意的差异。我们先来说说架构模式，也
转载
2021-08-09 17:31:15
157阅读
Kafka与RocketMQ是两种流行的消息队列系统，用于实现消息的生产者和消费者之间的异步通信。它们在设计和特性上有一些区别，本文将详细介绍它们的区别，并提供代码示例帮助你更好地理解。
首先，我们来看一下Kafka与RocketMQ的区别：
| 特性 | Kafka | RocketMQ
原创
2024-05-06 11:52:41
97阅读
项目需要将日志收集起来做存储分析，数据的流向为rsyslog（收集） -> kafka（消息队列） -> logstash(清理) -> es、hdfs； 今天我们先将如何利用rsyslog进行日志收集到kafka。 一、环境准备 通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过&nbs
基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别，但是这两种技术在底层实现
转载
2022-02-13 14:13:52
117阅读
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单
