看到好多招聘JD上都要求要有高并发,消息队列的经验,但是咱又没有咋办?那就只好摸着石头过河了呗,找个消息队列来实践一下. 由于我喜欢用golang,所以在对比了NSQ和kafka后,鉴于NSQ是golang写的,直接编译为binary,所以部署会方便一些,所以我们就来探索一下NSQ.去NSQ的官网https://nsq.io/deployment/installing.html把binary下载下
转载
2024-10-18 14:36:21
57阅读
看到好多招聘JD上都要求要有高并发,消息队列的经验,但是咱又没有咋办?那就只好摸着石头过河了呗,找个消息队列来实践一下. 由于我喜欢用golang,所以在对比了NSQ和kafka后,鉴于NSQ是golang写的,直接编译为binary,所以部署会方便一些,所以我们就来探索一下NSQ.去NSQ的官网https://nsq.io/deployment/installing.html把binary下载下
NSQ是用golang编写的高性能分布式消息队列（可以理解为轻量化的kafka），就个人理解来说，消息队列可以看成一个大的buffer ，用于信息生产速率和信息消费速率、分布式消息同步，同时也便于一些容灾策略的实现。本系列文章着重点在于深入源码理解，不会写一些大的概念以及整体架构，方便理解具体功能的具体实现方式。项目地址 nsq整体的代码结构如下apps里主要是nsq系列进程的启动器，可
TL;DR Kafka is an Event Streaming Platform, while NATS is a closer to a conventional Message Queue. Kafka is optimised around the unique needs of emerging Event-Driven Architectures, which enrich the
转载
2024-05-17 03:05:13
196阅读
在Kubernetes（K8S）环境中使用nats和kafka是一种常见的做法，它们分别代表了两种流行的消息传递系统。在本篇文章中，我将向你介绍如何在K8S中使用nats和kafka，并给出具体的代码示例。
首先，让我们看一下整个过程的步骤，我将使用表格展示出来：
| 步骤 | 操作 |
|------|------|
| 1. | 创建nats集群 |
| 2. | 创建kaf
原创
2024-05-17 14:06:31
210阅读
1.各个消息队列之间的优点1.activemq特性（1）具有优秀的api，是sun公司提出的jms规范的一种消息队列 （2）不适合高并发场合，性能不足，适合中小型架构 2.kafka **特性：**速度高：使用操作系统的memory mapper files方式，完成操作系统虚拟内存的作用，从而实现到内存 地址的映射 3.rocketmq **特性：**对kafka的事务性和可靠性做出了优化、商业
kafka一个topic多个partition，一个partition一主多从，leader承担所有的读写，然后同步到follower。老版本producer/consumer需要直接和zk交互，新版本直接和broker交互，因为zk写性能不好。producer内部维护内存队列，异步一定间隔或数量发送到broker，失败的话，默认重试3次；同步发送，需要实时调用flush。每个partition分
转载
2024-06-05 00:30:08
1256阅读
1. 介绍最近在研究一些消息中间件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。 官方和第三方还为NSQ开发了众多客户端功能库，如官方提供的基于HTTP的nsqd、Go客户端go-nsq、Python客户端pynsq、基于Node.js的JavaScript
解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余 有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过
一、kafka基本概念缓存系统 2、kafka集群中的服务器都叫做broker 3、kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4、kafka中不同业务系统的消息可以
1.1 Kafka是什么Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。** ** **Kafka是一个分布式消息队列：生产者、消费者的功能。**它提
前言最近我再网上寻找使用golang实现的mq，因为我知道golang一般实现的应用部署起来很方便，所以我就找到了一个叫做nsq的mq，其实它并不能完全称为队列，但是它的轻量和性能的高效，让我真的大开眼界。如果你有兴趣，我觉得也可以了解一下：
网上有人翻译了国外的一篇文章：我们是如何使用NSQ处理7500亿消息的 安装和部署官网提供如果你有能力的话直接阅读官方的说明进行操作就可以了htt
转载
2024-08-13 10:01:00
355阅读
MQ作为中间件，消息队列是分布式应用间交换信息的重要组件。消息队列可存储在内存和磁盘上，队列可以存储消息直至它们被应用程序接收。通过消息队列在应用程序不知道彼此位置的情况下可以独立处理信息或在处理消息前不需要等待接收该消息。所有消息队列可以解决应用解耦、异步消息等问题，是实现高性能、高可用、可伸缩和一致性架构中不可或缺的一环。 目前业界有很多MQ产品，小编作如下对比： Zero
转载
2024-03-20 09:20:16
677阅读
Kafka核心功能即：高性能的消息发送与高性能的消息消费 下载安装包后即可启动Kafka服务器，但是此前需要首先启动Zookeeper服务器，Zookeeper是为Kafka提供协调服务的工具，Kafka内置提供了一个Zookeeper服务器以及一组相关的管理脚本，直接使用该内置Zookeeper即可。 Kafka吞吐量/延时分析吞吐量：某种处理能力的最大值，对于Kafka而言
转载
2024-02-26 23:38:18
114阅读
1、吞吐量kafka吞吐量更高：1）Zero Copy机制，内核copy数据直接copy到网络设备，不必经过内核到用户再到内核的copy，减小了copy次数和上下文切换次数，大大提高了效率。2）磁盘顺序读写，减少了寻道等等的时间。3）批量处理机制，服务端批量存储，客户端主动批量pull数据，消息处理
转载
2019-05-28 08:57:00
202阅读
2评论
目录一、为什么选择Kafka开始？二、Kafka三、Kafka的消息模型 一、为什么选择Kafka开始？MQ的本质就是“一发一存一消费”。 1. Kafka和RocketMQ是目前最热门的两种消息中间件，应用最广泛。 2. 从MQ的历程来看，Kafka比RocketMQ更早诞生，并且阿里团队在实现RocketMQ，充分借鉴了Kafka的设计思想。 3. Kafka其实
转载
2024-03-16 01:00:02
144阅读
导语随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在“3V”特性：Volume, Velocity, Variety。这三个“V”表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。我们想要在数据上创造价值，首先要
转载
2024-07-04 05:23:50
167阅读
中间件
原创
2023-05-08 13:44:02
117阅读
一、简介etcd是一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。提供配置共享和服务发现的系统比较多，其中最为大家熟知的是[Zookeeper]（后文简称ZK），而ETCD可以算得上是后起之秀了。在项目实现，一致性协议易理解性，运维，安全等多个维度上，ETCD相比Zookeeper都占据优势。etcd是一个服务发现系统，具备
RabbitMQ和Kafka架构图1. 设计初衷不完全相同RabbitMQ是消息分发中间件
包收包送，服务很周到。
设计初衷：单播，消息一对一，每条消息只会被发送一个消费者（当然也可以扩展，如果想让多个消费者消费同一条消息，就得这条消息复制成多份放到多个Queue）。Kafka是消息存储和订阅中间件
自己放自己取，只负责提供场地，其它的全自助。
设计初衷：广播，消息一对多，凡是订阅Topic的消费
