该模块主要是监听连接的socket连接，所以这个模块主要包含一些针对连接的管理接口，该模块主要的API如下:
1、start_link(Opts, MFA) 该函数主要是启动esockd_connection_sup监听器，函数内部调用了OTP的
gen_server:start_link(?MODULE, [Opts, MFA], [])函数，然后回调该模块的init([Opts, MFA])
转载
2024-09-30 13:48:58
34阅读
1 Kafka1.1 Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。原本开发自LinkedIn，用于将用户的行为、网站的活动（网页游览，搜索或其他用户的操作信息）发布记录到不同的话题中心，这些消息数据可实时处理，实时监测，也可加载到Hadoop或离线处理数据仓库供后续大数据发掘。Kafka主要设计目标如下：1) 以时间复杂度为O(1)的方式提供消息
转载
2024-04-10 10:27:09
124阅读
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结 我们知道，在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么，业务中常见的就是Kafka与ActiveMQ。同为消息中间件，二者的区别究竟在哪里，今天我们就做一个简单的对比。。 一、Kafka和ActiveMQ基本对
转载
2024-06-24 08:18:01
89阅读
KakiExam（参天大树考试系统）3.0介绍基于ssm垂直架构的考试系统，分为前台与后台，移动端(新增) 三大模块，前台具有，用户注册，登录，答题，计分功能，后台具有题目管理，卷纸录入功能，移动端基于H5开发，可移植至微信小程序，或封装为akp文件。软件架构软件架构说明后台采用：jdk1.8,spring,springMVC,mybatis,通用mapper ,lombook,shiro等前端采
一、目录1、MQ基础概念2、Kafka数据存储设计3、Kafka生产者设计4、Kafka消费者设计5、Kafka提交与移位6、Kafka消息保留策略二、MQ概念 MQ 是message queue ,消息队列，也叫消息中间件。消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问
转载
2024-05-28 13:52:31
111阅读
一、语言不同RabbitMQ是由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是采用Scala语言开发，它主要用于处理活跃的流式数据,大数据量的数据处理上二、结构不同RabbitMQ采用AMQP（Advanced Message Queuing Protocol，高级消息队列协议）是一个进程间传递异步消息的网络协议 RabbitMQ的broker
转载
2024-03-22 09:50:05
154阅读
物联网架构成长之路(8)-EMQ-Hook了解、连接Kafka发送消息 1. 前言 按照我自己设计的物联网框架，对于MQTT集群中的所有消息，是要持久化到磁盘的，这里采用一个消息队列中间件Kafka作为数据缓冲，缓冲结果存到数据仓库中，以供后续作为数据分析。由于MQTT集群中的消息都是比较分散的，所以使用Kafka来聚合、采集消息。2. 下载&编译&安装依赖
软件要求：需要使用EMQ的企业版场景需求：物联网平台需要接入智能变压器采集装置采集的数据，基于MQTT协议将数据传输到服务器的MQ(EMQ)，EMQ将数据转发到kafka集群，sparkStreaming对接kafka实时分析处理。准备工作：上传数据准备：{
"id": "NXP-058659730253-963945118132721-22", // 客户端识别码
"speed": 32
转载
2024-07-07 07:47:05
35阅读
简介 消息队列，用于系统之间通信。 与dubbo+zookeeper 在不同层之间调用，ActiveMQ 可以解决同层之间的通信。 dubbo+zookeeper 有启动顺序，如果服务提供者没有启动，先启动消费者，会报错。所以同层之间如果来回引用，就不知道怎么启动了。 ActiveMQ可以实现，数据同步。如果新添加的数据，可以使
转载
2024-10-17 11:16:30
65阅读
背景本公司是.Net项目，在.Net可选的MQ比较少，主要Kafka和RabbitMQ，RabbitMQ我也是使用多年了，最近的Kafka广告与流行度打得使我也是无法无视，因此也是花了点时间收集了资料做了些对比。此外有个小插曲，当我形成了文档让老板兼CTO对比决策后，他打算上阿里云买MQ服务。我当时给他开了个玩笑：您这价钱把我请回来，而且公司还有运维，其实完全可以自己维护，要不我来负责，你把这每个
转载
2024-09-27 12:05:11
44阅读
MQ简介：MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。MQ特点：MQ的消费-生产者模型的一个典型的代表，一端往消息队列中不断的写入消息，而
导读：Kafka 是广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析不可或缺的工具。本篇为 Kafka 系列的第一篇文章，之后将会每天持续更新，让你从上手到实践。作者 | 计缘什么是MQ首先我们来认知什么是MQ系统既消息队列（Message Queue）系统。举个不恰当的例子，消息（Message）就相当于自来水，队列（Queue）就相当于自来水管道，错综复杂的管道将自来水送给千家万户
转载
2024-05-29 11:46:55
25阅读
kafka和spark总结本文涉及到的技术版本号：scala 2.11.8kafka1.1.0spark2.3.1kafka简介kafka是一个分布式流平台，流媒体平台有三个功能发布和订阅记录流以容错的持久化的方式存储记录流发生数据时对流进行处理kafka通常用于两大类应用构件在系统或应用程序之间可靠获取数据的实时数据管道构件转换或响应数据流的实时流应用程序kafka的几个概念kafka运行在集群
转载
2023-08-27 22:00:17
125阅读
etcd 简介etcd 是一个可靠的分布式 key-value 存储系统，主要用于配置共享和服务注册和发现，具有以下特性：简单：基于 gRPC 定义了清晰、面向用户的 API。安全：支持可选的客户端 TLS 证书自动认证特性。快速：支持每秒 10000 次的写入。可靠：基于 Raft 算法协议保证一致性。etcd 使用 Go 语言开发，底层基于 Raft 共识算法管理高可用的复制日志。当前已经被许
转载
2024-03-03 15:26:16
202阅读
简介MQTT 全称为 Message Queuing Telemetry Transport（消息队列遥测传输）是一种基于发布/订阅范式的“轻量级”消息协议，由 IBM 发布。MQTT 可以被解释为一种低开销，低带宽占用的即时通讯协议，可以用极少的代码和带宽的为连接远程设备提供实时可靠的消息服务，它适用于硬件性能低下的远程设备以及网络状况糟糕的环境下，因此 MQTT 协议在 IoT（Interne
转载
2024-08-14 17:39:29
281阅读
kafka一个topic多个partition，一个partition一主多从，leader承担所有的读写，然后同步到follower。老版本producer/consumer需要直接和zk交互，新版本直接和broker交互，因为zk写性能不好。producer内部维护内存队列，异步一定间隔或数量发送到broker，失败的话，默认重试3次；同步发送，需要实时调用flush。每个partition分
转载
2024-06-05 00:30:08
1256阅读
Rocketmq和Kafka区别Kafka号称大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka，这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。Apache Kafka它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log
转载
2024-03-21 10:40:33
121阅读
现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现，本文采用的是 Kafka_2.11 0.10.0.0 版本进行实验。基本概念首先，Kafka 中有一些基本的概念需要熟悉 1 2。Topic，指消息的类别，每个消息都必须有；Producer，指消息的产生者，或者，消息
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。这篇文章会先介绍RabbitMQ和Apac
转载
2024-05-16 12:16:41
46阅读
kafka是一种消息队列，高吞吐量，一般网站软件行为数据放到kafka，再放到hadoop中，kafka支撑hadoop并行数据加载相关概念hadoop：分布式计算（mapreduce）+分布式文件系统（hdfs）hive：数据仓库，数据时hdfs文件，支撑类似sql语句功能hbase：基于hdfs实现对分布式数据文件（HFile）对管理，怎生能增删改查功能，使用nosql提高查找性能，适用于实时
转载
2024-02-18 23:49:59
183阅读
