导读：Kafka 是广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析不可或缺的工具。本篇为 Kafka 系列的第一篇文章，之后将会每天持续更新，让你从上手到实践。作者 | 计缘什么是MQ首先我们来认知什么是MQ系统既消息队列（Message Queue）系统。举个不恰当的例子，消息（Message）就相当于自来水，队列（Queue）就相当于自来水管道，错综复杂的管道将自来水送给千家万户
转载
2024-05-29 11:46:55
25阅读
1 Kafka1.1 Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。原本开发自LinkedIn，用于将用户的行为、网站的活动（网页游览，搜索或其他用户的操作信息）发布记录到不同的话题中心，这些消息数据可实时处理，实时监测，也可加载到Hadoop或离线处理数据仓库供后续大数据发掘。Kafka主要设计目标如下：1) 以时间复杂度为O(1)的方式提供消息
转载
2024-04-10 10:27:09
124阅读
一、目录1、MQ基础概念2、Kafka数据存储设计3、Kafka生产者设计4、Kafka消费者设计5、Kafka提交与移位6、Kafka消息保留策略二、MQ概念 MQ 是message queue ,消息队列，也叫消息中间件。消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问
转载
2024-05-28 13:52:31
111阅读
物联网架构成长之路(8)-EMQ-Hook了解、连接Kafka发送消息 1. 前言 按照我自己设计的物联网框架，对于MQTT集群中的所有消息，是要持久化到磁盘的，这里采用一个消息队列中间件Kafka作为数据缓冲，缓冲结果存到数据仓库中，以供后续作为数据分析。由于MQTT集群中的消息都是比较分散的，所以使用Kafka来聚合、采集消息。2. 下载&编译&安装依赖
软件要求：需要使用EMQ的企业版场景需求：物联网平台需要接入智能变压器采集装置采集的数据，基于MQTT协议将数据传输到服务器的MQ(EMQ)，EMQ将数据转发到kafka集群，sparkStreaming对接kafka实时分析处理。准备工作：上传数据准备：{
"id": "NXP-058659730253-963945118132721-22", // 客户端识别码
"speed": 32
转载
2024-07-07 07:47:05
35阅读
一、语言不同RabbitMQ是由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是采用Scala语言开发，它主要用于处理活跃的流式数据,大数据量的数据处理上二、结构不同RabbitMQ采用AMQP（Advanced Message Queuing Protocol，高级消息队列协议）是一个进程间传递异步消息的网络协议 RabbitMQ的broker
转载
2024-03-22 09:50:05
154阅读
上一篇随笔我简单的记录了我对EMQ插件开发的了解过程，最后发现还是可以组合复用已有插件，因此这篇随笔用于记录使用的情况以及是否达到预期。首先测试mysql认证插件的使用方式：emqx_auth_mysql根据readme，使用该插件需要先在数据库上运行它们的sql脚本，在docker中完成这一步可以参考这篇文章。主要的思想是，在Dockerfile中先用环境变量设置免密登录，然后执行各个sql脚本
转载
2023-07-13 20:25:01
166阅读
该模块主要是监听连接的socket连接，所以这个模块主要包含一些针对连接的管理接口，该模块主要的API如下:
1、start_link(Opts, MFA) 该函数主要是启动esockd_connection_sup监听器，函数内部调用了OTP的
gen_server:start_link(?MODULE, [Opts, MFA], [])函数，然后回调该模块的init([Opts, MFA])
转载
2024-09-30 13:48:58
34阅读
emq作为一个mqtt的消息broker，可以通过它的相关学习，一方面掌握emq本身的一些功能点，另一方面对于集群系统也有一个更好的了解，Mark起来说明emqx的配置文件主要由主配置文件etc/emqx.conf以及各种插件配置文件etc/plugins/*.conf组成
附上原版md文件，感兴趣的可以在此基础上编辑一、几个默认端口1883: MQTT protocol8883: MQTT/SS
转载
2023-07-20 14:36:46
396阅读
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结 我们知道，在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么，业务中常见的就是Kafka与ActiveMQ。同为消息中间件，二者的区别究竟在哪里，今天我们就做一个简单的对比。。 一、Kafka和ActiveMQ基本对
转载
2024-06-24 08:18:01
89阅读
背景本公司是.Net项目，在.Net可选的MQ比较少，主要Kafka和RabbitMQ，RabbitMQ我也是使用多年了，最近的Kafka广告与流行度打得使我也是无法无视，因此也是花了点时间收集了资料做了些对比。此外有个小插曲，当我形成了文档让老板兼CTO对比决策后，他打算上阿里云买MQ服务。我当时给他开了个玩笑：您这价钱把我请回来，而且公司还有运维，其实完全可以自己维护，要不我来负责，你把这每个
转载
2024-09-27 12:05:11
44阅读
KakiExam（参天大树考试系统）3.0介绍基于ssm垂直架构的考试系统，分为前台与后台，移动端(新增) 三大模块，前台具有，用户注册，登录，答题，计分功能，后台具有题目管理，卷纸录入功能，移动端基于H5开发，可移植至微信小程序，或封装为akp文件。软件架构软件架构说明后台采用：jdk1.8,spring,springMVC,mybatis,通用mapper ,lombook,shiro等前端采
引言关于Mysql，大家都已经非常熟悉了。但是这种C/S的数据服务不适合于一些轻量级的应用，很多情况下，我们希望能使用一个进程级的存储引擎，供我们查询一些关系数据，而非使用一套臃肿的服务。当然这时我们可以选择SqlLite，Berkeley DB，Access等轻量级的存储件，但是都有学习成本，我们能否采用我们已经非常熟悉的Mysql接口来实现呢？答案是肯定的，很多人可能不知道：Mysql其实可以
转载
2023-07-24 18:05:50
84阅读
本篇主要参考EMQ官方文档，里面写的很详细，按照这个一步一步做就可以配置成功。开始使用 (Get Started) — EMQ - 百万级开源MQTT消息服务器 2.2-beta.1 文档 EMQTT介绍EMQ 在阿里云上下载启动EMQ1. 在 EMQ - 下载 找到操作系统对应的程序包, 我的系统是ubuntu16.4wget http://emqtt.com/do
转载
2024-05-14 07:51:36
41阅读
现代的互联网分布式系统，只要稍微大一些，就一定逃不开3类中间件：远程调用（RPC）框架、消息队列、数据库访问中间件。Kafka 是消息队列中间件的代表产品，用 Scala 语言实现，本文采用的是 Kafka_2.11 0.10.0.0 版本进行实验。基本概念首先，Kafka 中有一些基本的概念需要熟悉 1 2。Topic，指消息的类别，每个消息都必须有；Producer，指消息的产生者，或者，消息
1.集群搭建手动创建集群的时候： emqx_ctl cluster join emqx@192.168.153.128， 这里node节点的名字使用真实ipEMQ X 支持多种节点发现策略，https://docs.emqx.cn/broker/v4.3/getting-started/cluster.html#%E8%8A%82%E7%82%B9%E5%8F%91%E7%8E%B0%E4%B8%
原创
2023-05-03 03:28:33
389阅读
1.IOT设备的特性 IOT（物联网things of internet）设备和传统的智能设备有什么区别,笔者总结下的IOT设备有如下特点： 硬件能力差(存储能力基本只有几MB,CPU频率低连使用HTTP请求都很奢侈)系统千差万别(Brillo,mbedOS,RIOT等)如使用电池供电,电量消耗敏感
转载
2019-09-08 19:58:00
227阅读
2评论
1.MQTT协议主要特性 （1）开放消息协议，简单易实现。 （2）使用发布/订阅消息模式，提供一对多的消息发布，解除应用程序耦合。 （3）对负载（协议携带的应用数据）内容屏蔽的消息传输。 （4）基于TCP/IP网络连接,提供有序，无损，双向连接。主流的MQTT是基于TCP连接进行数据推送的，但是同样 ...
转载
2021-10-12 18:44:00
563阅读
2评论
日志与追踪 控制日志输出 EMQ X 支持将日志输出到控制台或者日志文件，或者同时使用两者。可在 emqx.conf 中配置： log.to = both log.to 默认值是 both，可选的值为： off: 完全关闭日志功能 file: 仅将日志输出到文件 console: 仅将日志输出到标准 ...
转载
2021-07-27 17:32:00
897阅读
2评论
EMQ版本V2， emqttd-centos7-v2.3.11-1.el7.centos.x86_64.rpm下载地址：http://emqtt.com/downloads/2318/centos7-rpm机器环境： Linux CentOS7.2 安装完成后，默认是匿名用户访问。emq本身不带发布定于工具或者命令，需要借助类似mosquitto_sub、mosqu
转载
2024-05-30 01:32:20
85阅读
