文章目录前言一、EMQ压力测试二、测试结果1.虚拟机测试总结 前言关于EMQ的使用效率问题 EMQ是一款消息服务器用来做mqtt消息传输，有两个版本一个Broker版本，一个企业版本，我这里说的免费版本Broker版本 一、EMQ压力测试最开始我使用apache-jmeter-5.3多线程去测试，EMQ服务器是腾讯云的1G2核2M的宽带连接数不到2000（这里是接受和发送消息）。然后开始优化，
转载
2024-06-24 06:22:07
114阅读
公司需要搭建一个邮件的服务器，要求可以通过网页访问。我们可以在linux系统上安装postfix服务，再配置webmail工具实现上述要求，不过postfix不管是安装还是配置，都十分的繁琐，还需要整合webmail工具。这让不少运维工程师都感到头疼。今天向大家推荐一款整合型邮件系统，emos是国内开发的一款开源免费的邮件系统。下面说一下其安装步骤。它的安装十分简单，如果曾经安装过centos5这
转载
2024-09-25 07:53:35
42阅读
I. Introduction这篇文档描述EMM case-5 周期性TAU过程。这个过程是在ecm-idle rrc-idle状态下的UE因为没有数据传输而需要周期性的更新MME的位置信息。 当UE进入一个不在TAI列表中的TA时发起TAU，或者当TAU定时器超时。这篇文档介绍的是周期性TAU。当TAU定时器超时时，idle状态的UE发送TAU request消息报告自己的位置信息。在转移到ec
上一篇博客介绍了MQTT服务器的安装，客户端工具的使用，以及MQTT协议常用的一些特性。这篇博客从开发的角度去学习下程序如何接入MQTT数据，如服务器监控数据、消息订阅、数据桥接等。监控数据EMQX 提供了管理监控 REST API，这些 API 遵循 OpenAPI (Swagger) 3.0 规范。EMQX 服务启动后，您可以访问 http://localhost:18083/api-docs
转载
2024-06-12 10:19:00
416阅读
一.Docker简介Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。二.在Linux上部署Docker的步骤以下是在Linux上安装Docker的步骤：1：更新系统（可选）在安装Docker之前，需要确保系统是最新的。可以使用以下命
转载
2024-10-27 19:45:29
33阅读
本章分享的目录： 1：表操作之插入、查询 第一节：hive DML (1) 插入数据 (2) 查询数据 1、内置运算符 2、内置函数 3、自定义函数 4、Lateral view 第一节：hive DML 一：插入数据 （1）：从表查数据插入到hive表（A表中id,name插
Topic-level configuration（主题级别的参数配置） 与主题相关的配置具有全局默认值（参考broker部分）和每个主题可选重写（broker部分有明确提示）。如果主题没有重写这些配置，使用全局默认设置。可以使用--config添加一个或者多个自定义选项。下面这个例子创建了一个名为my-topic的主题，它自定义了最大消息大小和刷新速率: > bin/k
为什么写这篇文章？笔者希望能为一些选择了EMQ作为消息推送服务的同学启发，并将使用EMQ过程中笔者遇到的问题暴露出来，当然也希望其他使用EMQ的同学能够给笔者更好的建议。本文的食用人群为对EMQ做过调研或者有相关实践经验的同学，如果您不属于该类，1.部署简单;2.支持集群部署;3.官方文档全面;4.上手简单;5:开箱即用,6.百万级分布式开源物联网MQTT消息服务器使用EMQ需要考虑的问题？top
转载
2024-07-01 10:07:36
295阅读
引言上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能，受到了程序猿们的广泛关注，其中大家对这种单纯的发送场景感到并不过瘾，因为没有任何一个网站的业务只有发送消息。本期，我们就来模拟一个真实的场景：消息的发送和订阅一定是共存的要支持多个订阅端订阅自己感兴趣的消息鉴于上一期Kafka和RocketMQ的指标和关注度很高，本期我们将只针对这两个产品，对比
转载
2024-09-23 17:15:19
88阅读
# 如何实现Java Kafka生产者单个Topic GroupId
在这篇文章中，我们将学习如何实现Java Kafka生产者，并针对单个Topic设置GroupId。对于新手来说，Kafka的使用可能会感到复杂，因此我将一步一步地引导你完成这个过程。
## 流程概述
我们将通过以下步骤来创建一个Kafka生产者：
| 步骤 | 描述 |
|------|------|
| 1 |
原创
2024-09-06 03:53:13
88阅读
一. 概述英特尔®最新推出的E810系列网络适配器，通过创新通用功能提高应用程序效率和网络性能，这些功能可优化高性能服务器工作负载，例如NFV，存储，HPC-AI和混合云。本篇文章通过介绍如何利用英特尔®E810网卡的ADQ特性来加速其在存储上的应用。二. ADQ特性简介以及在SPDK中的应用E810网卡简介E810[1]系列网卡具有以下重要特性，这里我们讲重点介绍ADQ[2]在应用程序的使用：单
转载
2024-03-21 06:49:50
746阅读
Kafka如何彻底删除topic及数据前言： 删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。step1： 如果需要被删除topic 此时正在被程序 produce和c
转载
2023-12-14 16:52:33
140阅读
Kafka是如何实现高性能的？1. 宏观架构层面利用Partition实现并行处理Kafka中每个Topic都包含一个或多个Partition，不同Partition可位于不同节点。 同时Partition在物理上对应一个本地文件夹，每个Partition包含一个或多个Segment，每个Segment包含一个数据文件和一个与之对应的索引文件。 在逻辑上，可以把一个Partition当作一个非常长
转载
2024-03-18 21:13:15
48阅读
EMQ版本V2， emqttd-centos7-v2.3.11-1.el7.centos.x86_64.rpm下载地址：http://emqtt.com/downloads/2318/centos7-rpm机器环境： Linux CentOS7.2 安装完成后，默认是匿名用户访问。emq本身不带发布定于工具或者命令，需要借助类似mosquitto_sub、mosqu
转载
2024-05-30 01:32:20
85阅读
摘要上一篇文章《Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告》从测试角度说明了Kafka的性能。本文从宏观架构层面和具体实现层面分析了Kafka如何实现高性能。宏观架构层面利用Partition实现并行处理Partition提供并行处理的能力Kafka是一个Pub-Sub的消息系统，无论是发布还是订阅，都须指定Topic。如《Kafka设计解析（一）- Kafka背景
转载
2024-08-07 10:38:38
50阅读
引言上期我们对比了RocketMQ和Kafka在多Topic场景下，收发消息的对比测试，RocketMQ表现稳定，而Kafka的TPS在64个Topic时可以保持13万，到了128个Topic就跌至0.85万，导致无法完成测试。我们不禁要问：为什么看不到Kafka性能暴跌的趋势呢？今天的测试，就来排查一下这个问题，然后验证一下两个系统对外服务的稳定性。本次测试，要引入“稳定性测试”这个概念，那什么
转载
2024-06-25 08:20:30
549阅读
仅个人实践中所遇到的问题，若有不对的，欢迎交流！一、场景描述 kafka集群中有几台突然挂了，后台日志显示设备空间满了，消息无法写入__consumer_offsets topic的分区中了。查看kafka数据目录下各个文件的大小，发现__consumer_offsets topic分区中有一个分区__consumer_offsets-5数据很多，多达1T，而其他分区只有4KB，相差巨大。且__
转载
2024-03-26 10:45:29
275阅读
文章目录直接展示！制作证书ETCD安装拷贝证书和启动脚本给 node 节点node01/2节点操作群集状态检查Docker部署Flannel配置开启flannel网络功能配置docker连接flannelMaster组件部署证书制作开始部署master节点检查Node节点部署控制文件设置环境变量生成配置文件创建bootstrap角色赋予权限用于连接apiserver请求签名启动proxy服务no
转载
2024-02-27 21:17:10
88阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset&n
1、安装解压2、emq启动./bin/emqx start //守护进程模式启动3、客户端编程初步3.1 //消息订阅的客户端例子package com.zkhuashui.support.mqtt;
import org.eclipse.paho.client.mqttv3.*;
import org.eclipse.paho.client.mqttv3.MqttCallback;
import
转载
2024-03-18 09:36:24
229阅读
