EFAK V2.1.0部署提示：原Kafka-eagle已于V2.0.7更名为EFAK前言新版EFAK部署需要sqlite或者MySQL(8.0以上）。使用低版本可能会导致efak无法连接数据库。一、EFAK是什么？EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能。二、安
一、消息中间件的使用场景消息中间件的使用场景总结就是六个字：解耦、异步、削峰 1.解耦如果我方系统A要与三方B系统进行数据对接，推送系统人员信息，通常我们会使用接口开发来进行。但是如果运维期间B系统进行了调整，或者推送过程中B系统网络进行了调整，又或者后续过程中我们需要推送信息到三方C系统中，这样的话就需要我们进行频繁的接口开发调整，还需要考虑接口推送消息失败的场景。&nbs
转载
2024-09-27 12:15:58
171阅读
一、作用1、首先我们先了解一下MQ在我们实际开发中的作用 解耦 异步 削峰首先我们了解一下解耦：当我们有A、B、C、D四个系统，看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃.. 在这个场景中，A 系统跟其它各
转载
2024-10-16 14:17:19
285阅读
EMC全称Electro Magnetic Compatibility,指设备或系统在其电磁环境中能正常工作，且不对该环境中任何事物构成不能承受的电磁骚扰的能力。EMC是评价电子产品质量的一个重要指标。从广义上讲，EMC测试的具体项目包括以下两个大项：（1）EMI（Electro-Magnetic Interference）—电磁干扰测试此测试之目的为：检测电器产品所产生的电磁辐射对人体、公共电网
消息中间件（一）MQ详解及四大MQ比较
1、概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。 2、消息中间件的组成 &n
因为RabbitMQ是由erlang实现的，所以要先安装erlang再安装rabbitMQ一、配置yum软件源地址EPEL（EPEL是管理yum下载软件的软件，也可以说是一个软件仓库）后安装erlang1、EPEL简介：EPEL是企业版Linux附加软件包简称，EPEL是一个由Fedora特别兴趣小组创建、维护并管理的，针对红帽企业版Linux（RHEL）及其衍生发行版（比如CentOS、Scie
目录前言1.本地搭建工具2. Java的环境配置和检验3.postgre的配置4.ThingsBoard配置5.运行ThingsBoard本地平台 1.本地搭建工具thingsboard-windows-3.1.1postgresql-13.3-2-windows-x64jdk-8u152-windows-x64ideaIC-2022.2.3node-v16.18.0-x86 2.&nb
转载
2024-07-09 21:26:59
289阅读
目录4-路由层监督进程的启动过程4.1 简介4.2 路由层监督进程emqx_router_sup的启动4.3 路由辅助进程emqx_router_helper4.4 路由进程emqx_router 4-路由层监督进程的启动过程4.1 简介上一个章节我们看了emqx_sup监督进程启动初始化逻辑如下: 根据emqx的分层逻辑 我们今天按启动顺序来看,先来看内核层的逻辑emqx_router_sup
rabbitmq
rabbitmq的消息可靠性rabbitmq-幂等引出的性能分析rocketmq
从rabbitmq到rocketmqkafka
从rocketmq到kafka：集群、一致性与重平衡pulsar
本篇综合对比
本篇先来谈谈 pulsarpulsar 可以简单的看做是 broker 集群 + bookkeeper集群 构成。broker 集群属于无状态
转载
2024-05-20 19:08:14
59阅读
众所周知，Hadoop生态系统发展至今，已经汇集了超过二十个组件，这些组件各自致力于解决大数据处理当中所遇到的问题，同时基于Hadoop集群，也能实现很好的协作运行，共同来完成大数据处理各个环节的任务。其中涉及Kafka组件，有同学在问Hadoop和Kafka啥关系，下面我们就来解答一下。 首先，我们必须要了解一个事实，Hadoop和Kafka同属于Apache软件基金会，都是Apa
转载
2023-11-18 23:14:38
139阅读
正常大家都这么问的，但是实际上应该是想问：kafka和redis queue有什么区别？，因为redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统。两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。 一、存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式
转载
2023-08-15 17:09:23
369阅读
kafka和spark总结本文涉及到的技术版本号：scala 2.11.8kafka1.1.0spark2.3.1kafka简介kafka是一个分布式流平台，流媒体平台有三个功能发布和订阅记录流以容错的持久化的方式存储记录流发生数据时对流进行处理kafka通常用于两大类应用构件在系统或应用程序之间可靠获取数据的实时数据管道构件转换或响应数据流的实时流应用程序kafka的几个概念kafka运行在集群
转载
2023-08-27 22:00:17
125阅读
1、什么是kafka? 2、JMS了解 3、kafka核心组件 4、为什么需要kafka消息队列？ 5、配置文件梳理 6、kafka文件存储机制 7、kafka为什么这么快？1、What is kafka? (官网：http://kafka.apache.org/)(了解)在流式计算中，Kafka一般用来缓存数据，Storm、spark-streaming等通过消费Kafka的数据进行计算。KAF
转载
2024-04-01 15:14:34
414阅读
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。 ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分析，比如接口的调用次数、执行时间、成功率等性能分析，用户行为分析，安全漏洞分析，时间管理 
Canal+Kafka实现mysql与Redis数据同步一、Canal简介canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量
转载
2024-02-16 10:35:51
62阅读
DataHub 简介 DataHub 类似于传统大数据解决方案中 Kafka 的角色，提供了一个数据队列功能。
DataHub 除了供了一个缓冲的队列作用。同时由于 DataHub 提供了各种与其他阿里云
上下游产品的对接功能，所以 DataHub 又扮演了一个数据的分发枢纽工作。DataHub 输入组件包括
Flume：主流的开源日志采集框架
DTS：类似 Canal，日志实时监控采集框架
Lo
转载
2024-04-23 19:02:35
538阅读
今天我们要讲的大数据公司叫作Confluent，这个公司是前LinkedIn员工出来后联合创办的，而创业的基础是一款叫作Apache Kafka的开源软件。Confluen联合创始人Jun Rao即将在QCon北京2018分享Apache Kafka的前世今生和未来的相关话题。在整个Hadoop的生态圈里，Kafka是一款非常特殊的软件。它由LinkedIn于2011年开源，并在2012年底从阿帕
转载
2024-05-06 22:33:17
656阅读
数据采集传输主要技术分为两类，一类是离线批处理、另一类是实时数据采集和传输离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和KafkaSqoop：一款开源的离线数据传输工具，主要用于Hadoop（Hive）与传统数据库（Mysql、Oracle）之间数据传递。Flume：实时日志采集平台，一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Kafka：通常来说Flu
转载
2023-11-25 09:29:20
593阅读
第 7 章 Kafka 与 Flume7.1 Kafka 与 Flume 比较
在企业中必须要清楚流式数据采集框架 flume 和 kafka 的定位是什么：
flume：cloudera 公司研发:
适合多个生产者；
适合下游数据消费者不多的情况；
适合数据安全性要求不高
作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强， 而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计，而redis的主要场景是内存数据库，作为消息队列来说可靠性太差，而且速度太依赖网络IO，在服务器本机上的速度较快，且容易出现数据堆积的问题，在比较轻量的场合下能够适用。Rabb
转载
2024-06-18 22:02:22
51阅读
