1、系统A（扣减托盘）【消息生产者】2、系统B（扣减押金）【消息消费者】业务描述：两套系统，A中扣减托盘，B中对应的要扣减押金；A中托盘归还，B中押金返还 利用消息队列来解决分布式事务过程：发送方【生产者】：（不关心接收方状态，只需要确定本地OK，消息推送即可）1、发送的消息首先需要入库（1⃣表结构：【消息ID，内容，相关事务的ID】）2、执行本地逻辑操作并commit，发送
转载
2024-05-28 09:25:33
39阅读
移山是禧云自研的数据迁移平台，包含异构数据源的迁移、实时数据同步等服务。有兴趣的可以看这里了解在移山中怎么实现异构数据源的迁移；本文主要介绍移山实时数据同步服务产生的背景以及整体架构设计。| 一. 移山实时数据同步服务产生背景禧云各个子公司业务系统基本都是以 MySQL 为主；做为数据支持部门，需要订阅这些业务数据做为数据仓库的数据源，来进行下游的数据分析。比如：各种离线数据 T+1 报
Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：- 可视化界面操作，不写代码完成数据的采集和流转- 内置监控，可是实时查看数据流传输的基本信息和数据的质量- 强大的整合力，对现有常用组件全力支持，包括50种数据源、44种数据操作、46种目的地。对于Strea
转载
2024-03-08 11:49:59
128阅读
1、 kafka是消息中间件，原理就是一个队列用来保存所有发布的消息，等到客户端一上线就推送给客户端。发布订阅模式。所有消息都保存在磁盘上。 2、redis是非关系型数据库，也有发布订阅的功能。区别： kafka是保存在磁盘上，一般用于性能要求不高的场景（日志）而且kafka是保存在磁盘上，一般用于数据量很大的场合。而且kafka设置消息过期时间是以segment为单位的，不能对每个消息都设置过期
转载
2023-05-25 13:08:54
71阅读
Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是IRC中的服务器。用户发起连接，发布消息到channel，接收其他用户的消息。这些对于持久性的要求并不高，使
转载
2023-07-08 19:32:37
100阅读
Kafka和Redis性能对比能力关于卡夫卡Kafka是一种分布式，分区和复制的提交日志服务，它提供消息传递功能以及独特的设计。我们可以在日志聚合过程中使用此功能。Kafka使用的基本消息传递术语是：主题：这些是发布消息的类别。
生产者：这是将消息发布到Kafka主题中的过程。
使用者：此过程订阅主题并处理消息。使用者是使用者组的一部分，该使用者组由许多使用者实例组成，以实现可伸缩性和容错能力。
转载
2023-09-18 22:51:45
153阅读
其他网址kafka可视化客户端工具（Kafka Tool）的基本使用
原创
2022-03-23 17:10:32
1512阅读
ETL 代表提取-转换-加载，是将数据从一个源系统移动到另一个源系统的过程。下面将描述如何使用 Apache Kafka、Kafka Connect、Debezium 和 ksqlDB 构建实时流 ETL 流程。构建业务应用程序时，会先根据应用程序的功能需求来设计数据模型。为了重塑我们的数据，需要将其移动到另一个数据库。在行业中，人们大多从源系统中批量提取数据，在合理的时间段内，主要是每天一次，但
转载
2024-05-28 23:14:22
149阅读
在现实业务中，Kafka经常会遇到的一个集成场景就是，从数据库获取数据，因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中，在这里这些事件可用于驱动应用，也可以流式传输到其它数据存储（比如搜索引擎或者缓存）用于分析等。实现这个需求有很多种做法，但是在本文中，会聚焦其中的一个解决方案，即Kafka连接器中的JDBC连接器，讲述如何进行配置
转载
2024-08-07 08:24:14
639阅读
redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统.两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式，但是还是以内存为主。kafka是存储在硬盘上性能不同因为存储介质不同，理论上redis queue的性能要优
转载
2023-06-28 16:58:48
156阅读
前言描述 生产初级，Service服务较少，访问量较少，随着业务量的不断增加，日志量成倍增长，然后就遇到了消息队列redis被充爆，不能满足应用的情况。针对此情况，我们来分析下可用的消息多列。官方推荐消息队列 redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较 Redisredis是基于内存的应用，消息都存放在内存中，写入读取速度快，但是受内存容量的限制，容易
转载
2023-08-10 13:16:11
136阅读
一、项目说明1、需求实时更新每个用户走的总步数；每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming从kafka实时读取这些模拟数据并做相关分析，最终将分析结果存入redis;3、大数据组件kafka: kaf
转载
2023-09-23 13:14:50
103阅读
目录2.7 延时队列2.8 重试队列代码实现Kafka 高级特性-延时/重试队列 2.7 延时队列两个follower副本都已经拉取到了leader副本的最新位置，此时又向leader副本发送拉取请求，而leader副本并没有新的消息写入，那么此时leader副本该如何处理呢？可以直接返回空的拉取结果给follower副本，不过在leader副本一直没有新消息写入的情况下，followe
转载
2023-08-11 09:51:24
79阅读
1.kafka-manager介绍为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集
转载
2024-03-21 08:45:13
71阅读
Apache Kafka 简单生产者示例让我们使用Java客户端创建一个用于发布和使用消息的应用程序。 Kafka生产者客户端包括以下API。KafkaProducer API让我们了解本节中最重要的一组Kafka生产者API。 KafkaProducer API的中心部分是 KafkaProducer 类。KafkaProducer类提供了一个
转载
2024-03-22 10:51:35
52阅读
简介如图 kafka eagle 是可视化的 kafka 监视系统，用于监控 kafka 集群环境准备：需要的内存：1.5G+
支持的 kafka 版本：0.8.2.x,0.9.x,0.10.x,0.11.x,1.x,2.x
支持的操作系统： Mac OS X,Linux,Windows
支持的 JDK 版本：JDK8+
下载地址下载监控软件，官方 GITHUB 下载，非常非常慢，但是可以下载任意
转载
2024-03-27 10:33:39
63阅读
一、rabbitmq和kafka区别1、架构rabbitmq遵循AMQP协议，以broker（exchange、binding,queue）为中心，有消息确认机制（confirm）,生产者发消息，broker就返回确认。queue消息推送至消费者。kafka遵循MQ协议，以consumer为中心，批量拉取消息。没有消息确认机制。2、吞吐量kafka高吞吐量，批量处理。rabbitmq支持事务，可靠
转载
2024-02-25 08:28:19
21阅读
在开发java SparkStreaming的时候一定会遇到kafka偏移量管理的问题上，因为需要考虑到各式各样的容灾处理。如果我们采用kafka来自行处理kafka偏移量的话非常简单，因为kafka本身就有这个机制可以定时存储消费者分组的偏移量，但是这样会有重复消费的情况还有就是如果采用这种方式那么就是将kafka的offset
转载
2023-09-30 20:39:59
71阅读
最近面试蚂蚁金服一面的时候，和面试官聊项目问题的时候，发现我这边业务实现的top100场景好像没有实现exactly once语义，我们项目的offset是存储在zk中，然后业务处理完毕后，最后再提交offset更新到zk，这种时候就会出现一个问题就是如果业务处理完毕，数据已经更新到redis中进行了累加，然后offset更新zk没成功宕机了，再次重启的时候就会读取老的offset导致数据重复
转载
2024-06-18 05:39:29
31阅读
前言 高可用需要解决的问题主要有单点故障和大流量。Redis部署架构实现备注单点部署单点启动可能造成单点故障主从复制Slave主动请求，通过RDB同步流量大导致RDB文件过大，同步慢Codis代理模式+主从复制分桶1024个，不支持KEYSRedis Cluster去中心化，客户端分片分桶16384，不支持SELECT，官方出品Codis架构 Codis-HA作为协调者也可能出现单点故障，同样
转载
2023-05-25 15:35:42
182阅读
