1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕
最近在面试中被问到了两种连接方式的区别，对Receiver 获取数据方式没什么印象，只回答了 Direct 方式。现在整理一下，以备不时之需。不过Receiver 已经是非常古老的方式了，在 Spark 2.3 中已经不提倡使用了，未来会被废弃。 我认为其实这并不是一个很好的面试题，因为Receiver 已经属于上古时期的方式了，我们这里只做了解，
转载
2024-08-07 09:08:23
93阅读
1、场景需求1.1、基础知识1.1.1、需求在分布式场景中，相对于大量的用户请求来说，内部的功能主机之间、功能模块之间等，数据传递的数据量是无法想象的，因为一个用户请求，会涉及到各种内部的业务逻辑跳转等操作。
那么，在打用户量的业务场景中，如何保证所有的内部业务逻辑请求都处于稳定而且快捷的数据传递呢？ -- 消息队列(Message Queue)1.1.2、消息队列所谓的消息队列，我们可以通过名
1、kafka基本介绍Kafka：高吞吐量的分布式发布订阅消息系统（1）kafka是一个消息中间件(一个对消息进行统一管理的中间件) （2）kafka分布式集群，每台Kafka服务器内部维护着一个queue，MeaasgeQueue是一个共享资源(producer,consumer) （3）kafka底层用scala实现的，每秒能够处理百万级的消息生产和消费2、Kafka基本概念 （1）Broke
转载
2024-02-21 20:12:02
79阅读
框架简介Martin Fowler在自己网站上写了一篇LMAX架构的文章，在文章中他介绍了LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中，使`用事件源驱动方式。业务逻辑处理器的核心是Disruptor。Disruptor它是一个开源的并发框架，并获得
转载
2024-03-24 14:17:07
81阅读
消息系统分类 Peer-to-Peer
一般基于Pull或者Polling接收消息
发送到队列中的消息被一个而且仅仅一个接收者所接收
即使有多个接收者在同一个队列中侦听同一个消息
即支持异步 “即发即弃”的消息传送方式，
最近也不知道写啥，看之前写过Kafka整合Springboot的文章，大家反响还挺热烈的，嘿嘿嘿，就感觉帮助到大家了还挺好的，也算是达到了自己的目的，正好，今天业务模块是springboot整合redis，因为之前做过，所以有现成的代码，cv一下之后就可以了，所以时间比较多，那就给大家整理一下Springboot整合Redis的代码实现吧，从项目搭建到源码实现，下面全都有，耐心看完，相信会对你有所
转载
2023-08-27 22:00:34
50阅读
分布式缓存（Redis）及消息队列（Kafka）设想一种情况，服务A频繁的调用服务B的数据，但是服务B的数据更新的并不频繁。 实际上，这种情况并不少见，大多数情况，用户的操作更多的是查询。如果我们缓存读操作，这样就可以节省服务间调用及访问数据库的成本，从而极大的缩短服务A的请求时间，从而改善性能。 我们发现，如果数据更新，服务B必须及时调用服务A，让服务A删除该数据的缓存。
转载
2023-07-12 14:19:24
143阅读
首先得配置GateWay中的config.properties然后再看一下TBox中的propertiesmain方法中 Test中的config.properties Test中 先启动网管(GateWay)，再启动终端(TBox)，然后再运行KafkaTest启动TBox 在启动Te
转载
2023-06-13 15:33:48
86阅读
高性能队列框架-Disruptor首先介绍一下 Disruptor 框架，Disruptor是一个通用解决方案，用于解决并发编程中的难题（低延迟与高吞吐量），Disruptor 在高并发场景下性能表现很好，如果有这方面需要，可以深入研究其源码其本质还是一个队列（环形），与其他队列类似，也是基于生产者消费者模式设计，只不过这个队列很特别是一个环形队列。这个队列能够在无锁的条件下进行并行消费，也可以根
原创
精选
2023-12-11 10:06:12
500阅读
0 说明本次EFK分布式日志收集系统节点安排如下：主机名主机ip部署情况chen-1192.168.218.100Elasticsearsh Logstash Filebeat Namenode ResourceManager ZKchen-2192.168.218.101Elasticsearsh SecondaryNamenode Datanode Nodemanager ZKchen-319
转载
2024-03-27 07:33:09
60阅读
XDR平台的安全告警和安全事件数据会接入SIR平台进行处置闭环，当工单处置闭环后需要将安全事件和安全告警数据的处置状态同步给XDR平台。① 在操作安全告警或安全事件的处置状态后，需要将该数据的处置状同步给XDR平台。即将数据和修改后的安全告警状态封装成DealStatusSyncDto对象通过kafka生产者发送到 kafka 的 topic 中。② kafka消费者通过定时任务从kafka的to
转载
2024-05-22 09:52:06
29阅读
一 .什么是 Disruptor 从功能上来看，Disruptor 是实现了“队列”的功能，而且是一个有界队列。那么它的应用场景自然就是“生产者-消费者”模型的应用场合了。 可以拿 JDK 的 BlockingQueue 做一个简单对比，以便更好地认识 Disruptor 是什么。 我们知道 Blo
原创
2021-07-14 17:45:28
234阅读
一、Intranet/Internet 平台简述 上图中，虚线下面是Internet,它可提供Web服务、DB服务、DNS服务、Exchange服务等等；上面是Intranet，它提供的服务与Internet类似。本文着重论述在此结构下的邮件体系。二、Intranet 平台中的电子邮件体系结构 邮件服务是建立在网络基础设施
文章目录1. 消费者组到底是什么？2. Consumer Group下的Consumer实例个数3. 消费者位移Offset4. 重平衡 1. 消费者组到底是什么？消费者组，即 Consumer Group，应该算是 Kafka 比较有亮点的设计了。那么何谓 Consumer Group 呢？用一句话概括就是：Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。既
转载
2024-02-23 16:17:52
126阅读
九、 Disruptor数据的内存结构只有数组和链表，线程安全的非阻塞队列，链表实现有ConcurrentLinkedQueue,但是却没有数组的实现，因为数组的扩张需要创建新的数组并复制元素，效率非常低。Disruptor是使用数组实现的，内部使用的RingBuffer。特性有：高并发，无锁，直接覆盖旧的数据(降低GC频率），是基于事件的生产者消费者模式实现。Disruptor的使用事件：向di
原创
2022-01-25 15:20:30
280阅读
title: Disruptor tags: [Disruptor,消息库] date: 2019/3/15 19:16:25 categories: 开发 常用库 介绍 其实是于一个算法,解决高并发下队列锁的问题，完全运行在内存中 相对于java的队列，它是一个无锁的有界队列 LMAX Dis ...
转载
2021-06-29 23:34:00
405阅读
2评论
已经不记得最早接触到 Disruptor 是什么时候了，只记得发现它的时候它是以具有闪电般的
转载
2022-12-16 17:46:05
172阅读
天行健，君子以自强不息；地势坤，君子以厚德载物。文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。 文章目录一、Kafka升级功能介绍二、实现步骤1.Kafka发布、消费消息工具类代码2.请求控制类 一、Kafka升级功能介绍1、实现了多方式发布和消费消息 2、实现了同步提交和异步提交组合提交方式，提高容错二、实现步骤请参考kafka简单实现文章内容 在其基础上修改替换实现1.K
转载
2023-12-15 18:20:56
38阅读
环形队列这个环形队列的原理很简单，前面已经介绍过，再次进行简略说明：cap大小必须是2的N次方索引可以一直递增访问元素时索引需要对cap取模实现代码很简单，不再介绍。template<typename T>class RingBuffer{ public: RingBuffer() { capacity_ = D
原创
2023-01-15 17:06:02
249阅读
点赞
