1、kafka基本介绍Kafka：高吞吐量的分布式发布订阅消息系统（1）kafka是一个消息中间件(一个对消息进行统一管理的中间件) （2）kafka分布式集群，每台Kafka服务器内部维护着一个queue，MeaasgeQueue是一个共享资源(producer,consumer) （3）kafka底层用scala实现的，每秒能够处理百万级的消息生产和消费2、Kafka基本概念 （1）Broke
转载
2024-02-21 20:12:02
79阅读
1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕
1、场景需求1.1、基础知识1.1.1、需求在分布式场景中，相对于大量的用户请求来说，内部的功能主机之间、功能模块之间等，数据传递的数据量是无法想象的，因为一个用户请求，会涉及到各种内部的业务逻辑跳转等操作。
那么，在打用户量的业务场景中，如何保证所有的内部业务逻辑请求都处于稳定而且快捷的数据传递呢？ -- 消息队列(Message Queue)1.1.2、消息队列所谓的消息队列，我们可以通过名
一、Disruptor并发框架简介
能够以很低的延迟，产生大量的交易，建立在JVM平台上，核心是一个业务逻辑的处理器，它能够在一个线程里每秒处理六百万订单。业务逻辑处理器是完全运行在内存中，使用事件源驱动方式。能够在无锁的情况下，实现网络Queue并发操作。
Disruptor是一个高性能的异步处理框架，或者认为是最快的消息处理框架（轻量JMS java message serverice）
原创
2023-08-01 10:16:09
808阅读
首先利用springboot的插件新建一个maven项目一、 pom.xml 所需依赖首先加入mina核心依赖<!-- https://mvnrepository.com/artifact/org.apache.mina/mina-core -->
<dependency>
<groupId>org.apache.mina</groupId>
转载
2024-03-04 14:49:27
37阅读
框架简介Martin Fowler在自己网站上写了一篇LMAX架构的文章，在文章中他介绍了LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中，使`用事件源驱动方式。业务逻辑处理器的核心是Disruptor。Disruptor它是一个开源的并发框架，并获得
转载
2024-03-24 14:17:07
81阅读
最近在面试中被问到了两种连接方式的区别，对Receiver 获取数据方式没什么印象，只回答了 Direct 方式。现在整理一下，以备不时之需。不过Receiver 已经是非常古老的方式了，在 Spark 2.3 中已经不提倡使用了，未来会被废弃。 我认为其实这并不是一个很好的面试题，因为Receiver 已经属于上古时期的方式了，我们这里只做了解，
转载
2024-08-07 09:08:23
93阅读
文章目录感谢背景故事生产事故介入排查Arthas全量安装分析Arthas在线分析定位Http问题定位健康检查热修复反编译修改源码编译redefine问题定位tcpdump总结问题解决参考 感谢这片文章首先需要感谢，一起共同参与排查的同事们，没有他们也没法完成分析。 最终问题并没有得到解决，如果解决了我希望运维的同学对网络上做些分享,以弥补本文的缺陷。背景目前所有的Java应用，在Kubernet
转载
2023-11-20 13:35:48
163阅读
一 .什么是 Disruptor 从功能上来看，Disruptor 是实现了“队列”的功能，而且是一个有界队列。那么它的应用场景自然就是“生产者-消费者”模型的应用场合了。 可以拿 JDK 的 BlockingQueue 做一个简单对比，以便更好地认识 Disruptor 是什么。 我们知道 Blo
原创
2021-07-14 17:45:28
234阅读
九、 Disruptor数据的内存结构只有数组和链表，线程安全的非阻塞队列，链表实现有ConcurrentLinkedQueue,但是却没有数组的实现，因为数组的扩张需要创建新的数组并复制元素，效率非常低。Disruptor是使用数组实现的，内部使用的RingBuffer。特性有：高并发，无锁，直接覆盖旧的数据(降低GC频率），是基于事件的生产者消费者模式实现。Disruptor的使用事件：向di
原创
2022-01-25 15:20:30
283阅读
文章目录1. 消费者组到底是什么？2. Consumer Group下的Consumer实例个数3. 消费者位移Offset4. 重平衡 1. 消费者组到底是什么？消费者组，即 Consumer Group，应该算是 Kafka 比较有亮点的设计了。那么何谓 Consumer Group 呢？用一句话概括就是：Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。既
转载
2024-02-23 16:17:52
126阅读
SpringBoot集成Kafka构建消息驱动微服务下载、安装Kafka◆下载Kafka : https://kafka.apache.org/quickstart◆解压、启动ZK和Kafka Server即可(使用默认配置)SpringCloud Stream消息驱动组件概览◆负责与中间件交互的抽象绑定器: Binder◆发送消息与接收消息的应用通信信道: Input、Output创建相关的微服
转载
2024-07-01 11:48:46
79阅读
title: Disruptor tags: [Disruptor,消息库] date: 2019/3/15 19:16:25 categories: 开发 常用库 介绍 其实是于一个算法,解决高并发下队列锁的问题，完全运行在内存中 相对于java的队列，它是一个无锁的有界队列 LMAX Dis ...
转载
2021-06-29 23:34:00
405阅读
2评论
已经不记得最早接触到 Disruptor 是什么时候了，只记得发现它的时候它是以具有闪电般的
转载
2022-12-16 17:46:05
172阅读
环形队列这个环形队列的原理很简单，前面已经介绍过，再次进行简略说明：cap大小必须是2的N次方索引可以一直递增访问元素时索引需要对cap取模实现代码很简单，不再介绍。template<typename T>class RingBuffer{ public: RingBuffer() { capacity_ = D
原创
2023-01-15 17:06:02
249阅读
点赞
一、并发框架disruptor介绍1、概念：同一个jvm进程中线程间异步通信的框架2、环形数组RingBuffer：disruptor的核心存储容器2.1、环形数组中的元素采用覆盖方式，避免了jvm的GC 2.2、数组的大小为2的n次方，这样元素定位可以通过位运算效率会更高，其实和hashmap的index运算一样，不一样的是hashmap会扩容，而这个RingBuffer不扩容而去覆盖原来的数据
转载
2023-11-02 21:57:36
252阅读
SpringBoot整合Slf4j+logback日志框架一、Slf4j简单介绍与优势1、介绍 Slf4j的全称是Simple Loging Facade For Java(Java简单日志门面)，它仅仅是一个为Java程序提供日志输出的统一接口，并不是一个具体的日志实现方案，就比如JDBC一样，只是一种规则而已。所以单独的Slf4j是不能工作的，必须搭配其他具体的日志实现方案，比如apache
转载
2023-11-28 13:39:31
102阅读
一、参考资料springboot 之集成kafka - 简书SpringBoot整合kafka(实现producer和consumer) - 简书
原创
2022-07-28 14:28:01
333阅读
Kafka 入门和 Spring Boot 集成标签：博客目录Kafka 入门和 Spring Boot 集成标签：博客概述应用场景基本概念基本结构和Spring Boot 集成集成概述集成环境kafka 环境搭建Spring Boot 和 Spring for Apache Kafka 集成步骤最后概述kafka 是一个高性能的消息队列，也是一个分布式流处理平台（这里的流指的是数据流）。由jav
disruptor详解disruptorCpp-IPCdisruptor原理使用循环队列，且要求队列大小为2的N次方，以满足位运算快速计算索引的要求(比取模速度快)使用原子变量记录生产者和消费者的个数，并且使用cache line进行隔离，避免多线程情况下由于两个变量处于同一cache line的伪共享问题无锁设计。通过原子变量，每个生产者和消费者都需要先申请数组中
原创
2023-01-15 16:46:11
441阅读
点赞
