上篇描述的kafka案例是个库存管理平台。是一个公共服务平台，为其它软件模块或第三方软件提供库存状态管理服务。当然，平台管理的目标必须是共享的，即库存是作为公共资源开放的。这个库存管理平台是一个Kafka消费端独立运行的软件。kafka的生产方即平台的服务对象通过kafka生产端producer从四面八方同时、集中将消息写入kafka。库存管理平台在kafka消费端不间
转载
2024-04-08 12:50:20
171阅读
1、Partition中的分段存储Segment 一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构 接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出
文章目录参考文章节点数，分区数，分片数之间的关系AR、ISR、HW、LEO相关概念kafka分区数，副本数kafka参数kafka生产者推&消费者拉kafka消费消息的代码问题消息丢失&消息重复顺序消费消息消息堆积nio零拷贝epoll原理kafka命令批量发送消息同步异步发送producer 源码消息队列常见问题（一）：生产上消息队列产生大量的消息堆积会有什么后果？ 参考文章k
kafka一直在大数据中承受着数据的压力也扮演着对数据维护转换的角色，下面重点介绍kafka大致组成及其partition副本的分配原则： Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedi
转载
2024-03-27 12:05:42
52阅读
三 Kafka 工作流程分析
3.1 Kafka 生产过程(Producer)分析
3.1.1 写入方式
producer
pom.xml <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.or
原创
2023-05-26 06:10:31
41阅读
Kafka3.0—生产调优一、数据相关调优1.数据可靠性2.数据去重3.数据有序4.数据乱序二、分区和副本相关调优1.增加Kafka新节点2.减少Kafka节点3.增加分区4.手动调整分区副本存储三、消费者相关调优1.消费者再平衡四、吞吐量调优（重点）1.提高生产者的吞吐量2.增加分区3.提高消费者的吞吐量五、其他调优1.Leader Partition负载平衡（建议关闭）2.自动创建主题（建议
转载
2024-02-11 08:18:20
65阅读
kafka入门(3)-基础操作和基准测试基础操作创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test
# 查看目前Kafka中的
转载
2024-03-21 11:00:59
47阅读
Kafka概述为什么要使用Kafka削峰：在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。 如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列 能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。解耦和扩展性：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。缓冲：有助于控制和优化数据流经过系统的速
转载
2024-03-27 09:59:45
395阅读
Consumer 端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是 Offset。今天我们要聊的位移是 Consumer 的消费位移，它记录了 Consumer 要消费的下一条消息的位移。这可能和你以前了解的有些出入，不过切记是下一条消息的位移，而不是目前最新消费消息的位移。我来举个例子说明一下。假设一个分区中有 10 条消息，位移分别是 0 到 9。某个 Consumer
转载
2024-03-21 11:06:33
79阅读
1.2 应用案例
下面介绍一些kafka的典型应用案例。
消息
kafka可以很好的取代传统的消息中间件。很多时候我们需要使用消息中间件（前后台数据解耦，消息缓存缓冲等）。与大多数消息系统相比，kafka具有更好的吞吐量、内置分区、复制和容错机制，这使得kafka成为大型消息处理系统的良好的解决方案。
根据我们的经验，消息的使用通常具有相对低的吞吐量，但可能需要端到端的低
转载
2024-05-28 21:10:42
60阅读
一、Spring cloud stream概述 Spring Cloud Stream是构建消息驱动的微服务应用程序框架。提供统一的接收发送管道以连接到消息代理。通过@EnableBinding注解开启SpringCloudStream的支持。通过@StreamListener注解，使其接收流处理的 ...
转载
2021-10-25 21:19:00
899阅读
2评论
Docker安装docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper运行docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOO
原创
2022-03-15 11:59:55
649阅读
Redux 中间件 middleware什么是中间件中间件本质上就是一个函数。中间件允许我们扩展和增强 redux 应用程序，主要体现在对 Action 的处理能力上。一般情况下，一个 Action 的会直接被 Reducer 处理的，当加入了中间件之后，这个 Action 会优先被中间件处理，当中间件处理完毕后，再将这个 Action 传递给 Reducer 继续处理。加入了中间件 Redux
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apac=
原创
2023-01-06 15:50:08
40阅读
一、pom引用<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven
原创
2022-07-26 10:33:10
99阅读
本文用的是jstorm 2.2.1 一、pom引用<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc
原创
2022-07-26 10:33:19
269阅读
一.消息传递Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错能力，这使其成为大规模邮件处理应用程序的理想解决方案。 根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在此领域中，Kafka与A
转载
2024-03-03 09:53:22
32阅读
前言 实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）。 数据格式与接入 简化的子订单消息
转载
2024-06-24 21:32:10
182阅读
在大型复杂的应用中，业务模块之间总是相互关联，相互纠缠。无论对业务管理或软件开发方面都会造成困惑：从业务管理方面难以厘清确切的管理范围和职责：就是说不知一项业务具体谁来管。在软件开发方面则无法确定开发人员的具体分工和维护责任，即确定一项业务功能具体靠谁来修改、优化。拿一个普通的网上购物过程来说，除商品拣选过程外的优惠价选定、库存扣减、支付又会涉及商品定价管理、库存管理、财务管理等独立的业务
转载
2021-03-27 11:30:44
156阅读
2评论
