文章目录一、简介二、部署使用2.1 集群部署2.2 topic 命令2.3 message 命令三、深入架构3.1 文件存储机制3.2 生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 消费者3.4 高效读写3.5 Zookeeper 在Kafka 中的作用3.6 事务四、Kafka API4.1 生产者4.1.1 消息发送流程4.1.2 Kaf
转载
2024-09-06 21:50:03
43阅读
定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息队列（Message Queue）传统消息队列的应用场景消息队列的两种模式（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）
消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。
消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消
转载
2024-09-24 21:52:39
35阅读
摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设计解析（三）- Kafka High Availability （下）中提到的运维类工具——Partition Rea
如果说独立和自由是人类所向往的，那么极简和自由则是一款软件的追求。凭借着高吞吐、低延迟的优势深受众多公司青睐的分布式消息队列框架Kafka多年来却重度依赖Zookeeper才能运行，不仅处处缩手缩脚，而且给运维人员的工作带来了不少负担。在Kafka3以前，如果没有zookeeper，Kafka将无法运行管理部署两个不同的系统使得运维复杂度翻倍zookeeper的分区特性限制了Kafka的承载能力而
转载
2024-07-18 07:49:31
235阅读
从来没写过Blog，想想也是，工作十多年了，搞过N多的架构、技术，不与大家分享实在是可惜了。另外，从传统地ERP行业转到互联网，也遇到了很所前所未有的问题，原来知道有一些坑，但是不知道坑太多太深。借着填坑的机会，把过程Log下来。 言归正传，先说说背景吧。Teld的业务平台中存在大量的物联网终端传感数据和车辆运行数据，这些数
上一篇文章中，我们为大家讲解了 Kafka 的分区分配策略，StickyAssignor 分配策略、RoundRobinAssignor 分配策略、RangeAssignor 分配策略，详细内容参，本片文章，我们来看看 Kafka 的调优策略都有哪些。⼀般说到调优都离不开监控，kafka 本身没有提供很好的图形化监控系统，但是有很多第三⽅的 kafka 监控⼯具都做的相对不错：BurrowKafk
转载
2024-03-21 10:21:34
17阅读
文章目录1. 克隆虚拟机2. Zookeeper 集群搭建3. Kafka 集群搭建4. 测试消息发送和消费1. 主题操作2. 生产者生产消息3. 消费者消费消息 1. 克隆虚拟机kafka集群搭建，需要3台虚拟机环境，但是我目前只安装了一台虚拟机，因此还需要准备两台虚拟机环境，正常情况下应该再安装2台虚拟机，这里为了方便直接克隆出3台虚拟机。① 选中 CentOs7 右键—> 管理—&g
转载
2024-03-19 21:57:52
665阅读
一、Kafka优化总结1. 设置日志配置参数以使日志易于管理kafka 日志文档 https://kafka.apache.org/documentation/#logkafka 压缩基础知识 https://kafka.apache.org/documentation/#design_compactionbasics 2. 了解 kafka 的 (低)
转载
2024-03-22 10:20:30
123阅读
文章目录前言一、注册OpenAI和Pinecone的账号，并获取key二、下载Git和Python3（自己网上搜，无脑安装）
