文章目录Kafka 核心设计原理Kafka 设计架构Kafka Rebalance 机制：Kafka 高可用原理Kafka Consumer Exactly Once Kafka 核心设计原理Kafka 设计架构Message System -> Streaming Platform (但业界现在仍以Message 为主 )特点
低延迟高吞吐水平扩展 （支持在线扩展）顺序性多场景 （
转载
2024-04-20 16:11:49
36阅读
一.主题（Topic）主题（Topic）：发布订阅的对象，我们可以为每个业务，每个应用甚至是每类数据
原创
2022-03-27 20:15:27
123阅读
kafkaKafka 通过 topic 对存储的流数据进行分类每条记录中包含一个key，一个value和一个timestamp（时间戳）Kafka有四个核心的API:The Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic。The Consumer API 允许一个应用程序订阅一个或多个 topic ，并且对发布给他们的流式数据进行处理。The
转载
2024-08-08 10:22:23
16阅读
gitee.com/owenzhang24…下载www.elastic.co/guide/en/el…启用D:\elasticsearch-7.1.0>.\bin\elasticsearch.bat
原创
2022-01-18 16:22:21
106阅读
https://gitee.com/owenzhang24/elasticsearch_note下载https://www.elastic.co/guide/en/elasticsearch/reference/7.1/install-elasticsearch.html启用D:\elasticsearch-7.1.0>.\bin\elasticsearch.batB...
原创
2023-05-14 15:35:36
136阅读
Kafka内部主题（Internal Topic）：__Consumer_offsets一.位移主题老版本老版本Cosumer位移管理依托于Apa
原创
2022-04-03 23:16:29
107阅读
一.CommitFailedExceptionCommitFailedException：Consumer客户端在提交位移时出现了错误或异常，而且
原创
2022-04-05 23:24:44
138阅读
Consumer端位移和消息在分区中的位移不是一回事 是下一条消息的位移，而不是目前最新消费消息的位
原创
2022-04-05 20:49:55
94阅读
一.Broker 端参数Broke存储信息配置log.dirs:非常重要，指定Broker需要使用的若干文件目录路径，没有默认值
原创
2022-03-29 22:32:11
67阅读
一.Topic级别参数Topic的优先级:如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优
原创
2022-03-30 21:44:31
46阅读
KafkaConsumer是双线程设计，用户主线程和心跳线程 用户主线程：启动Consumer应用程序main方法那
原创
2022-04-07 09:17:57
144阅读
Elasticsearch es 提供了四种级别的倒排索引配置 ，可以控制倒排索引记录的内容，docs 记录docid ,freqs记录doc id
转载
2022-11-14 21:18:10
223阅读
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录位移主题_consumer_offsets位移提交CommitFailedException重设消费组位移位移主题 _consumer_offsets诞生背景老版本的Kafka会把位移信息保存在Zk中，当Consumer重启后，自动从Zk中读取位移信息。这种设计使Kafka Broker不需要保存位移数据，可减少Broker端
转载
2021-01-27 22:00:51
773阅读
2评论
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录Kafka拦截器生产者消息分区机制生产者压缩算法面面观幂等生产者和事务生产者生产者无消息丢失配置怎么实现？Java生产者管理TCP连接Java消费者管理TCP链接Kafka拦截器Kafka 拦截器分为生产者拦截器和消费者拦截器。生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑；消费者拦截器支持在消费消息前以及
转载
2021-01-27 22:31:33
749阅读
2评论
Apache Kafka 编程实战您可能感性的文章:Apache-Kafka简介Apache Kafka安装和使用Apache-Kafka核心概念Apache-Kafka核心组件和流程-协调器Apache-Kafka核心组件和流程(副本管理器)Apache-Kafka 核心组件和流程-控制器Apache-Kafka核心组件和流程-日志管理器....本章简单介绍了副本管理器，副本管理器负责分区及其副
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录消费者组避免消费者Rebalance消费者组重平衡全流程解析消费者组Consumer Group ：Kafka提供的可扩展且具有容错性的消息者机制。重要特征组内可以有多个消费者实例（Consumer Instance）。消费者组的唯一标识被称为Group ID，组内的消费者共享这个公共的ID。消费者组订阅主题，主题的每个分区只
转载
2021-01-27 22:06:00
844阅读
2评论
这系列是根据极客时间《Kafka核心技术与实战》这个课程做的笔记本篇目录Kafka术语Kafa版本演进上线部署集群重点参数Kafka术语消息：Record。 Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。 一个有序不变的消息序列。每个主题下可以有多个分区。消息位移：Of
转载
2021-01-28 20:28:01
657阅读
2评论
《java核心技术》 花了半天到一天又认真读了一下java核心技术中的类部分，感觉最近编程时候好多迷迷糊糊，“这样对不对呢，试一试。怎么不对呢”这类的迷糊问题原来都早有定义。 main函数必须在主类中
一个class就是一个机器，要使用其中的方法，需要构建这个类的实例。 一个class中如果定义构造器，构造器的类型是public 类名，类名就是原类名
一个类可以
转载
2023-12-11 21:43:50
65阅读
Kafka 介绍与实践 1.1 实验内容 本节课将介绍 Kafka 及实现原理，然后完整搭建，案例演示，学习完本课程，你将对 kafka 有深入的了解，很快上手。 1.2 课程来源 参考资料： http://kafka.apache.org/documentation.html 1.3. 实验知识点生产者/消费者模型单机/集群的区别设计原理 1.4 实验环境Hadoop 2.6.1ka
转载
2024-05-11 21:15:05
79阅读
一.消费者组消费者组： Consumer GRoupkafka提供可扩容且具有容错性的消费机制 组内有多个消费者和消费者
原创
2022-04-02 21:37:48
134阅读
