Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。但当前关于Kafka原理及应用的相关资料较少，在我打算编写本书时，还没有见到中文版本的Kafka相关书籍，对于初学者甚至是一些中高级应用者来说学习成本还是比较高的，因此我打算在对Kafka进行深入而系统的研究基础上，结合自己在工作中的实践经验，编写一本介绍Kafka原理及其基本应用的书籍，以帮助Kafka初、中、高级应用者
转载
2024-06-06 11:51:48
12阅读
基于python结合pykafka实现kafka生产及消费速率&主题分区偏移实时监控by: 授客 qq：10335531221．测试环境python 3.4zookeeper-3.4.13.tar.gz下载地址1：下载地址2：kafka_2.12-2.1.0.tgz下载地址1：下载地址2：pykafka-2.8.0.tar.gz下载地址1：2．实现功能实时采集kafka生产者主题生产速率，
本篇是基于 Apache DolphinScheduler 3.1.3到3.1.4版本的升级。在使用 Apache DolphinScheduler 3.1.3版本的过程中，发现前端部分页面有显示时间差的问题，具体如下：其他部分显示的时间都是和本地时间一致的，只有任务实例的提交时间、开始时间、结束时间部分和本地的时间相差13个小时。通过更改页面的时区无法实现时间的正常显示；此时官网已经发布了3.1
转载
2024-09-05 12:23:21
60阅读
Flex 4引入了一种新的皮肤结构，这种新的结构对Flex 4组件中的样式结构进行了一次全面的重新调整，并且使用户可以很容易地改变CSS或者更换组件的皮肤。 在本文中，我将向您简要介绍Spark皮肤和CSS的使用，同时我还会提供使用Flash Catalyst创建Flex 4主题的一些指南。Flex 4与对新的Spark样式的支持Flex 2和Flex 3中的SDK仅支持Halo皮肤，而在FLE
CenterOS7 安装 https://www.postgresql.org/download/https://www.postgresql.org/download/linux/redhat/1. Sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-
转载
2021-04-27 10:09:40
130阅读
2评论
CenterOS7 安装 https://www.postgresql.org/download/https://www.postgresql.org/download/linux/redhat/1. Sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-
转载
2021-04-27 10:10:44
162阅读
2评论
CenterOS7 安装 https://www.postgresql.org/download/https://www.postgresql.org/download/linux/redhat/1. Sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-
转载
2021-04-27 10:11:05
122阅读
2评论
1、kafka 概述学过并发编程的同学应该知道，我们可以使用阻塞队列+线程池来实现生产者消费者模式。比如说在一个应用中，A方法调用B方法去执行一些任务处理。我们可以同步调用。但是如果这个时候请求比较多的情况下，同步调用比较耗时会导致请求阻塞。我们会使用阻塞队列加线程池来实现异步任务的处理。那么，问题来了，如果是在分布式系统中，两个服务之间需要通过这种异步队列的方式来处理任务，那单进程级别的队列就无
转载
2024-04-06 13:50:35
126阅读
1、 简介Apache kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（比如ActiveMQ、RabbitMQ），kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。 kafka官网：http://kafka.apache.org
转载
2024-05-15 15:14:31
53阅读
项目场景：项目中，向kafka集群中生产消息，由下游系统进行消费处理。问题描述：在项目实际应用过程中，发现经常性的出现异常：原因分析：根据报错内容可知，发送消息时，broker已经不是对应分区的leader了，也就是说问题发生在leader重选举时，由于报错相对比较频繁，即重选举的动作发生的比较频繁，所以问题的重点就是分析是什么原因导致了leaderf发生了重选举。 关于kafka的leadert
转载
2024-03-22 16:51:57
79阅读
序在学习一门新技术之前，我们需要先去了解一下这门技术的具体应用场景，使用它能够做什么，能够达到什么目的，学习kafka的初衷是用作消息队列；但是还可以使用Kafka Stream进行一些实时的流计算，多用于大数据处理；也可以做日志收集汇总、网站活动跟踪等任务。消息队列kafka可以很好的替代一些传统的消息系统，kafka具有更好的吞吐量，内置的分区使kafka具有更好的容错和伸缩性，这些特性使它可
转载
2024-03-18 08:18:07
86阅读
1. kafka理论部分1）重要术语在上图中，主题(topic)被配置为三个分区。 分区1(Partition 1)具有两个偏移因子0和1。分区2(Partition 2)具有四个偏移因子0,1,2和3，分区3(Partition 3)具有一个偏移因子0。replica 的id与托管它的服务器的id相同。 假设，如果该主题的复制因子设置为3（也即–replication-factor=3），则Ka
转载
2024-03-20 19:48:02
35阅读
一、简介1.1概述kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域，起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本切基于ZooKeeper协调的分布式消息系统，现已被捐赠给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 Kafka之所以越来越受欢迎
转载
2023-08-07 23:46:45
241阅读
文章目录参考文章节点数，分区数，分片数之间的关系AR、ISR、HW、LEO相关概念kafka分区数，副本数kafka参数kafka生产者推&消费者拉kafka消费消息的代码问题消息丢失&消息重复顺序消费消息消息堆积nio零拷贝epoll原理kafka命令批量发送消息同步异步发送producer 源码消息队列常见问题（一）：生产上消息队列产生大量的消息堆积会有什么后果？ 参考文章k
Kafka Streams系列中的先前博客文章涵盖了无状态和有状态的DSL API中的操作。 在此博客中，我们将探索一些示例，以演示如何使用测试实用程序基于Kafka Streams DSL API验证拓扑。Kafka Streams提供了测试实用程序，可以为您的流处理管道执行单元测试，而不必依赖外部或嵌入式Kafka集群。 除了测试之外，这些实用程序还可以作为学习各种API功能的绝佳学习工具。让
本文基于A Guide To The Kafka Protocol文档，以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关Metadata APIProduce APIFetch APIOffset API(Aka ListOffset)Offset Commit/Fetch APIGr
一、什么是kafka？Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等。主要应用场景是：日志收集系统和消息系统。举个例子，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的
转载
2024-04-18 21:10:33
18阅读
Kafka前言结构图角色Broker（掮客）Producer（生产者）和 Consumer（消费者）Group（组）Topic（主题）Partition（分区）Replication（复制）Ledger（领导）Follow（员工）总结 前言 Kafka也用了一段时间了，一直想找个机会写写文章，趁着51空档期码一下。这篇文章主要想讲清Kafka的工作原理~ 结构图 如图，官网给出的架构图很简单，就
转载
2024-02-28 09:26:33
140阅读
1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景Kafka应用场景Kafka架构原理 下面开始今天的博客分享内容。2.Kafka背景 Kafka它本质上是一个消息系统，由当
转载
2024-08-07 07:39:01
28阅读
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据
转载
2024-03-27 16:57:11
10阅读
