1、 简介Apache kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（比如ActiveMQ、RabbitMQ），kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。 kafka官网：http://kafka.apache.org
转载
2024-05-15 15:14:31
47阅读
1、kafka 概述学过并发编程的同学应该知道，我们可以使用阻塞队列+线程池来实现生产者消费者模式。比如说在一个应用中，A方法调用B方法去执行一些任务处理。我们可以同步调用。但是如果这个时候请求比较多的情况下，同步调用比较耗时会导致请求阻塞。我们会使用阻塞队列加线程池来实现异步任务的处理。那么，问题来了，如果是在分布式系统中，两个服务之间需要通过这种异步队列的方式来处理任务，那单进程级别的队列就无
转载
2024-04-06 13:50:35
126阅读
序在学习一门新技术之前，我们需要先去了解一下这门技术的具体应用场景，使用它能够做什么，能够达到什么目的，学习kafka的初衷是用作消息队列；但是还可以使用Kafka Stream进行一些实时的流计算，多用于大数据处理；也可以做日志收集汇总、网站活动跟踪等任务。消息队列kafka可以很好的替代一些传统的消息系统，kafka具有更好的吞吐量，内置的分区使kafka具有更好的容错和伸缩性，这些特性使它可
转载
2024-03-18 08:18:07
86阅读
项目场景：项目中，向kafka集群中生产消息，由下游系统进行消费处理。问题描述：在项目实际应用过程中，发现经常性的出现异常：原因分析：根据报错内容可知，发送消息时，broker已经不是对应分区的leader了，也就是说问题发生在leader重选举时，由于报错相对比较频繁，即重选举的动作发生的比较频繁，所以问题的重点就是分析是什么原因导致了leaderf发生了重选举。 关于kafka的leadert
转载
2024-03-22 16:51:57
79阅读
文章目录参考文章节点数，分区数，分片数之间的关系AR、ISR、HW、LEO相关概念kafka分区数，副本数kafka参数kafka生产者推&消费者拉kafka消费消息的代码问题消息丢失&消息重复顺序消费消息消息堆积nio零拷贝epoll原理kafka命令批量发送消息同步异步发送producer 源码消息队列常见问题（一）：生产上消息队列产生大量的消息堆积会有什么后果？ 参考文章k
Kafka Streams系列中的先前博客文章涵盖了无状态和有状态的DSL API中的操作。 在此博客中，我们将探索一些示例，以演示如何使用测试实用程序基于Kafka Streams DSL API验证拓扑。Kafka Streams提供了测试实用程序，可以为您的流处理管道执行单元测试，而不必依赖外部或嵌入式Kafka集群。 除了测试之外，这些实用程序还可以作为学习各种API功能的绝佳学习工具。让
本文基于A Guide To The Kafka Protocol文档，以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关Metadata APIProduce APIFetch APIOffset API(Aka ListOffset)Offset Commit/Fetch APIGr
Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。但当前关于Kafka原理及应用的相关资料较少，在我打算编写本书时，还没有见到中文版本的Kafka相关书籍，对于初学者甚至是一些中高级应用者来说学习成本还是比较高的，因此我打算在对Kafka进行深入而系统的研究基础上，结合自己在工作中的实践经验，编写一本介绍Kafka原理及其基本应用的书籍，以帮助Kafka初、中、高级应用者
转载
2024-06-06 11:51:48
12阅读
一、什么是kafka？Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等。主要应用场景是：日志收集系统和消息系统。举个例子，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的
转载
2024-04-18 21:10:33
18阅读
Kafka streams的相关中文资料非常少，笔者希望借该代码讲述一下自己对kafka streams API的用法。 kafka streams从0.10.0开始引入，现在已经更新到0.11.0。首先它的使用成本非常低廉，仅需在代码中依赖streams lib，编写计算逻辑，启动APP即可。其次它的负载均衡也非常简单暴力，增加
转载
2024-04-19 13:12:34
83阅读
背景国内某大型税务系统，业务应用分布式上云改造。 业务难题 如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程（Deliver Thread）调用Kafka的SDK接口，并发送3条消息到DMS（分布式消息服务），每条消息大小3k，需要等待3条消息都被处理完成后才会返回请求响应
转载
2024-06-23 13:15:48
28阅读
一、基础理论这块是整个kafka的核心无论你是先操作在来看还是先看在操作都需要多看几遍。首先来了解一下Kafka所使用的基本术语TopicKafka将消息种子(Feed)分门别类 每一类的消息称之为话题(Topic).Producer发布消息的对象称之为话题生产者(Kafka topic producer)Consumer订阅消息并处理发布的消息的种子的对象称之为话题消费者(consumers)B
推荐
原创
2016-09-21 17:16:56
10000+阅读
点赞
6评论
前言： ActiveMQ和 RabbitMq 以及Kafka在之前的项目中都有陆续使用过，当然对于三者没有进行过具体的对比，以下摘抄了一些网上关于这三者的对比情况，我自己看过之后感觉还是可以的，比较清晰的反馈了这三个的具体情况已经使用场景，具体的对比如下：1)TPS比较： Kafka最高，RabbitMq 次之， ActiveMq 最差。2)吞吐量对比： kafka具有高
转载
2024-03-25 10:52:11
106阅读
关于重连测试的一点研究在最近的异常测试中，发现长连接协议的客户端存在较多的坑点，除了需要关注一般的网络错误、超时之外，长连接本身就具有无连接时创建连接，连接异常时重连这样的特性，是额外需要关注的地方。如果处理不好，往往会造成无限重连socket占满，或者是网络断开没有触发重连导致后续请求全都发不出去这样的大问题然而我在做这类测试的时候也是一头雾水，尝试用iptables reject或者drop了
一、应用场景 1、消息队列 2、行为跟踪 3、元信息监控 4、日志收集 5、流处理 6、事件源 7、持久性日志 commit log 二、案例 1.下载与安装 1)Zookeeper下载 http://zookeeper.apache.org/releases.html#download 2)Kaf
转载
2021-02-20 16:35:00
365阅读
3评论
kafka原理与应用。
原创
2023-09-04 17:43:41
120阅读
# Java Kafka 实际应用
## 1. 简介
Kafka 是一种高吞吐量、可扩展的分布式流平台，可以用于构建实时数据管道和流式应用程序。本文将介绍如何在 Java 开发环境中实际应用 Kafka。
## 2. 准备工作
在开始之前，我们需要进行一些准备工作。首先，确保你已经安装并配置好了 Kafka 环境。其次，你需要准备一个 Maven 项目，用于管理依赖和构建。
## 3.
原创
2023-09-15 08:44:42
78阅读
概述 什么是智能卡？智能卡通常定义为包含有嵌入式集成电路的小型卡片。由于有嵌入式的集成电路，智能卡有时被称为集成电路卡，或者ICC。图1所示为一个典型的例子。由于可适用于很多不同的场合，所以这些卡片替代了我们熟悉的支付卡(借记卡或者信用卡)，它们利用磁条来存储卡的账户信息。在支付应用中，向智能卡的转(迁)移主要是因
（项目地址v0.0.8）待上传。新的改变我对时光车站项目进行了一些界面上的优化与数据存储结构
第一：kafka可以作为Flink的Source和Sink来使用；
第二：Kafka的Partition机制和Flink的并行度机制可以深度结合，从而提高数据的读取率和写入效率
第三：当Flink任务失败的时候，可以通过设置kafka的Offset来恢复应用从而重新消费数据
转载
2023-08-01 21:08:15
59阅读
