1. Kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写
转载
2024-03-18 18:46:13
83阅读
一、Kafka 简介Kafka 创建背景Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View
Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理：网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒，即bytes/s。该功能是0.9.0.0版本引入的CPU配额管理：定义CPU使用率阈值来限制请求发送
转载
2024-03-19 02:54:09
72阅读
Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。
本文将从流式计算出发，之后介绍Kafka Streams的特点，最后探究Kafka Streams的架构。
Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。本文将从流式计算出发，之后
转载
2024-04-03 15:08:52
82阅读
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka创建背景 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipel
转载
2024-09-03 10:34:15
34阅读
1.入门1.1简介ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流Process streams of records as they occur（记录发生时处理流）.Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实
转载
2024-10-17 20:58:43
70阅读
本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本
背景：Kafka做为一款流行的分布式发布订阅消息系统，以高吞吐、低延时、高可靠的特点著称，已经成为Spark Streaming常用的流数据来源。
常用的ETL架构
1，Kafka To
Kafka总结1 消息队列1.1 基本定义1.2 消息传递的两种模式1.2.1 同步模式1.2.2 异步模式1.3 消息传递的应用场景1.3.1 应用解耦1.3.2 限流削峰1.3.3 消息驱动系统1.4 消息队列的两种模式1.4.1 点对点的数据传递1.4.2 订阅发布模式2 CAP理论2.1 一致性(Consistency)2.2 可用性(Availability)2.3 分区容错性(Par
转载
2024-02-12 20:18:13
301阅读
互联网应用：流量削峰互联网应用经常会遇到要处理高峰问题，这也是我们所负责业务经常要面对的事情，比如遇到一个热点事件、或者策划一个活动（比如双十一秒杀活动），访问的骤增带来读写的流量的骤增，每个环节都买你对瞬间请求骤增的问题，那么有哪些方法可以做到流量削峰或者说流量削峰要从哪几个方面考虑呢？基于SOA的架构设计，弹性扩展瓶颈模块服务器资源；接入层以及各服务模块极大的用好cache，增加QPS,从而加
转载
2024-07-12 16:37:31
71阅读
在这篇文章中，我将解释Kafka Streams抑制的概念。尽管它看起来很容易理解，但还是有一些内在的问题/事情是必须要了解的。这是我上一篇博文CDC分析的延续。◆架构一个典型的CDC架构可以表示为：。使用Kafka及其组件的CDC架构在上述架构中。单独的表交易信息被存储在Kafka的独立主题中。这些信息可以通过Kafka的sink连接器传输到目标目的地。 为了做聚合，如计数、统计、与其
转载
2024-08-06 20:02:38
123阅读
今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-kafka-deployment/========================================
转载
2024-06-19 09:26:19
29阅读
Kafka客户端包括producer及consumer API，通过在wireshark中查看所捕获的请求，能更好的理解从producer及consumer到broker的网络连接过程。对于producer端，为了发送数据，需要建立client到broker节点的TCP长连接，此长连接可用于更新metadata，发送消息到broker，在超过配置的空闲时间后，为了节省资源，长连接将被关闭。1：pr
转载
2024-03-19 02:56:13
61阅读
kafka简单学习记录什么是kafkakafka应用环境kafka名词· 概念解释kafka集群原理及示例kafka的信息传递过程消费者（consumer）信息传递方式 什么是kafka关于kafka的介绍就不详细叙述了，Kafka 是一种分布式的发布-订阅消息系统，
具有一些高数据吞吐量等各种优点，总结的概括一下kafka可以理解为一种消息处理系统。
日常情况下，对于服务器来说，需要连续不
转载
2024-05-29 16:18:56
126阅读
消息引擎系统 ABCApache Kafka 是一款开源的消息引擎系统。消息引擎系统是一组规范，企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递。
系统 A 发送消息给消息引擎系统，系统 B 从消息引擎系统中读取 A 发送的消息。消息引擎传输的对象是消息。如何传输消息属于消息引擎设计机制的一部分。既然消息引擎是用于在不同系统之间传输消息的，那么如何设计待传输消息的
转载
2024-06-10 20:40:16
25阅读
一、Kafka介绍介绍 • Kafka是由LinkedIn开发的一个分布式的消息系统，最初是用作LinkedIn的活动流（Activity Stream）和运营数据处理的基础。 • 活动流数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。 • 运营数据指的是服务器的性能
转载
2024-07-15 13:26:15
16阅读
为什么要用kafka? 1.流量削峰：在秒杀或抢购活动中，一般会因为流量暴增，应用因处理不过来而挂掉，此时一般会引入消息队列，这样流量会先进入消息队列，我们的应用再根据自己的实际处理能力来消费这些消息，从而达到缓解流量暴增对系统构成的压力。 2.应用解耦：在系统交互时，有时我们很难一次性就设计出非常完善的接口，可能会随着业务发展，这些交互接口也会不断的变迁，如果我们的系统较多，系统间交互也较多，维
转载
2024-04-13 09:17:09
93阅读
文章目录1 副本基本信息2 Leader 选举流程3Leader 和 Follower 故障处理细节3.1 Follower故障处理细节3.2 Leader故障处理细节4 分区副本分配5 手动调整分区副本存储6 Leader Partition 负载平衡7 增加副本因子 1 副本基本信息（1）Kafka 副本作用：提高数据可靠性。 （2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，
转载
2024-07-18 08:56:06
47阅读
前言背景算法优化改版有大需求要上线，在线特征dump数据逐步放量，最终达到现有Kafka集群5倍的流量，预计峰值达到万兆网卡80%左右(集群有几十个节点，网卡峰值流出流量800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估，提前做好容量规划，保障服务持续稳定运行L3层 dump特征 @xxx1.依赖文章特征公共服务2.依赖用户特征公共服务 前期可以一起共
转载
2024-07-18 17:08:01
243阅读
如何保证Kafka不丢失消息
引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）。 系统解耦： 上下游系统之间的通信相互依赖，利用 MQ 消息队列可以隔离上下游环境变化带来的不稳定因素。 流量控制： 超高并发场景中，引入 MQ 可以实现流量 “削峰填谷” 的作用以及服务异步处理，不至于打崩服务。&
转载
2024-03-22 10:53:53
159阅读
之前被kafka跨IDC数据同步这个问题折腾过，后来我们的解决方法是在双方的公网防火墙上配置端口映射。但是这种方法比较费，可以尝试下下面的这种。背景和第三方公司进行数据集成，因为第三方服务和我们不是部署在一个数据中心，所以需要给第三方的程序开放Kafka的公网访问问题：Kafka 无法同时内外网访问Kafka 默认只暴露出来一个地址放到zk中，用户请求Kafka的时候，会返回zk中的地址给客户端进
转载
2021-11-21 12:15:11
2416阅读
