kafka详解
原创
2022-07-12 11:03:02
166阅读
大数据之kafka 第一章 kafka概述 1.1 定义 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 同步处理： 生产者生产数据，直接传给消费者 异步处理： 生产者生产数据，把数据放在消息队列中，供消费者自 ...
转载
2021-10-09 10:34:00
271阅读
2评论
kafka配置很多，分Broker配置、Topic配置、producer配置、consumer配置、Connect配置、AdminClient配置。详细内容见kafka中文官网。其中，很多配置并不需要修改，除非有需要使用默认值更好。1.Broker配置核心基础配置
broker.id 用于服务的broker id。如果没设置，将生存
转载
2024-02-09 16:58:27
177阅读
温馨提示：本文基于 Kafka 2.2.1 版本。上文 《源码分析 Kafka 消息发送流程》 已经详细介绍了 KafkaProducer send 方法的流程，该方法只是将消息追加到 KafKaProducer 的缓存中，并未真正的向 broker 发送消息，本文将来探讨 Kafka 的 Sender 线程。 本节目录1、Sender 线程详解1.1 类图1.2 run 方法详解1.2.1 ru
转载
2024-07-03 06:30:39
53阅读
目录一、Kafka是什么二、Kafka主要特点为什么使用Kafka？主题和日志1.主题（Topic）2.分区（Partition）分布式高性能【Linux】 Hi，大家好，我是一个爱冒泡的程序猿 好久不见呀，时间过得好快，转眼间已经2022年，好久没更新了，希望自己今年能坚持记录反省自己一、Kafka是什么Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且
转载
2024-02-16 11:57:02
55阅读
kafka详解一、Kafka简介分类： Kafka2014-08-18 10:45 375人阅读 评论(0) 收藏 举报背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时上几个挑战形...
原创
2023-05-16 16:06:17
211阅读
Kafka配置参数详解Kafka得安装与基本命令Kafka配置参数kafka生产者配置参数kafka消费者配置参数
Kafka得安装与基本命令
Kafka配置参数broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。log.dirs：kafka存放数据的路径。可以是多个，多个使用逗号分隔即可。port：se
原创
2022-01-11 11:17:28
2051阅读
Kafka—— 基本介绍一、Kafka的基本介绍二、Kafka的好处三、分布式的发布与订阅系统四、Kafka的主要应用场景 一、Kafka的基本介绍官网http://kafka.apache.org/kafka使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。它提供了类似于JMS的特性，但是在设计实现上
转载
2024-04-02 22:11:25
93阅读
Kafka是什么？Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kaf
转载
2021-04-25 13:07:01
556阅读
1.Server.propertiesbro...
原创
2021-08-13 14:29:46
410阅读
上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过 这个词的，这也是 K
转载
2021-08-12 11:36:02
762阅读
Every write operation goes to all replicas, but only responses from a majority quorum are necessary to commit the write. 每一次写操作都分发到所有副本,只有大部分节点应答才能提交写 缺点:随着副本数的增加,集群中需要ack的节点数量比较多(n/2-1) 存储元数据,数据量不是很
转载
2022-01-04 15:13:10
86阅读
前言：讲解透彻，从存储到系统，硬件，网络细节综合考虑问：讲讲kafka为什么这么快?
答：kafka的快是从底层设计,到充分利用硬件,系统,压缩等等特性,综合产生的结果。要理解 kafka为什么这么快，要从以下几个方面如下:1.磁盘读写原理2.利用Pagecache+mmap3.零拷贝4.存储设计5.批量读写6.批量压缩7.消息写入过程8.消息读取过程一 磁盘读写原理磁盘的结构图：图片当需要从磁盘
原创
2022-10-13 11:46:45
10000+阅读
Kafka producer拦截器(interceptor)一、拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Interc
原创
2021-07-28 17:07:07
170阅读
一、消息队列消息队列内部实现原理：图例说明：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消
原创
2021-07-28 17:07:09
273阅读
分区机制实现了水平扩展和高吞吐。副本机制实现了高可用和容灾。生产者批量发送和零拷贝实现了分布式协调。
4、深入应用4.1 springboot-kafka1）配置文件kafka:
bootstrap-servers: 192.168.10.30:10903,192.168.10.30:10904
producer: # producer 生产者
retries: 0 # 重试次数
acks: 1 # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(
转载
2024-09-27 02:50:38
142阅读
Kafka是什么？Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kaf
原创
2021-03-15 21:55:40
438阅读
1.什么是消息中间件？2.kafka 是什么？有什么作用？3.kafka 的架构是怎么样的？
转载
2022-10-21 10:41:41
106阅读
Kafka API实战一、环境准备1）启动zk和kafka集群，在kafka集群中打开一个消费者[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh \--zookeeper hadoop102:2181 --topic first2）
原创
2021-07-28 16:21:33
496阅读
