环境准备JDK1.7 or higher（建议使用 JDK 1.8）软件准备scala-2.11.12.zip 下载地址：https://www.scala-lang.org/download/2.11.12.html
gradle-4.8.1-bin.zip（写本文的时候gradle最新版是4.8.1） 下载地址：https://gradle.org/releases/ 下载binary-onl
转载
2024-07-18 17:50:15
170阅读
git clone http://git-wip-us.apache.org/repos/asf/kafka.git D:\git\kafka https://kafka.apache.org/downloads.html 安装gradle 到kafka目录下 运行gradle wrapper，解决找不到类&n
原创
2023-04-20 17:04:39
52阅读
Android优势在于开源，手机和平板生产商可以根据自己的硬件进行个性定制自己的手机产品，如小米、乐Phone、M9等，因此，在对Android的源码进行定制时，很有必要了解一下Android对的编译过程。Google公司官方的编译过程只是告诉用户如何去编译一个通用的系统。 Android系统的下载与编译，Google的官网上已经给出了详细的说明，请参照Android的官方址：http://
前言 相对来说,kafka 编译比较简单,不过 kafka 是 scala 写的,所以在环境上要安装一下插件. 下载2.4.0源码包链接:https://pan.baidu.com/s/15h2qn14HV8HCoEPldT77LA 密码:e59n官方: http://kafka.apache.org/
转载
2024-02-27 20:33:40
79阅读
搭建源码环境可以看这篇文章：
原创
2022-05-18 08:10:39
619阅读
这几年，大数据发展迅猛，其中 Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选。越来越多人开始使用 Kafka，对学习源码的需求也愈发强烈，原因主要有这么几个方面： 了解 Kafka 底层原理，从而搞懂 Kafka 高性能的实现机制；快速分析定位线上问题，有针对性地制定调优方案，提升编码功力；Kafka 的很多优秀设计理念和特性，在官方文档中并未得到充分阐述
转载
2024-03-26 09:26:20
23阅读
下载源码 git clone -b 1.1.1 https://github.com/apache/kafka.git --depth=1 使用这样的方式下载主要是解决两个问题：其一，下载指定分支代码，这样不用下载最新代码然后切换到具体的tags。其二，因源码太大而只下载最新的depth可以增快下载
原创
2021-08-22 09:42:51
345阅读
Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址：https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因：gradle版本太高，降低到4.8
转载
2018-11-27 14:21:00
416阅读
2评论
什么是 Kafka？Kafka 适合哪些场景？Kafka 体系结构和概念Kafka 架构Kafka 基本术语和概念消息主题 Topic 和分区 Partition副本 Replica， Leader 和 FlowerOffset 偏移量消费者中的偏移量 Offset消费者和消费者组小结 Apache Kafka 是开源的分布式事件流处理平台，广泛应用于构建高性能的数据管道、流处理、数据集成等应用程
转载
2024-04-02 11:51:35
15阅读
idea编译kafka 2.6 源码 最近项目要接入kafka和flink，有时间就学一下kafka的源码，就编译了一下kafka的源码，期间还是踩了不少坑的。 一、安装jdk 二、安装scala 三、安装gradle 四、本地启动zookeeper 最近在官网下载，然后解压，调整配置文件，将zoo ...
转载
2021-10-20 17:53:00
149阅读
2评论
查看视频 和 网上的文档，下载了对应的版本，但是编译一直有问题。版本如下： kakfa版本 ：0.10.0.1 scalan：2.10.6 gradle：3.1 根据提示，不断的修正 版本， 和 修改 build.gradle 和 gradle.script 配置. Gradle 从 3.1 到 7 ...
转载
2021-09-06 09:33:00
175阅读
2评论
配置文件b.txt#选择输出类型(0.筛选输出 1.全体输出 2.不输出数据)
input_type = 1
#筛选条件 source_mac(多条检索)、user(多条检索)、message(模糊查询) #time(1.当输入一个时间 格式：yyyy-MM-dd-HH:mm:ss 或者输入一个时间戳[秒级时间戳11位] 当输入时间小于等于当前时间不会收集数据 当输入时间大于当前时间将收集当前时间
转载
2024-04-13 13:49:01
40阅读
Kafka 简介Kafka 是一种高吞吐、分布式、基于发布和订阅模型的消息系统，最初是由 LinkedIn 公司采用 Scala 和 java 开发的开源流处理软件平台，目前是 Apache 的开源项目。Kafka 用于离线和在线消息的消费，将消息数据按顺序保存在磁盘上，并在集群内以副本的形式存储以防止数据丢失。Kafka 可以依赖 ZooKeeper 进行集群管理，并且受到越来越多的分布式处理系
转载
2024-02-21 14:34:45
43阅读
Kafka源码编译阅读环境搭建开发环境： Oracle Java 1.7.0_25 + Idea + Scala 2.10.5 +Gradle 2.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访问
原创
2016-12-14 20:08:44
10000+阅读
点赞
1评论
1. 从 GitHub 网站，git clone kafka 源码 2. 下载安装好 gradle，scala 2.1 从 dependencies.gradle 文件中找到 gradle 的版本，然后下载指定版本，并配置好 GRADLE_HOME 环境变量 3. 进入 kafka 项目目录，依次执
原创
2022-11-15 15:12:06
214阅读
前言其实从事程序员这么些年来，一直有一个愿望想写本书，但是一直没实现，一开始是想着是因为自己没时间，后来想想也不是没时间，可能还是感觉水平有限。为了给写书做准备，最近打算写一个专栏，专栏的要求就稍微低一些，能坚持写完的概率也就会大一些。所以最近挑了从Kafka的源码角度去写一个专栏。选择写Kafka源码剖析的理由1)Kafka是大数据里面难度较大，而且使用广泛的一个技术，倒不是说使用起来难度大，而
转载
2024-03-22 10:22:50
23阅读
如果看到这儿说明大家已经跟着我阅读完了Kafka的Producer端的代码了，那么恭喜你，如果你搞定了这部分代码，再阅读后面的源码难度就很小了。
我不止在一个地方说过Kafka的源码是写得比较不错的，比HDFS的源码要好得多，如果看过HDFS源码的同学就会发现，光是面向对象编程，HDFS源码那儿就做得不够好，HDFS的源码看起来就是比较乱，而Kafka这儿的源码大家跟我阅
转载
2024-03-16 10:02:23
26阅读
本文档基于kafka client 0.8.2.2 版本api进行代码详细说明，通过对该代码的深入剖析，可以加深对kafka生产者的理解，并且能够避免该版本坑点（说实话，该版本挺坑，建议升级到0.9以上） 通过阅读本文章，您将深刻理解kafka生产者内部逻辑，并且对0.8.2.2版本生产者存在的阻塞问题进行了代码级剖析，并根据代码调用逻辑整理了时序图以加深理解1、版本：0.8.2.2本文章对0.8
转载
2024-03-27 17:17:07
43阅读
顾名思义，就是kafka的consumer api包。一、ConsumerConfig.scalaKafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。二、ConsumerIterator.scala KafkaStream的迭代器类，当s
转载
2024-01-26 07:27:12
68阅读
Kafka1）Kafka是大数据里面难度较大，而且使用广泛的一个技术，倒不是说使用起来难度大，而是说使用过程中容易出问题，但是生产又对其稳定性要求高。通过剖析其里面的源码可以帮助大家深刻理解Kafka的原理，便于大家去解决生产中的问题。2）Kafka的源码的质量是我看过的大数据的开源产品里面质量最好的。其代码质量远超于hadoop,Spark等产品。整体代码阅读起来难度也不大，而且清晰。最关键的是
转载
2024-04-02 10:18:18
4阅读
