开发环境： Oracle Java + Eclipse + Scala + Gradle + Kafka 1、Gradle安装配置https://www.gradle.org/downloads/ 下载最新的Gradle版本。下载解压到一个目录，然后创建一个环境变量GRADLE_HOME指向解压的目录，再将%GRADLE_HOME%\bin加到PATH环
IDEA kafka开发环境配置1. Scala Windows安装（Scala JDK ）下载安装目前版本(v1.0)（2020.2.20）最好使用scala sdk 2.11.*的版本 百网盘：链接：https://pan.baidu.com/s/1TlvGM49Hpea25Z-S3GYttw 提取码：tpp6官网：https://www.scala-lang.org/download/ 下载
转载
2024-05-13 20:46:35
160阅读
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK ...
转载
2021-10-03 22:45:00
487阅读
2评论
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK ...
转载
2021-10-03 22:45:00
281阅读
2评论
1.gradle安装
gradle安装
2.下载apache kafka源码
apache kafka下载
3.用gradle构建产生IDEAproject文件
先装好idea的scala插件，不然构建时就会自己主动下载，因为没有国内镜像。速度会非常慢。
lizhitao@users-MacBook-Pro:~/Downloads/kafka_2.10-0.8.1$ gradle idea
转载
2017-05-13 17:45:00
329阅读
2评论
如果看到这儿说明大家已经跟着我阅读完了Kafka的Producer端的代码了，那么恭喜你，如果你搞定了这部分代码，再阅读后面的源码难度就很小了。
我不止在一个地方说过Kafka的源码是写得比较不错的，比HDFS的源码要好得多，如果看过HDFS源码的同学就会发现，光是面向对象编程，HDFS源码那儿就做得不够好，HDFS的源码看起来就是比较乱，而Kafka这儿的源码大家跟我阅
转载
2024-03-16 10:02:23
26阅读
Kafka源码编译阅读环境搭建开发环境： Oracle Java 1.7.0_25 + Idea + Scala 2.10.5 +Gradle 2.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访问
原创
2016-12-14 20:08:44
10000+阅读
点赞
1评论
于kafka核心原理的资料，网上有很多，但是如果不自己研究其源码，永远是知其然而不知所以然。下面就来演示如何在windows环境下来编译kafka源码，并通过IntelliJ IDEA开发工具搭建kafka的源码环境，以方便在本地通过debug调试来研究kafka的内部实现机制。 具体步骤： （1）
原创
2022-07-22 15:27:39
322阅读
开发环境： Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.10.0.0 一、Gradle安装配置 Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局
相关说明启动测试前清空所有数据。每次测试先把所有数据写入 Kafka，再加载 Kafka 插件同步数据到 DolphinDB 中。目的是将同步数据的压力全部集中到 Kafka 插件。以 Kafka 插件从收到第一批数据到收到最后一批数据的时间差作为同步数据的总耗时。测试流程加载 Kafka 插件并创建 Kafka Producer 发送数据到 Kafka 中（以发送 100 万条数据为例）Dolp
搭建源码环境可以看这篇文章：
原创
2022-05-18 08:10:39
619阅读
最近领导将kafka交给我维护，平时运行比较稳定，偶尔还是会出问题。由于以前只停留在kafka api调用和简单原理层级，对生产kafka出现问题很难定位，经常很尴尬被动。本人不喜欢被动，所以打算抽一周时间将kafka源码简单通读一遍。提升对kafka的认知，便于更快更准得定位解决问题！目前的公司使用kafka1.0，所以这次计划做一个kafka1.0的详细介绍，会涉及里面的一些代码实现。kafk
转载
2024-03-26 22:18:45
22阅读
本文主要讲述的是如何搭建Kafka的源码环境，主要针对的Windows操作系统下IntelliJ IDEA编译器，其余操作系统或者IDE可以类推。1.安装和配置JDK确认JDK版本至少为1.7，最好是1.8及以上。使用java -version命令来查看当前JDK的版本，示例如下：C:\Users\hidden> java -versionjava version "1.8.
原创
2021-09-05 11:57:20
454阅读
持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战...
原创
2021-09-01 14:34:03
272阅读
大家好，我是tin，这是我的第22篇原创文章kafka是一个高吞吐、低延时的消息中间件。采用Java和scala语言编写，它有着非常多的优秀设计。要想学习讨论kafka的优秀理念，源码阅读必不可少。今天我们开始搭建kafka环境。目录一、JDK二、scala三、gradle四、kafka源码1. 拉取源码库2. 安装scala插件3. 启动kafka broker五、结语一、J
转载
2024-03-06 08:12:32
104阅读
一、IDEA配置scala插件进入File——Settings——Plugins，在搜索框搜索scala，然后点击安装，等安装完毕，需要重启IDEA。 或者也可以手动安装，先去https://plugins.jetbrains.com/plugin/1347-scala下载你IDEA版本对应的scala插件。接着，还是上面同个地方，点击Install Plugin from Disk...，然后选
idea编译kafka 2.6 源码 最近项目要接入kafka和flink，有时间就学一下kafka的源码，就编译了一下kafka的源码，期间还是踩了不少坑的。 一、安装jdk 二、安装scala 三、安装gradle 四、本地启动zookeeper 最近在官网下载，然后解压，调整配置文件，将zoo ...
转载
2021-10-20 17:53:00
149阅读
2评论
先进入源码工程：执行gradle idea或者gradle eclipse 之后再导入idea/eclipse
转载
2019-11-18 10:11:00
266阅读
2评论
选择Kafka0.8.2.2版本进行说明，0.8以后基本都是这个架构。因为0.9以后版本的设计有比较大的变化，因此不适用于0.9以后版本代码。 本文假设读者对Kafka的基本概念已有了解。一启动1、
转载
2024-03-05 14:19:35
27阅读
前言在阅读源码之前，首先要做的就是搭建一套源码调试环境，这是最基本的一步，不要觉得麻烦或者简单就不去做，也许你会像我一样搭源码的过程中得到一些教训和经验。同时在后面阅读源码的过程中，很多看不懂的地方 debug 一下也许就明朗了。记录了搭建 Kafka 源码环境的简单过程，为大家提供一个步骤参考，同时记录搭建环境中可能会遇到的问题及解决方案。这个环境搭建过程也会提到一个非常实用，并且很多人都不知道
原创
2021-02-04 21:00:16
251阅读
