如果看到这儿说明大家已经跟着我阅读完了Kafka的Producer端的代码了，那么恭喜你，如果你搞定了这部分代码，再阅读后面的源码难度就很小了。
我不止在一个地方说过Kafka的源码是写得比较不错的，比HDFS的源码要好得多，如果看过HDFS源码的同学就会发现，光是面向对象编程，HDFS源码那儿就做得不够好，HDFS的源码看起来就是比较乱，而Kafka这儿的源码大家跟我阅
转载
2024-03-16 10:02:23
26阅读
IDEA kafka开发环境配置1. Scala Windows安装（Scala JDK ）下载安装目前版本(v1.0)（2020.2.20）最好使用scala sdk 2.11.*的版本 百网盘：链接：https://pan.baidu.com/s/1TlvGM49Hpea25Z-S3GYttw 提取码：tpp6官网：https://www.scala-lang.org/download/ 下载
转载
2024-05-13 20:46:35
160阅读
相关说明启动测试前清空所有数据。每次测试先把所有数据写入 Kafka，再加载 Kafka 插件同步数据到 DolphinDB 中。目的是将同步数据的压力全部集中到 Kafka 插件。以 Kafka 插件从收到第一批数据到收到最后一批数据的时间差作为同步数据的总耗时。测试流程加载 Kafka 插件并创建 Kafka Producer 发送数据到 Kafka 中（以发送 100 万条数据为例）Dolp
开发环境： Oracle Java + Eclipse + Scala + Gradle + Kafka 1、Gradle安装配置https://www.gradle.org/downloads/ 下载最新的Gradle版本。下载解压到一个目录，然后创建一个环境变量GRADLE_HOME指向解压的目录，再将%GRADLE_HOME%\bin加到PATH环
开发环境： Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.10.0.0 一、Gradle安装配置 Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局
大家好，我是tin，这是我的第22篇原创文章kafka是一个高吞吐、低延时的消息中间件。采用Java和scala语言编写，它有着非常多的优秀设计。要想学习讨论kafka的优秀理念，源码阅读必不可少。今天我们开始搭建kafka环境。目录一、JDK二、scala三、gradle四、kafka源码1. 拉取源码库2. 安装scala插件3. 启动kafka broker五、结语一、J
转载
2024-03-06 08:12:32
104阅读
idea编译kafka 2.6 源码 最近项目要接入kafka和flink，有时间就学一下kafka的源码，就编译了一下kafka的源码，期间还是踩了不少坑的。 一、安装jdk 二、安装scala 三、安装gradle 四、本地启动zookeeper 最近在官网下载，然后解压，调整配置文件，将zoo ...
转载
2021-10-20 17:53:00
149阅读
2评论
先进入源码工程：执行gradle idea或者gradle eclipse 之后再导入idea/eclipse
转载
2019-11-18 10:11:00
266阅读
2评论
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK ...
转载
2021-10-03 22:45:00
487阅读
2评论
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK ...
转载
2021-10-03 22:45:00
281阅读
2评论
前言最近需要调试kafka源码，所以在本地idea配置一下运行环境，分享一下，给后面的新同学一个参考。环境下面是我用的环境，可以保证正确运行系统：mac os jdk:1.8.0_271 idea: 2020.2 kafka: 写这篇博文的时候，用的是最新的trunk分支的代码安装scala插件先安装scala插件，安装完成重启idea，我这已经安装过了克隆代码克隆kafka的代码到本地，如果克隆不成功可以直接下载到本地，怎么弄下来的不重要，重要的是代码下载到本地：.
原创
2021-09-08 14:53:46
2577阅读
1.gradle安装
gradle安装
2.下载apache kafka源码
apache kafka下载
3.用gradle构建产生IDEAproject文件
先装好idea的scala插件，不然构建时就会自己主动下载，因为没有国内镜像。速度会非常慢。
lizhitao@users-MacBook-Pro:~/Downloads/kafka_2.10-0.8.1$ gradle idea
转载
2017-05-13 17:45:00
329阅读
2评论
于kafka核心原理的资料，网上有很多，但是如果不自己研究其源码，永远是知其然而不知所以然。下面就来演示如何在windows环境下来编译kafka源码，并通过IntelliJ IDEA开发工具搭建kafka的源码环境，以方便在本地通过debug调试来研究kafka的内部实现机制。 具体步骤： （1）
原创
2022-07-22 15:27:39
322阅读
idea右边没有gradle小窗口 File -> New -> Project From Existing Sources... 选择 kafka 项目根目录下的 build.gradle 文件 idea中 gradle 运行标识为灰色 File -> Settings... 搜索关键字 grad ...
转载
2021-09-06 19:51:00
222阅读
2评论
1. 从 GitHub 网站，git clone kafka 源码 2. 下载安装好 gradle，scala 2.1 从 dependencies.gradle 文件中找到 gradle 的版本，然后下载指定版本，并配置好 GRADLE_HOME 环境变量 3. 进入 kafka 项目目录，依次执
原创
2022-11-15 15:12:06
218阅读
Kafka源码编译阅读环境搭建开发环境： Oracle Java 1.7.0_25 + Idea + Scala 2.10.5 +Gradle 2.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访问
原创
2016-12-14 20:08:44
10000+阅读
点赞
1评论
环境准备JDK1.7 or higher（建议使用 JDK 1.8）软件准备scala-2.11.12.zip 下载地址：https://www.scala-lang.org/download/2.11.12.html
gradle-4.8.1-bin.zip（写本文的时候gradle最新版是4.8.1） 下载地址：https://gradle.org/releases/ 下载binary-onl
转载
2024-07-18 17:50:15
170阅读
前言其实从事程序员这么些年来，一直有一个愿望想写本书，但是一直没实现，一开始是想着是因为自己没时间，后来想想也不是没时间，可能还是感觉水平有限。为了给写书做准备，最近打算写一个专栏，专栏的要求就稍微低一些，能坚持写完的概率也就会大一些。所以最近挑了从Kafka的源码角度去写一个专栏。选择写Kafka源码剖析的理由1)Kafka是大数据里面难度较大，而且使用广泛的一个技术，倒不是说使用起来难度大，而
转载
2024-03-22 10:22:50
23阅读
本文档基于kafka client 0.8.2.2 版本api进行代码详细说明，通过对该代码的深入剖析，可以加深对kafka生产者的理解，并且能够避免该版本坑点（说实话，该版本挺坑，建议升级到0.9以上） 通过阅读本文章，您将深刻理解kafka生产者内部逻辑，并且对0.8.2.2版本生产者存在的阻塞问题进行了代码级剖析，并根据代码调用逻辑整理了时序图以加深理解1、版本：0.8.2.2本文章对0.8
转载
2024-03-27 17:17:07
43阅读
搭建完kafka，一般都是使用本地来链接虚拟机的，初次链接会出现各种神奇的问题，特此记录一下。首先，请先对生产者，消费者，topic有一个大概的认识-----本地的工作先在本地idea写生产者的代码package com.example.kafkademo.demos;
import org.apache.kafka.clients.producer.KafkaProducer;
import
转载
2024-06-22 04:45:35
1991阅读
