今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;java版本:package com.cn.kafka;import java.util.Arrays;import java.util.HashMap;import java.util.Map;import java.util.Properties;i...
原创
2021-08-16 15:21:09
345阅读
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;
java版本:
package com.cn.kafka;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
imp
原创
2021-08-16 15:21:50
448阅读
本文目的研究了一下Kafka Produce/Consumer 的API，发现Consumer API的使用并没有那么的straight forward。折腾了2天后，终于摸到了一些门道，这里记录下怎样使用High Level Consumer API来接收并处理一个Topic中的消息。本文的例子用Scala编写，如果要改成Java的其实很容易。环境Kafka为0.8.2.0（CDH版本） Sc
转载
2023-08-23 22:44:15
112阅读
Kafka版本选择 我们这次分析的Kafka的版本是0.10.1版本，现在最新的Kafak版本2.5.x了。但是我们分析的Kafka的核心源码流程没多大变化。选择分析老版本的一个原因是：我个人的习惯一般去分析一个技术的源码都不挑最新的版本，都会挑老一点的版本，正常情况下老一点的版本代码结构会更清晰，因为像这种开源的项目，很多人都会去提交一些patch，但是提交patch的开发人员水平参差
转载
2024-04-15 12:18:28
118阅读
大家好，我是tin，这是我的第22篇原创文章kafka是一个高吞吐、低延时的消息中间件。采用Java和scala语言编写，它有着非常多的优秀设计。要想学习讨论kafka的优秀理念，源码阅读必不可少。今天我们开始搭建kafka环境。目录一、JDK二、scala三、gradle四、kafka源码1. 拉取源码库2. 安装scala插件3. 启动kafka broker五、结语一、J
转载
2024-03-06 08:12:32
104阅读
在windows下，使用idea 阅读kafka2.x源代码 1.前提必读 kafka ReadMehttps://github.com/apache/kafka/blob/trunk/README.mdApache KafkaSee our web site for details on the project.You need to have Gradl
转载
2024-03-27 10:15:59
44阅读
Maven组件如下： 官网代码如下： 运行以上代码出现如下错误等： Exception in thread "main" org
原创
2021-07-31 16:12:50
803阅读
Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方...
转载
2015-08-18 17:29:00
47阅读
2评论
Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方...
转载
2015-08-18 17:29:00
103阅读
yahoo 开发了一款用来管理 Kafka 集群的工具： CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager)，使用这个工具需要下载源码并编译，而其编译又依赖于 sbt，网上很多博客都是以前版本的安装使用，本人最近正好有这一块的实践
原创
2022-02-18 17:10:03
414阅读
未指定 server.properties 直接运行时，报错信息如下： > Task :core:Kafka.main() FAILED USAGE: java [options] KafkaServer server.properties [--override property=value]* ...
转载
2021-09-07 10:34:00
597阅读
2评论
Scala作为一门多范式的编程语言，与Kafka的结合在实时流处理中表现出色。Scala的函数式编程特性和强大的类型系统使其能够高效处理Kafka的高吞吐量数据流。Kafka的分布式架构与Scala的并发模型（如Akka Streams）天然契合，适合构建低延迟、高可靠性的实时数据处理管道。通过Scala的类型安全和Kafka的分布式能力，可构建高扩展性的实时系统。具体技术选型需结合业务场景，如低延迟优先选Alpakka，批流一体则考虑Spark。
Scala调用Kafka的生产者和消费者Demo，以及一些配置参数整理kafka简介Kafka是apache开源的一款用Scala编写的消息队列中间件，具有高吞吐量，低延时等特性。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。无论是kafka集群，还
转载
2024-03-26 12:39:16
27阅读
正文 首先打开spark官网，找一个自己用版本我选的是1.6.3的，然后进入SparkStreaming ，通过搜索这个位置找到Kafka， 点击过去会找到一段Scala的代码 如果想看createStream方法，可以值通过SparkStreaming中的 Where to go from her
原创
2021-05-12 20:41:53
490阅读
之前的Kafka学习笔记,我们介绍了Kafka的基本特性以及windows环境下Kafka的安装和使用,详情可以参见如下两篇博客:kafka学习笔记（一）–初识kafkakafka学习笔记（二）–windows环境下kafka2.1的安装和使用因为Kafka的源码使用Scala和Java两种语言实现的,所以本篇博客的开发的案例中使用了 Java和S
转载
2023-10-04 22:51:56
56阅读
1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录1.1.2. Maven下载地址https://maven.apache....
转载
2018-05-04 11:54:00
229阅读
2评论
flink大多使用scala编程，函数编程和java有很多不同，代码需要更多scala的基础知识，本文总flink 使用的scala的基础知识，包含flink常用函数总结函数型编程知识分类 一，类/方法/常量 1类定义 object 单例模型 trait 子类必须实现父类方法 abstract 支持结构体 2变量 var 可修改 val 是final 不支持修改 弱类型，会根据赋值变换 3 对象/
转载
2024-04-15 09:44:16
106阅读
Scala-SparkStreaming 2.2.0 消费 kafka0.10（生产1.0）
原创
2023-05-06 15:05:34
76阅读
var and val简单来说，val声明的变量可以重新修改其引用，val则不行，见下面的例子： 1 def max(x: Int, y: Int): Int = { 2 if(x > y) x else y 3 } 4 5 def max(x: Int, y: Int): Int = i...
原创
2021-07-21 14:13:26
438阅读
Array 1 val greetStrings = new Array[String](3) 2 greetStrings(0) = "Hello" 3 greetStrings(1) = "，" 4 greetStrings(2) = "world!\n" 5 6 for(i "One", ...
原创
2021-07-21 14:28:51
405阅读
