本文目的研究了一下Kafka Produce/Consumer 的API，发现Consumer API的使用并没有那么的straight forward。折腾了2天后，终于摸到了一些门道，这里记录下怎样使用High Level Consumer API来接收并处理一个Topic中的消息。本文的例子用Scala编写，如果要改成Java的其实很容易。环境Kafka为0.8.2.0（CDH版本） Sc
转载
2023-08-23 22:44:15
112阅读
flink大多使用scala编程，函数编程和java有很多不同，代码需要更多scala的基础知识，本文总flink 使用的scala的基础知识，包含flink常用函数总结函数型编程知识分类 一，类/方法/常量 1类定义 object 单例模型 trait 子类必须实现父类方法 abstract 支持结构体 2变量 var 可修改 val 是final 不支持修改 弱类型，会根据赋值变换 3 对象/
转载
2024-04-15 09:44:16
106阅读
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;java版本:package com.cn.kafka;import java.util.Arrays;import java.util.HashMap;import java.util.Map;import java.util.Properties;i...
原创
2021-08-16 15:21:09
345阅读
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;
java版本:
package com.cn.kafka;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
imp
原创
2021-08-16 15:21:50
448阅读
Kafka版本选择 我们这次分析的Kafka的版本是0.10.1版本，现在最新的Kafak版本2.5.x了。但是我们分析的Kafka的核心源码流程没多大变化。选择分析老版本的一个原因是：我个人的习惯一般去分析一个技术的源码都不挑最新的版本，都会挑老一点的版本，正常情况下老一点的版本代码结构会更清晰，因为像这种开源的项目，很多人都会去提交一些patch，但是提交patch的开发人员水平参差
转载
2024-04-15 12:18:28
118阅读
IO： package scala import java.io.{BufferedReader, BufferedWriter, FileReader, FileWriter} import scala.io.{BufferedSource, Source} object Demo7IO { de ...
转载
2021-07-13 15:04:00
83阅读
2评论
大家好，我是tin，这是我的第22篇原创文章kafka是一个高吞吐、低延时的消息中间件。采用Java和scala语言编写，它有着非常多的优秀设计。要想学习讨论kafka的优秀理念，源码阅读必不可少。今天我们开始搭建kafka环境。目录一、JDK二、scala三、gradle四、kafka源码1. 拉取源码库2. 安装scala插件3. 启动kafka broker五、结语一、J
转载
2024-03-06 08:12:32
104阅读
在windows下，使用idea 阅读kafka2.x源代码 1.前提必读 kafka ReadMehttps://github.com/apache/kafka/blob/trunk/README.mdApache KafkaSee our web site for details on the project.You need to have Gradl
转载
2024-03-27 10:15:59
44阅读
一、启停Kafka1. 启动Kafka后台常驻方式，带上参数 -daemon，如：bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
或
nohup bin/kafka-server-start.sh config/server.properties > /dev/nul
转载
2023-12-14 16:44:13
90阅读
在这篇文章中，将演示如何将 Kafka Connect 集成到 Cloudera 数据平台 (CDP) 中，从而允许用户在 Streams Messaging Manager 中管理和监控他们的连接器，同时还涉及安全功能，例如基于角色的访问控制和敏感信息处理。如果您是将数据移入或移出 Kafka 的开发人员、管理员或安全专家，那么这篇文章适合您。但在我介绍细节之前，让我们先从基础开始。Kafka
转载
2024-03-19 02:08:55
65阅读
问题：项目想用SSL来链接kafka，在使用的过程中遇到几个特别的坑 现象： 程序在消费和生产的时候出现错误：2019/04/02 20:02:22 unable to create kafka client: "kafka: client has run out of available brokers to talk to (Is your cluster reachable?)"然后看kaf
转载
2024-04-01 11:29:16
98阅读
背景项目需要用SparkStreaming
连接kafka，本以为很简单，没想到遇到不少麻烦版本
scala版本2.10，
kafka版本2.11.0-0.11.0.0，jdk1.8pom依赖<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-
转载
2024-05-29 09:52:04
54阅读
什么是KafkaKafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制。Kafka的基本概念kafka运行在集群上，集群包含一个或多个服务器。kafka把消息存在topic中，每一条消息包含键值（key），值（value）和时间戳（timestamp）。kafka有以下一些基本概念：Producer - 消
转载
2024-07-17 14:27:18
289阅读
Maven组件如下： 官网代码如下： 运行以上代码出现如下错误等： Exception in thread "main" org
原创
2021-07-31 16:12:50
805阅读
文章目录1.安全组是否开放&防火墙是否拦截请求2.登陆服务器查看Kafka broker是否可用3.查看Kafka运行日志4.在网上找资料5.解决问题 今天遇到个很奇怪的问题，是关于外网连接Kafka的。在服务器本地可以使用命令行参数连接并且进行发布订阅操作，但是在外网环境就不可以了，SpringBoot连接报错：Connection to node 1 (localhost/127.0
转载
2024-02-29 15:04:02
843阅读
项目介绍Microservice Kafka Sample 是一个开源示例项目，展示了如何在微服务之间利用Apache Kafka进行通信。这个项目创建了Docker容器，并包含了三个关键组件：订单服务（Order）、运输服务（Shipment）和发票服务（Invoicing）。通过一个名为“order”的主题，这些服务协同工作，实现了数据流从创建订单到发货再到开具发票的完整流程。项目技术分析该项
转载
2024-06-13 19:25:19
93阅读
Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方...
转载
2015-08-18 17:29:00
47阅读
2评论
Producer最简配置 metadata.broker.list参数指定broker地址，这里不需要填上所有的broker地址，但是如果只写一个，这个broker挂掉后就无法往topic中写入信息，一般写入2-3个broker地址。 serializer.class指定序列化的方...
转载
2015-08-18 17:29:00
103阅读
yahoo 开发了一款用来管理 Kafka 集群的工具： CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager)，使用这个工具需要下载源码并编译，而其编译又依赖于 sbt，网上很多博客都是以前版本的安装使用，本人最近正好有这一块的实践
原创
2022-02-18 17:10:03
414阅读
未指定 server.properties 直接运行时，报错信息如下： > Task :core:Kafka.main() FAILED USAGE: java [options] KafkaServer server.properties [--override property=value]* ...
转载
2021-09-07 10:34:00
597阅读
2评论
