时间 2014-07-03 16:01:06 ITeye-博客 主题 Apache Kafkametadata.broker.list 默认值：无，必填格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，
转载
2024-03-07 13:08:46
38阅读
文章目录一、基础知识概述相关术语原理工作流程持久化原理二、Kafka常用命令三、在Java中使用Kafka踩过的坑windows powershell的坑单个生产者发送消息不要太频繁 参考文章：https://baike.baidu.com/item/Kafka/17930165?fr=aladdinhttp://www.linkedkeeper.com/detail/blog.action?b
关注 “Java艺术” 我们一起成长！ 在《如果可以，我想并行消费
Kafka拉取的数据库 Binlog》这篇文章中，笔者介绍如何实现并行消费 Binlog，具体实现就是让同一张表的 Binlog放到同一个线程去消费，用局部顺序消费换取消费速度，避免消息堆积。但在某些场景下，使用这种方式还是出现了问题，出现在关联表更新数据同步的先后顺序上。在此分享下我们的解
转载
2024-03-07 20:58:01
74阅读
kafka小结目录1、消息中间件2、Kafka 基本概念和架构zookeeper答案关键字3、Kafka 使用问题命令行工具Kafka ProducerKafka Consumer答案关键字4、高可用和性能问题分区与副本性能优化答案关键字分布式消息中间件什么是分布式消息中间件？消息中间件的作用是什么？消息中间件的使用场景是什么？消息中间件选型？消息队列分布式消息是一种通信机制，和 RPC、HTT
转载
2024-06-19 21:42:23
78阅读
一、Nifi配置1) nifi基本配置1. jdk配置：nifi新版本要求jdk版本必须1.8以上目录：bin/nifi.env.sh export JAVA_HOME=/home/user/opt/jdk1.8.0_144  
文章目录Apache NiFi系列文章一、处理器说明1、处理器说明1）、PublishKafka_0_101、描述2、属性配置2）、ConsumeKafka_0_101、描述2、属性配置二、Producer生产1、创建并配置处理器GenerateFlowFile2、创建并配置处理器PublishKafka_0_103、配置GenerateFlowFile和PublishKafka_0_10连接4
原创
2023-05-15 17:09:28
2167阅读
点赞
Kafka JDBC 连接器简介JDBC源连接器和接收器连接器允许您在关系数据库和Kafka之间交换数据。JDBC源连接器允许您使用JDBC驱动程序将任何关系数据库中的数据导入Kafka主题。通过使用JDBC，此连接器可以支持各种数据库，而无需为每个数据库使用自定义代码。通过定期执行SQL查询并为结果集中的每一行创建输出记录来加载数据。默认情况下，数据库中的所有表都被复制，每个表都复制到其自己的输
转载
2024-05-09 13:26:21
72阅读
# 用Docker配置NiFi进行数据流处理
在大数据处理领域，Apache NiFi是一个流行的开源工具，用于实现数据流的自动化处理和管理。结合Docker容器技术，可以更方便地部署和管理NiFi。本文将介绍如何使用Docker配置NiFi，并通过一个简单的示例演示如何进行数据流处理。
## Docker配置NiFi步骤
### 步骤一：安装Docker
首先，需要在本地环境中安装Doc
原创
2024-03-25 04:37:03
211阅读
kafka的消费者以pull的方式拉取消息创建消费者时，若不指定group.id,则该消费者属于默认消费组group.id全局唯一同一个消费组下的消费者在消费消息时是互斥的终端模拟消费者脚本 $KAFKA_HOME/bin/kafka-console-consumer.sh 脚本核心内容如下：exec $(dirname $0)/kafka-run-class.sh kafka.tools.Con
转载
2024-04-01 15:25:40
27阅读
添加kafka processor，配置如下kakfa数据格式为JSON：{"events_tag":"103913","query_wo 定rowkey，只能填写一个配置HbaseClient，...
原创
2023-05-06 15:01:13
69阅读
背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤.原文链接：镜像下载hub.docker.com 上有不少 ZK 镜像, 不过为了稳定
转载
2024-09-03 08:48:46
15阅读
Windows下安装解压版MySQL5.6数据库
一、安装准备： 官网提供的压缩包点击下图红框处可选择之前版本点击下图红框处直接下载下载完成后解压即可。我的解压后的路径为D:\MySQL\mysql-5.6.46-winx64 二、配置1.在安装目录下创建配置文件 my.ini,若存在my-default.ini，则重命名为my.ini内容如下
转载
2024-10-08 20:35:34
145阅读
NiFI 集群介绍 NiFi集群架构 NiFi采用Zero-Master Clustering范例。集群中的每个节点对数据执行相同的任务，但每个节点都在不同的数据集上运行。其中一个节点自动选择（通过Apache ZooKeeper）作为集群协调器。然后，群集中的所有节点都会向此节点发送心跳/状态信息，并且此节点负责断开在一段时间内未报告任何心跳状态的节点。此外，当新节点选择加入群集时，新节
转载
2023-10-12 13:00:53
161阅读
# 如何实现“docker nifi配置文件”
## 流程图
```mermaid
flowchart TD
A(准备工作) --> B(下载nifi镜像)
B --> C(创建nifi容器)
C --> D(将配置文件拷贝到容器内)
D --> E(重启nifi容器)
```
## 步骤
| 步骤 | 操作 |
| ------ | ------ |
|
原创
2024-03-31 03:44:47
58阅读
clickhouse简单使用及优化一、ClickHouse是什么？二、特点三、使用步骤1.安装看官网2.数据类型3.命令行client操作4.用户密码设置5.表引擎6.创建表6.1创建普通表6.2创建分布式表四、用户及权限1.用户2.权限五、同步mysql数据优化策略 原来项目用mysql，随着数据量增加已不再适用（目前每周大约2亿数据），且这部分数据主要用于分析，不涉及更改，调研后迁移到cli
转载
2023-10-18 17:17:22
423阅读
nifi简介nifi背景NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。NiFi概念Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持
转载
2024-06-11 13:45:34
226阅读
文章目录JavaScript笔记1. 初识JavaScript1.1 JavaScript 是什么1.2 JavaScript的作用1.3 HTML/CSS/JS 的关系1.4 浏览器执行 JS 简介1.5 JS的组成1.6 JS使用方法1. 行内式 JS2. 内嵌式 JS3.外部JS文件2. JS基础语法2.1 注释2.2 输入输出2.3 变量let,var const申明变量特殊情况3. 数
转载
2024-01-17 22:34:56
38阅读
目录1 处理器介绍1.1 查看处理器1.2 常用处理器 - 整理2 配置处理器2.1 添加一个处理器2.2 配置处理器配置项说明2.3 配置处理器2.3.1 SETTING ( 设置 )2.3.2 SCHEDULING ( 任务调度 )2.3.3 PROPERTIES ( 属性 )2.3.4 COMMENTS ( 注释 )1 处理器介绍1.1 查看处理器1 选择处理器组件2 弹出窗口显示的就是所有
转载
2024-07-01 20:03:05
290阅读
Nifi1.11.4简介NiFi 最初由美国国家安全局(NSA)开发和使用的一个可视化、可定制的数据集成产品。2014 年 NSA 将其贡献给了 Apache 开源社区，2015 年 7 月成为 Apache 顶级项目。NiFi 特性NiFi 为数据流而设计，它可以用来在不同的数据中心之间搭建数据流通的管道。NiFi 通过拖拽界面、配置参数、简单地连接，即可完成对数据流的托管和系统间的自动化传输，
转载
2024-05-19 21:06:40
146阅读
系统环境及软件版本CentOS7JDK1.8.0_91Nifi-1.7.1Kerberos5 zookeeper3.4.5nifi-toolkit-1.7.1集群信息：host_nameIPserviceserver192.0.0.230Kerberos5 Server, Nifi Cluster Manager，zookeeper client192.0.0.231 Kerb
转载
2024-08-31 16:26:07
93阅读
