Pentaho开源项目下载页面 以前说起开源免费的ETL工具，Kettle是我觉得最容易上手和在生产场景部署的工具了，我们在很多数据集成的项目中都使用Kettle来服务。后来Kettle商业化以后，改名叫Pentaho了，Pentaho推出了商业化的付费产品套件以及社区免费版本。其实Pentaho是指一系列数据集成、分析及报表工具的集合，Pentaho Data Integration(P
转载
2024-03-01 23:27:09
45阅读
KAFKA是什么，有什么作用KAFKA是运行在一个或多个服务器集群上的，分类存储记录流（主题）的分布式流平台。 其两大作用，一是实时数据流实现平台上的数据共享，二是可以有应用程序对实时数据流进行变换和处理。KAFKA四个核心API：生产者（producer）：应用程序可以作为主题的发布者发布一至多个主题。消费者（consumer）：能够根据自己订阅的一至多个主题，接收并处理记录流。流处理器（St
转载
2024-04-09 15:17:19
55阅读
今天需要在新机器上安装一个kafka集群，其实kafka我已经装了十个不止了，但是没有一个是为生产考虑的，因此比较汗颜，今天好好地把kafka的安装以及配置梳理一下；1，kafka版本选取；现在我写博客的时候kafka的最新版本是1.1.0，如果最新版本稳定我就直接用最新的了，但是不一定稳定，因此，我先观望一下，kafka地址：http://kafka.apache.org/downloads；&
下载kafkatool官网下载地址：http://www.kafkatool.com/download.html由于官网下载太慢了，我把安装包上传到了百度网盘（起码比官网快）：链接:https://pan.baidu.com/s/1h1p6nag9T5hsSF-3-AN9Ww密码:o7df安装双击，
原创
2021-07-06 14:28:50
4126阅读
下载kafkatool官网下载地双击，安装包，按照提示，一直点击下一步就可以安装好了。使用双击打开，点击OK：输...
原创
2022-03-22 11:44:37
3820阅读
目录前言：kafak是如何处理请求的？控制请求与数据类请求参考资料前言：无论是 Kafka 客户端还是 Broker 端，它们之间的交互都是通过**“请求 / 响应”的方式完成的**。比如，客户端会通过网络发送消息生产请求给 Broker，而 Broker 处理完成后，会发送对应的响应给到客户端。Kafka 自己定义了一组请求协议，用于实现各种各样的交互操作。比如常见的 PRODUCE 请求是用于
Kafka IO部分设计Kafka IO部分涉及的主要类和依赖关系见下图：上半部分是Kafka的类，下半部是java nio的类。Kafka的类讲解如下：1、NetWorkClient，顾名思义，这是Kafka IO对外暴露的客户端。IO操作都是通过它来对外暴露方法调用。实际上它是通过Kafka的KSelector来实现。2、KSelector，其实此类名称也是Selector，为了区
转载
2024-03-29 11:38:42
99阅读
一、原理简述【1】Producer 将消息进行分组分别发送到对应 leader节点；【2】Leader将消息写入本地 log；【3】Followers从 Leader pull最新消息，写入 log后向 Leader发送 ack确认；【4】Leader收到所有 ISR中的 Follower节点的 ACK后，增加 HW，标记消息已确认全部备份完成，最后返回给 Producer消息已提交
转载
2024-06-03 20:01:12
124阅读
1、kafka是什么类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。
Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition Utils.abs
转载
2024-04-07 00:04:35
59阅读
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M
作者：wjun平台：MacOS版本：Kafka 2.4.1 、Zookeeper 3.6.2一、Zookeeper 配置 SASL若只关注 kafka 的安全认证，不需要配置 Zookeeper 的 SASL，但 kafka 会在 zk 中存储一些必要的信息，因此 zk 的安全认证也会影响到 kafka ???1.1 新建 zoo_jaas.conf 文件zoo_jaas.conf文件名、文件所在
转载
2024-03-08 21:01:41
570阅读
再均衡原理再均衡rebalance是在kafka使用中需要特别注意的一个知识点。新版kafka使用消费者协调器和组协调器对再均衡行为进行管理消费者协调器和组协调器kafka消费者客户端将全部消费组分成多个子集，每个消费组的子集在服务端对应一个GroupCoordinator对其进行管理，组协调器是kafka服务端组件；而消费者协调器ConsumerCoordinator则位于客户端的各个消费者中C
转载
2024-07-16 13:48:28
81阅读
下载了Kafka的安装包：http://apache.fayea.com/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz拷贝到 06机器，然后按照要求先启动 Zookeeper但是 Zookeeper 报错，应该是Java版本问题，所以设置了 PATH和JAVA_HOME export PATH=/home/work/.jumbo/opt/s
Kafka 简介 Kafka 是一个基于分布式的消息发布 - 订阅系统，它被设计成快速、可扩展的、持久的分布式流处理平台。与其他消息发布 - 订阅系统类似，Kafka 在主题当中保存消息的信息。生产者向主题写入数据，消费者从主题读取数据。由于 Kafka 的特性是支持分布式，同时也是基于分布式的，所以主题也是可以在多个节点上被分区和覆盖的。术语Topic 用来对消息进行分类，每个进入到 Kafka
**实现Docker Kafka Kafkatool**
作为一名经验丰富的开发者，我很乐意教你如何使用Docker搭建Kafka和Kafkatool。在开始之前，让我们先了解整个过程的流程。下面的表格将展示每个步骤的概述和需要执行的操作。
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 安装Docker |
| 2 | 创建Kafka容器 |
| 3 | 配置Ka
原创
2023-12-15 08:49:48
86阅读
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能(好简单的样子)，一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。1. 利用 Partition 实现并行处理我们都知道 Kafka 是一个 Pub-Sub 的消息系统，无论是发布还是订阅，
Kafka 安装配置 windows 下标签（空格分隔）： KafkaKafka 内核部分需要安装jdk, zookeeper.安装JDK安装JDK就不需要讲解了，安装完配置下JAVA_HOME，和Path,将java安装目录和运行文件目录配置下就ok拉。
安装地址: 下载安装 zookeeper安装地址：下载
安装完zookeeper 需要配置如下信息：下载后，解压放在目录D:\bigdata（
目录1. Kafka Connect Develop Detail KafkaConnect开发详解1.1. Core Concepts 核心概念1.1.1. Connecttors1.1.2. Tasks1.1.3. Workers1.2. 具体实现1.2.1. 新建项目，添加依赖1.3. 注意事项1.4. 参考Kafka Connect Develop Details 开发详解不得不吐槽下Ka
转载
2024-07-18 08:45:15
60阅读
参考博文：kafka 配置文件参数详解参考博文：Kafka【第一篇】Kafka集群搭建参考博文：如何为Kafka集群选择合适的Partitions数量参考博文：Kafka Server.properties参考博文：kafka常用配置【重要】参考博文：kafka常用配置 1. 主机规划主机名称IP信息内网IP操作系统安装软件备注：运行程序mini0110.0.0.
1.kafka 知识总结1、kafka是什么类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。kafka是一个生产-消费模型。Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发策略由producer决定，默认是defaultPartition Utils.a
