今天需要在新机器上安装一个kafka集群，其实kafka我已经装了十个不止了，但是没有一个是为生产考虑的，因此比较汗颜，今天好好地把kafka的安装以及配置梳理一下；1，kafka版本选取；现在我写博客的时候kafka的最新版本是1.1.0，如果最新版本稳定我就直接用最新的了，但是不一定稳定，因此，我先观望一下，kafka地址：http://kafka.apache.org/downloads；&
KAFKA是什么，有什么作用KAFKA是运行在一个或多个服务器集群上的，分类存储记录流（主题）的分布式流平台。 其两大作用，一是实时数据流实现平台上的数据共享，二是可以有应用程序对实时数据流进行变换和处理。KAFKA四个核心API：生产者（producer）：应用程序可以作为主题的发布者发布一至多个主题。消费者（consumer）：能够根据自己订阅的一至多个主题，接收并处理记录流。流处理器（St
转载
2024-04-09 15:17:19
55阅读
Pentaho开源项目下载页面 以前说起开源免费的ETL工具，Kettle是我觉得最容易上手和在生产场景部署的工具了，我们在很多数据集成的项目中都使用Kettle来服务。后来Kettle商业化以后，改名叫Pentaho了，Pentaho推出了商业化的付费产品套件以及社区免费版本。其实Pentaho是指一系列数据集成、分析及报表工具的集合，Pentaho Data Integration(P
转载
2024-03-01 23:27:09
45阅读
Hosts文件是一个用于储存计算机网络中各节点信息的计算机文件。这个文件负责将主
原创
2022-12-12 18:28:01
2166阅读
一、原理简述【1】Producer 将消息进行分组分别发送到对应 leader节点；【2】Leader将消息写入本地 log；【3】Followers从 Leader pull最新消息，写入 log后向 Leader发送 ack确认；【4】Leader收到所有 ISR中的 Follower节点的 ACK后，增加 HW，标记消息已确认全部备份完成，最后返回给 Producer消息已提交
转载
2024-06-03 20:01:12
124阅读
下载kafkatool官网下载地址：http://www.kafkatool.com/download.html由于官网下载太慢了，我把安装包上传到了百度网盘（起码比官网快）：链接:https://pan.baidu.com/s/1h1p6nag9T5hsSF-3-AN9Ww密码:o7df安装双击，
原创
2021-07-06 14:28:50
4126阅读
下载kafkatool官网下载地双击，安装包，按照提示，一直点击下一步就可以安装好了。使用双击打开，点击OK：输...
原创
2022-03-22 11:44:37
3820阅读
一、什么是hosts：hosts —— the static table lookup for host name（主机名查询静态表）。 hosts文件是一个用于储存计算机网络中各节点信息的计算机文件。这个文件负责将主机名映射到相应的IP地址。hosts文件通常用于补充或取代网络中DNS的功能。和DNS不同的是，计算机的用户可以直接对hosts文件进行控制。 Hosts是一个没
转载
2023-07-19 19:59:36
49阅读
目录前言：kafak是如何处理请求的？控制请求与数据类请求参考资料前言：无论是 Kafka 客户端还是 Broker 端，它们之间的交互都是通过**“请求 / 响应”的方式完成的**。比如，客户端会通过网络发送消息生产请求给 Broker，而 Broker 处理完成后，会发送对应的响应给到客户端。Kafka 自己定义了一组请求协议，用于实现各种各样的交互操作。比如常见的 PRODUCE 请求是用于
Kafka IO部分设计Kafka IO部分涉及的主要类和依赖关系见下图：上半部分是Kafka的类，下半部是java nio的类。Kafka的类讲解如下：1、NetWorkClient，顾名思义，这是Kafka IO对外暴露的客户端。IO操作都是通过它来对外暴露方法调用。实际上它是通过Kafka的KSelector来实现。2、KSelector，其实此类名称也是Selector，为了区
转载
2024-03-29 11:38:42
99阅读
Centos7 Network is unreachable 解决方法今天周五早上兴致冲冲的去上班，然后突然虚拟机的网关 挂掉了 ，直接裂开 经过在网上 大搜特搜，终于是解决了，写个文档，让后面的同学 少走弯路。。。。1、首先我还是用 XShell 去连接虚拟机， 但是连接不到2、接着去虚拟机里面看 跟本地的 网关的配置 ，输入命令 ifconfig 后发现之前配置的网关 没有了，莫名奇妙的，就是
转载
2024-03-21 11:31:52
52阅读
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M
**实现Docker Kafka Kafkatool**
作为一名经验丰富的开发者，我很乐意教你如何使用Docker搭建Kafka和Kafkatool。在开始之前，让我们先了解整个过程的流程。下面的表格将展示每个步骤的概述和需要执行的操作。
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 安装Docker |
| 2 | 创建Kafka容器 |
| 3 | 配置Ka
原创
2023-12-15 08:49:48
86阅读
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能(好简单的样子)，一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。1. 利用 Partition 实现并行处理我们都知道 Kafka 是一个 Pub-Sub 的消息系统，无论是发布还是订阅，
Kafka 安装配置 windows 下标签（空格分隔）： KafkaKafka 内核部分需要安装jdk, zookeeper.安装JDK安装JDK就不需要讲解了，安装完配置下JAVA_HOME，和Path,将java安装目录和运行文件目录配置下就ok拉。
安装地址: 下载安装 zookeeper安装地址：下载
安装完zookeeper 需要配置如下信息：下载后，解压放在目录D:\bigdata（
再均衡原理再均衡rebalance是在kafka使用中需要特别注意的一个知识点。新版kafka使用消费者协调器和组协调器对再均衡行为进行管理消费者协调器和组协调器kafka消费者客户端将全部消费组分成多个子集，每个消费组的子集在服务端对应一个GroupCoordinator对其进行管理，组协调器是kafka服务端组件；而消费者协调器ConsumerCoordinator则位于客户端的各个消费者中C
转载
2024-07-16 13:48:28
81阅读
Kafka 简介 Kafka 是一个基于分布式的消息发布 - 订阅系统，它被设计成快速、可扩展的、持久的分布式流处理平台。与其他消息发布 - 订阅系统类似，Kafka 在主题当中保存消息的信息。生产者向主题写入数据，消费者从主题读取数据。由于 Kafka 的特性是支持分布式，同时也是基于分布式的，所以主题也是可以在多个节点上被分区和覆盖的。术语Topic 用来对消息进行分类，每个进入到 Kafka
下载了Kafka的安装包：http://apache.fayea.com/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz拷贝到 06机器，然后按照要求先启动 Zookeeper但是 Zookeeper 报错，应该是Java版本问题，所以设置了 PATH和JAVA_HOME export PATH=/home/work/.jumbo/opt/s
Linux的Host文件（Host File）是一个用于将域名映射到IP地址的纯文本文件。它位于Linux操作系统中的特定路径下，并被用于解析域名。Host文件是一个十分重要的文件，它的作用不仅仅在于提供对特定域名的访问，还能够帮助用户进行网络管理和安全控制。
Host文件的位置和名称因不同的Linux发行版而有所不同，但通常情况下，它位于/etc目录下，并以hosts命名。用户可以使用文本编辑
原创
2024-01-31 02:03:25
960阅读
因为直接读hosts文件没有权限所以使用了以下方法。
转载
2018-09-12 21:23:00
111阅读
2评论
