最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web一、 kafka环境搭建下载kafka很简单，可以使用源码的方式和安装包的方式安
转载
2024-05-14 15:57:18
89阅读
二、Kafka组件与角色http://kafka.apache.org/Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousan
转载
2024-05-06 19:58:20
75阅读
前言kafka2.8以后得版本可以不依赖zookeeper搭建kafka集群，本文选用kafka3.3.1版本搭建kafka服务端，搭建环境：CentOS 7、JDK17无JDK环境参考搭建：https://blog.51cto.com/u_12141297/6114634一、下载kafka1、下载地址：https://kafka.apache.org/downloads2、创建目
原创
2023-03-11 17:02:32
1184阅读
虽然在前面一部分我们启动了kafka集群，并通过控制台的方式实现了producer和consumer，但是我们还是了解一下kafka单个节点是的配置参数属性，也只有了解了这些参数的配置，才能将kafka的性能发挥到最好。 标红部分为集群必配属性，致于其它的参数配置等学完后再回过头来看这些参数，你就知道是什么意思了 1.broker.id
broker
转载
2024-05-05 17:50:36
49阅读
Kafka 副本机制副本副本角色Read-your-writes单调读ISRUnclean 领导者选举 副本机制 (Replication , 备份机制) : 分布式系统在多台网络互联的机器上保存有相同的数据拷贝副本机制好处 :提供数据冗余 : 系统部分组件失效，系统依然能继续运转，提高了整体可用性 , 数据持久性提供高伸缩性 : 支持横向扩展，能通过增加机器来提升读性能，进而提高读操作吞吐量改
转载
2024-03-17 10:40:24
50阅读
项目中用到kafka，应用作为生产者，发送消息时，报错：Magic v1 does not support record headers网上也有很多同样的博客记录这个错误，如：https://zhuanlan.zhihu.com/p/205676507原因是 Kafka服务端和客户端的版本不兼容导致了报错；应用环境：spring boot 版本：2.1.6.RELEASE查看客户端kafka版本：
转载
2024-02-22 18:07:22
1708阅读
【server.properties】kafka服务设置每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048
转载
2024-03-19 09:52:48
139阅读
KafKa搭建1.上传压缩包2.解压，配置环境变量（master、node1、node2）#解压tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/• 1• 2#配置环境变量
vim /etc/profile
#追加以下内容
#kafka
export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0
export
原创
精选
2021-10-24 15:59:37
1477阅读
点赞
事先安装好zookeeper 1.下载kafka：http://kafka.apache.org/downloads.html这里我下载的是kafka_2.11-0.11.0.1.tgz 2.解压tar -xzf kafka_2.11-0.11.0.1.tgz解压后的目录结构 3.修改配置config/server.properties主要修改：broker
转载
2024-03-23 11:07:35
47阅读
Kafka网络模块之Server端，介绍Server端启动、接收请求和处理请求的过程。 本文分享自华为云社区《Kafka网络模块-Server端》，原文作者：中间件小哥 。 SocketServer 是 Kafka server 端用于处理请求的模块，在 Kafka 启动过程创建、初始化、启动
转载
2021-06-24 10:15:00
140阅读
kafka集群中会有一个或者多个broker，其中只有一个broker会被选为控制器（kafka controller），其负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化，控制器将通知所有的broker更新其元数据信息。 控制器的选择时通过向zookeeper中写入临时节点/cont
转载
2024-07-01 19:37:02
213阅读
1.NFS服务NFS-Network FileSystem的缩写，NFS是由Sun开发并发展起来的一项用于在不同机器，不同操作系统之间通过网络互相分享各自的文件。NFS server也可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中，在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 NFS协议从诞生到现
转载
2024-04-05 08:55:15
83阅读
Kafka网络模块之Server端，介绍Server端启动、接收请求和处理请求的过程。
原创
2021-06-24 10:20:45
646阅读
点赞
摘要：Kafka网络模块之Server端，介绍Server端启动、接收请求和处理请求的过程。 本文分享自华为云社区《Kafka网络模块-Server端》，原文作者：中间件小哥 。 SocketServer 是 Kafka server...
转载
2021-06-24 10:16:00
67阅读
2评论
一.Zabbix简介 zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix由zabbix server与可选组件zabbix agent两部门组成
原创
2015-08-31 12:02:04
1868阅读
本文所使用的工具为如下：Telegraf「数据采集」InfluxDB「数据存储」Grafana「数据可视化」一般的我们如果需要搭建服务器监控平台，需要去读取服务器实时的内存信息，CPU状态等等，就正如我们上一篇使用python从零搭建服务器监控系统一样。如果大家没看过之前的那篇文章，推荐大家去看看。里面有搭建监控系统的整个思路。总的来说就是数据采集，数据存储，数据可视化这三个方面。这次我们使用的是
转载
2024-03-25 14:13:56
103阅读
博主在之前已经介绍过如何部署Kafka，Kafka的部署模式只有集群模式，Kafka的架构本就是天然的集群架构，因此单节点的部署和多节点的部署是类似的。集群节点：节点地址ZooKeeper192.168.1.5Kafka0192.168.1.4Kafka1192.168.1.6Kafka2192.168.1.199为了简单起见，这里不使用ZooKeeper集ll脚本搭建单机版Z
原创
2022-11-10 00:35:05
653阅读
1、上传压缩包到任意节点 2、解压，配置环境变量 3、修改config/server.properties 1、broker.id=0，每一个节点broker.id 要不一样 2、zookeeper.connect=master:2181,node1:2181,node2:2181 3、log.di ...
转载
2021-07-24 21:12:00
90阅读
2评论
Kafka 被称为下一代分布式消息系统，由 scala 和 Java 编写，是非营利性组织 ASF(Apache Software Foundation，简称为 ASF)基金会中的一个开源项目，比如 HTTP Server、Hadoop、ActiveMQ、Tomcat 等开源软件都属于 Apache ...
转载
2021-08-20 21:18:00
155阅读
2评论
KafKa搭建1.上传压缩包2.解压，配置环境变量（master、node1、node2）#解压tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/• 1• 2• 1.• 2.• 3.• 4.#配置环境变量vim /etc/profile3.修改配置文件#修改config/server.properties 1、broker.i
转载
2021-10-24 19:00:58
86阅读
