1、简介 大数据分析处理平台包括数据的接入，数据的存储，数据的处理，以及后面的展示或者应用。今天我们连说一下数据的接入，数据的接入目前比较普遍的是采用kafka将前面的数据通过消息的方式，以数据流的形式将数据接入到大数据存储平台。 下面主要介绍一下kafka的安装和部署的过程。由于公司采用的是cloudera公司的产品，所以直接通过cloudera manager来安装部署kafka。只不过在
转载
2024-03-22 08:35:58
33阅读
1. 消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。 （2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型
转载
2024-04-05 19:52:01
67阅读
Kafka 位移提交自动提交手动提交 Consumer 的消费位移 : 记录 Consumer 下一条消息的消费位移如 : Consumer 已消费 5 条消息 (位移: 0 - 4) , 此时 Consumer 位移 = 5 : 指向下一条消息的位移提交位移 (Committing Offsets) : Consumer 向 Kafka 汇报位移数据Consumer 能同时消费多个分区的数据，
转载
2024-03-18 08:06:12
201阅读
Windows系统下搭建Kafkakafka简介安装JDK安装zookeeper安装Kafkakafka演示创建主题创建生产者创建消费者生产者发送消息，消费者消费消息 kafka简介Kafka是一个分布式发布——订阅消息传递系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题，消费者从主题中读取数据
转载
2024-04-08 08:36:22
179阅读
kafka的基本操作 启动ZooKeeper打开一个新终端并键入以下命令 - bin/zookeeper-server-start.sh config/zookeeper.properties 要启动Kafka Broker，请键入以下命令 - bin/kafka-server-start.sh config/server.properties
转载
2024-05-05 20:05:05
42阅读
当前版本：kafka_2.12-2.8.0、CentOS71. 声明当前内容主要为学习和使用Kafka搭建集群,当前内容借鉴官方文档官方文档描述如下：要想搭建集群，就必须配置相同的zookeeper地址，并且每个kafka的broker.id必须不相同，如果相同那么只能启动最开始的那个，另外一个启动失败！2. 搭建集群主机ip作用主机1192.168.1.101公用的zookeeper主机2192
转载
2024-04-02 21:03:04
39阅读
Kafka集群部署
原创
2023-06-08 21:36:13
543阅读
文件下载Java 8ZooKeeper 3.6.3Kafka 3.0.0下载到本地。使用Xftp或其他工具上传到虚拟机。Java解压：[root@M
原创
2022-11-10 00:04:31
393阅读
/usr/bin下面的是系统用户使用的应用程序脚本简介Kafka ConnectApache Kafka和其他系统之间流传输的数据工具connect-distributed.sh用于启动多节点的Distributed模式的Kafka Connect组件 (集群模式，可以扩展，容错)connect-standalone.sh用于启动单节点的Standalone模式的Kafka Connect组件 (
转载
2024-05-20 12:56:07
65阅读
Kafka常用脚本
在Kafka安装目录下（$KAFKA_HOME/bin），提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能，下面我们就脚本的使用作出说明。启动broker
bin/kafka-server-start.sh脚本提供了启动broker的功能。前台启动：> bin/kafka-server-start.sh config/server.propertie
转载
2024-02-27 17:43:51
95阅读
kafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群，使用2个kafka broker构建kafka集群. 其中kafka为0.
转载
2024-03-19 02:51:46
60阅读
centos7 Kafka部署（单机版）一、概念：Kafka主要应用场景是：日志收集系统和消息系统。 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）。 采用zookeeper对集群中的broker和comsumer进行管理；可以注册topic到zookeeper上，通过zookeeper的协调机
转载
2024-04-21 20:28:58
513阅读
导读： 本篇博客，笔者会介绍三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。 Kafka强依赖ZK，如果想要使用Ka
转载
2024-02-27 22:13:21
200阅读
本节内容：消息中间件消息中间件特点消息中间件的传递模型Kafka介绍安装部署Kafka集群安装Yahoo kafka managerkafka-manager添加kafka cluster 一、消息中间件消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保
转载
2024-06-19 17:36:34
93阅读
一、分别下载kafka和zookeeper的安装包并分发给各服务器，然后解压kafaka和zookeeper二、配置kafka的配置文件 解压后进入文件夹中的config文件夹, 修改红色框框内的配置文件每台机器上的broker.id都需要修改，且是不能重复的数字 存数据的文件夹 设置每台机器的zookeeper地址，端口号2181三、启动每台机器的zookeeper 先给每台机器的zoo.cfg
转载
2024-03-17 00:07:57
65阅读
kafka是一个分布式且基于发布/订阅的消息系统。#Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。需要注意的是：Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台 超过半数，允许1台挂掉 1、producer：生产者，负责发布消息到kafka 2、broker：代表一台或多台服务器 3、topic：每条发
转载
2024-03-27 16:37:25
49阅读
# 使用Shell脚本实现自动部署和启动Kafka、Redis
在现代的开发环境中，自动化部署工具可以大大提高工作效率，其中使用Shell脚本来实现自动化部署是一个入门级的好方式。本文将讲解如何通过Shell脚本实现Kafka和Redis的自动部署与启动。
## 1. 整体流程简介
在我们开始之前，先概述一下整个工作流程，下面是一个简单的步骤表格：
| 步骤 | 描述
原创
2024-09-17 07:16:17
120阅读
filebeat安装在要收集日志的应用服务器中，filebeat收集到日志之后传输到kafka中，logstash通过kafka拿到日志，在由logstash传给后面的es，es将日志传给后面的kibana，最后通过kibana展示出来。
4、Kafka：
数据缓冲队列。同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃
转载
2021-08-26 21:03:59
168阅读
1、简介 大数据分析处理平台包括数据的接入，数据的存储，数据的处理，以及后面的展示或者应用。今天我们连说一下数据的接入，数据的接入目前比较普遍的是采用kafka将前面的数据通过消息的方式，以数据流的形式将数据接入到大数据存储平台。 下面主要介绍一下kafka的安装和部署的过程。由于公司采用的是cloudera公司的产品，所以直接通过cloudera manager来安装部署kafka。只不过在
转载
2023-09-07 20:42:20
82阅读
准备资源：kafka_2.11-2.4.1一、Kafka概述1. 是什么：消息队列2. 架构图：(1) Kafka集群需要搭建在多台服务器上， 每一台服务器称之为Broker，类似于Zookeeper集群中每一台服务器都要有唯一的myid一样，Broker都有唯一不重复的id；(2) Broker组成的集群需要与Zookeeper协同工作，Zookeeper的作用主要是：帮助Broker
转载
2024-04-03 15:49:19
76阅读
