使用消息中间件无非就是异步，解耦，削峰。 现在最热门就是Kafka了。本文将本地kafka+springboot服务搭建起来首先下载kafka和zookeeper kafka_2.12-1.1.0 下载地址：http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgzzookeeper-3.4.12 下载地址：http://mir
转载
2024-06-12 21:29:47
180阅读
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在 大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合 大规模的数据处理。为了已在同时搞定在线应用（消息）
Windows系统下搭建Kafkakafka简介安装JDK安装zookeeper安装Kafkakafka演示创建主题创建生产者创建消费者生产者发送消息，消费者消费消息 kafka简介Kafka是一个分布式发布——订阅消息传递系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题，消费者从主题中读取数据
转载
2024-04-08 08:36:22
179阅读
文章目录一、Kafka概述1.1Kafka介绍1.2 消息队列1.3 消息队列的两种模式1.4 kafka快速入门1.4.1 安装包下载1.4.2 安装kafka1.4.3 kafka命令行操作二、Kfaka构架2.1 kafka基础框架2.2 kafka工作流程以及文件储存机制2.3 kafka 生产者2.3.1 分区策略2.3.2 数据可靠性保证2.3.3 Exactly Once语义2.4
转载
2024-03-22 08:49:52
753阅读
近期在搞kafka，在Windows环境搭建的过程中遇到一些问题，把具体的流程几下来防止后面忘了。 准备工作： 1.安装jdk环境 http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载kafka的程序安装包： http://kafka.apache.org/downloads 解压文件提取出里面的文件
转载
2024-05-14 14:54:27
542阅读
一、运维日志在 Docker 容器中安装和配置 Kafka 环境。关于 Kafka 镜像可以在 Docker 官网镜像中搜索 Docker Hub
二、下载镜像 docker pull wurstmeister/kafka docker pull wurstmeister/zookeeper 二、启动 Zookeeper docker run -d --name zookeeper -p 2181
转载
2023-06-09 10:44:49
517阅读
写在前面：1，Kafka安装之前，首先电脑上应该有安装JDK环境，Zookeeper(Kafka需要依赖于Zookeeper环境)，Zookeeper的安装可以参考这篇文章:，JDK的安装在这就不再叙述了。2，这篇文章中kafka的安装是在Windows下安装的3，这篇文章的cmd我使用的是cmder，大家可以看下这篇文章：4,如果本篇博客中哪里说的不对，还请各位博主及时指出，感谢。开始安装：首先
转载
2024-02-27 11:09:14
37阅读
Kafuka-windows环境搭建流程说明一、安装JDK 1.JDK下载路: 2.按照: 参考步骤，依次配置JAVA_HOME、Classpath和Path，然后打开cmd，运行java -version成功，则JDK配置成功；二、安装Zookeeper 由于Kafka的运行依赖于Zookeeper，所以在运行Kafka之前需要安装并运行Zookeeper 1.Zookeeper下载路径 ht
转载
2024-05-11 20:53:28
274阅读
1.下载 需要下载 zookeeper 和kafka 我下载的版本是 2.部署 2.1 部署 zookeeper 2.1.1 新建配置文件 zoo.cfg 内容为 tickTime = 2000 dataDir= D:/software/kafka/zookeeper/data clientPort
原创
2022-06-05 00:54:32
553阅读
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这
目录一：安装准备二：单机安装三：集群安装（全分布）一：安装准备1.必须安装了zookeeperzookeeper安装操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客2.下载kafka 可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apac
转载
2024-04-04 08:11:30
137阅读
前置条件：你的 Windows 10 版本 2004 或更高版本。如果低于此版本，请到设置-更新和安全-windows更新，更新系统。1、下载安装wsl kali2、以管理员身份打开 PowerShell 并运行以下命令：以下命令会启用wsl 2 ：dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /
转载
2024-03-29 10:51:28
141阅读
文件下载Java 8ZooKeeper 3.6.3Kafka 3.0.0下载到本地。使用Xftp或其他工具上传到虚拟机。Java解压：[root@M
原创
2022-11-10 00:04:31
393阅读
导读： 本篇博客，笔者会介绍三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。 Kafka强依赖ZK，如果想要使用Ka
转载
2024-02-27 22:13:21
200阅读
centos7 Kafka部署（单机版）一、概念：Kafka主要应用场景是：日志收集系统和消息系统。 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）。 采用zookeeper对集群中的broker和comsumer进行管理；可以注册topic到zookeeper上，通过zookeeper的协调机
转载
2024-04-21 20:28:58
513阅读
kafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群，使用2个kafka broker构建kafka集群. 其中kafka为0.
转载
2024-03-19 02:51:46
60阅读
kafka是一个分布式且基于发布/订阅的消息系统。#Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。需要注意的是：Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台 超过半数，允许1台挂掉 1、producer：生产者，负责发布消息到kafka 2、broker：代表一台或多台服务器 3、topic：每条发
转载
2024-03-27 16:37:25
49阅读
一、分别下载kafka和zookeeper的安装包并分发给各服务器，然后解压kafaka和zookeeper二、配置kafka的配置文件 解压后进入文件夹中的config文件夹, 修改红色框框内的配置文件每台机器上的broker.id都需要修改，且是不能重复的数字 存数据的文件夹 设置每台机器的zookeeper地址，端口号2181三、启动每台机器的zookeeper 先给每台机器的zoo.cfg
转载
2024-03-17 00:07:57
65阅读
本节内容：消息中间件消息中间件特点消息中间件的传递模型Kafka介绍安装部署Kafka集群安装Yahoo kafka managerkafka-manager添加kafka cluster 一、消息中间件消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保
转载
2024-06-19 17:36:34
93阅读
目录一、获取Kafka二、启动KAFKA环境2.1 启动zookeeper服务2.2 启动Kafka服务2.3 验证 Kafka 服务是否正常工作三、操作Kafka3.1 创建 Kafka 主题（Topic）3.2 将一些事件写入主题（Topic）3.3 读取事件 一、获取Kafka下载最新的 Kafka 版本并解压： 打开配置文件：/config/server.properties，进行相应配
转载
2024-02-25 10:33:04
276阅读
