所需软件 JKD 1.8.0_171
elasticsearch 6.5.4
logstash 6.5.4
kibana 6.5.4
kafka 2.11-2.1.1
filebeat-6.5.4-x86_64.rpmelk和filebeat下载地址 https://www.elastic.co/downloads/past-releaseskafka下载
转载
2024-10-28 11:49:56
53阅读
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。1 介绍 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服
转载
2024-02-22 02:06:46
57阅读
本文总结了在 Ubuntu18.04 虚拟机上部署 Kafka 集群的具体过程。
原创
2023-12-13 11:24:56
5998阅读
部署Kafka#官方文档http://kafka.apache.org/quickstart1、环境准备#在三个节点提前部署jdk和zookeeper[root@node1 ~]#java -versionopenjdk version "1.8.0_342"[root@node1 ~]#zkServer.sh version/usr/bin/javaZooKeeper JMX enabled b
推荐
原创
2022-11-02 17:02:39
1507阅读
RabbitMQ学习一（快速入门）1、RabbitMQ的安装直接拉取dockerHub上的最新镜像docker pull rabbitmq创建rabbitMQ容器并运行1、可以通过如下命令查看运行的容器docker ps2、创建MQ容器docker run -d --hostname my-rabbit --name some-rabbit -e RABBITMQ_DEFAULT_VHOST=my
转载
2024-03-23 09:19:54
66阅读
一、部署kafka集群 启动zookeeper服务： zkServer.sh start 修改配置文件config/server.properties #broker 的全局唯一编号，不能重复 broker.id=0 #删除 topic 功能使能 delete.topic.enable=true # ...
转载
2021-09-06 07:46:00
115阅读
2评论
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一...
转载
2021-09-06 10:05:00
169阅读
目录 一、简介二、术语介绍2.1 producter 2.2 consumer2.3 Topic2.4 partition2.5 broker2.6 leader2.7 Follower2.8 replica三 使用场景3.1 削峰3.2 异步3.3 解耦3.4 大数据业务四 kafk
转载
2024-06-05 01:03:53
120阅读
前言：以本人的三台虚机：10.97.22.3、10.97.22.4、10.97.22.5为例，分别部署zookeeper和kafka集群环境一、部署Zookeeper：1、进入到 /usr/local/kafka/目录中：cd /usr/local/kafka/2、下载 zookeeper-3.4.10.tar.gz： wget https://mirrors.tuna.tsinghua
转载
2024-04-16 08:14:04
142阅读
Apache kafka是分布式、容错流程处理系统。本文介绍Spring集成Kafka以及其提供对Kafka Java Client Api的抽象封装。 Spring Kafka利用KafkaTemplate发送消息，@KafkaListener注解消费消息，从而实现模板化编程模式，简化Java对Kafka交互访问。1. 环境及依赖读者可以参照官网进行安装，也可以通过docker快速搭建。spri
转载
2024-06-20 14:54:27
93阅读
1. kafka介绍 1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of reco
转载
2024-07-25 11:15:59
35阅读
本文详细介绍了在CentOS 7系统上安装配置Kafka消息系统的完整流程。首先说明需要准备Java环境（JDK 8+），并提供了JDK下载
目录一、Kafka是什么二、Kafka主要特点为什么使用Kafka？主题和日志1.主题（Topic）2.分区（Partition）分布式高性能【Linux】 Hi，大家好，我是一个爱冒泡的程序猿 好久不见呀，时间过得好快，转眼间已经2022年，好久没更新了，希望自己今年能坚持记录反省自己一、Kafka是什么Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且
转载
2024-02-16 11:57:02
55阅读
1、应用场景
1.1 kafka场景
Kafka最初是由LinkedIn公司采用Scala语言开发，基于ZooKeeper，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以 高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。
Apache Kafka能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统
推荐
原创
2022-08-11 14:35:54
598阅读
MySQL详细安装步骤 - windows(MySQL Installer for Windows)附链接1.下载所需要的版本(可自选，5.7.29为稳定版本)下载链接，运行程序2.个人学习使用server only，如果不确定需求，则选择full，全部安装；Next3.如果图中Status为Ready to install，Execute;若不是，则说明以前安装过MySQL，根据相关提示操作即可
转载
2023-05-22 09:14:06
203阅读
本文总结了在 Ubuntu18.04 虚拟机上部署 Kafka KRaft 版本集群的具体过程，均为本人实操，可以直接套用。
原创
2023-12-13 11:24:48
6009阅读
点赞
一、理论介绍 （一）相关资料 1、官方资料，很具体： ://kafka.apache.org/documentation.html#quickstart 2、有
转载
2017-05-27 10:55:00
169阅读
2评论
文章目录单节点操作创建主题查看主题修改主题删除主题发送消息消费消息多主题消费单播消费多播消费查看消费组查看消费组的消费偏移量查看数据文件多节点操作创建主题查看主题发送消息消费消息容错性查看主题分区对应的leader信息 通过 shell 操作 kafka单节点操作创建主题创建 test 主题, 可以手动创建, 也可以配置为生产者自动创建–zookeeper 192.168.2.121:2181/
转载
2024-02-29 09:41:44
204阅读
文章目录1. kafka基础入门1.1. kafka是什么？1.2. kafka基本概念：1.3. kafka优缺点1.4. kafka安装&启动1.5. kafka基本管理操作命令:2. kafka实战2.1. kafka java客户端实战2.2. kafka生产者参数详解2.3. 偏移量与偏移量提交2.4. Rebalance 分区再均衡2.5. 独立消费者:2.6. 消费者参数:
转载
2024-06-07 17:24:47
117阅读
KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Link
转载
2020-10-20 14:54:00
89阅读
2评论
