记录下和kafka相关的概念原理以及常用工具，文中很多理解参考文末博文、书籍还有前辈。kafka特性kafka是由领英(LinkedIn)提供给Apache，是一个消息引擎，现在发展成为还可以进行流处理（kafka streams）的一个平台，以下是它的架构图。（1）用的是发布-订阅模式，多个消费者都可以消费Message。（2）单机kafka吞吐量大概是80~100M/s，性能高，其中写性能基于
转载
2024-01-10 16:51:06
154阅读
标题：Kubernetes单点部署指南
摘要：本文将介绍如何使用Kubernetes进行单点部署。我们将逐步指导你完成整个部署流程，并提供代码示例和详细注释。
引言：
Kubernetes（通常简称为K8S）是一种用于管理容器化应用程序的开源平台。通过Kubernetes，使用者可以轻松地管理和部署容器，以实现高可用性、弹性伸缩和容器编排等功能。在本文中，我们将带领你一步一步进行Kuberne
原创
2024-01-15 12:03:02
111阅读
前言关于kafka的工作机制，已经在上篇博文：Kafka原理及单机部署中详细写出来，这里只是将kafka的一个群集部署写了出来。博文大纲：一、环境准备二、部署zookeeper服务三、部署kafka集群一、环境准备部署kafka群集所需的安装包，可以从我的网盘链接中下载。二、部署zookeeper服务1、主机kafka01配置如下#部署zookeeper
[root@kafka01 src]# t
# Docker Kafka 单点配置
## 1. 介绍
Apache Kafka 是一个分布式流处理平台，广泛用于处理实时数据流。在很多开发和测试场景中，我们希望能够快速搭建一个Kafka环境。Docker 提供了一种简便的方式来实现这一目标。本文将介绍如何在Docker中单点启动Kafka，并提供相应的代码示例。
## 2. 环境准备
首先，确保你的系统中安装了Docker和Docke
文章目录1 简介及应用场景2 下载安装安装配置kafka配置zookeeper配置测试3 客户端工具 kafka Tool4 项目实战4.1 maven依赖4.2 配置文件4.3 生产者推送数据4.4 消费者订阅数据5 小结 1 简介及应用场景Kafka 是一个由 LinkedIn 开发的分布式消息系统，它于2011年年初开源，现在由著名的 Apache 基金会维护与开发。 Kafka 使用 S
转载
2024-02-27 10:51:30
33阅读
一、安装zookeeper单点模式1、zookeeper安装前，需安装jdk，linux下jdk安装方式自己解决。2、去官网下载zookeeper安装包，将tar.gz文件解压到你的安装目录。进入zookeeper的conf目录，将zoo_sample.cfg改成zoo.cfg。将zoo.cfg的内容配置成如下tickTime=2000 # Zookeeper服务器心跳时间，单位毫秒 。
i
转载
2024-09-04 21:42:03
91阅读
MQ的工作模式: 一对一(点对点): 一个生产者对应一个消费者，生产者写入数据，消费者消费数据后，数据将在MQ中被删除。 一对多(发布订阅): 一个生产者可以对应多个消费者
转载
2024-04-19 09:57:40
69阅读
1、实践场景 开始前的准备条件：1） 确认各个节点的jdk版本，将jdk升级到和kafka配套的版本（解压既完成安装，修改/etc/profile下的JAVA_HOME，source /etc/profile，重启后jdk生效） 2、单节点kafka实践1） 启动zookeeper集群各个节点上启动zookeeper进程# bin/zkServer.sh start启
转载
2024-03-15 19:49:48
46阅读
（1）RabbitMQ的高可用性 RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式：单机模式，普通集群模式，镜像集群模式 1）单机模式 就是demo级别的，一般就是你本地启动了玩玩儿的，没人生产用单机模式 2）普通集群模式 意思就是在多台机器上启动
转载
2024-09-24 07:51:49
45阅读
转自： http://loofeer.blog.51cto.com/707932/740648 如果忘记linux系统机器的密码怎么办？进入单用户模式，进行passwd更改原来的密码，然后再重启就可以了。linux进入单用户模式的方法是有很多的，今天来讲三种方式，进入单用户模式出现：read-only file system ，不能维护系统分区怎么办？进入单用户模式的前提是系统引导器能正
转载
2024-07-13 09:07:42
113阅读
文章目录一、Kubernetes集群总览二、Worker节点的运行机制1、kubelet2、kube-proxy3、容器运行时三、Master节点的运行机制1、kube-apiserver2、kube-controller-manager3、kube-scheduler4、etcd猜你喜欢 一、Kubernetes集群总览Kubernetes中的节点分为两类：Master节点：也称为控制平面，是
转载
2023-12-22 19:17:50
79阅读
Kafka消息队列内部实现原理点对点模式(一对一)基于拉取或者轮询 。特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。发布/订阅模式(一对多)基于推送的消息传输模型。分为临时订阅者(只在主动监听主题时才接收消息)和持久订阅者(监听主题的所有消息, 即使当前不可用, 处于离线状态)。Kafka定义:Kafka 主要是用于缓存数据 (Scala编写) 是一个分布式的
转载
2024-06-24 07:12:57
18阅读
Kubenetes安装部署基本环境准备主机名IP角色k8s-master-server18.8.8.148masterk8s-node-server28.8.8.149node设置主机名hostnamectlset-hostnamek8s-master-server1配置Hostscat>>/etc/hosts<<EOF8.8.8.148k8s-master-server1
原创
2020-09-04 10:24:40
672阅读
点赞
本文中我们将会为 Kuebernetes 构建一个完备的单点登录系统，这个系统会为 kubectl、Web 应用的 Ingress，以及 Docker 镜像仓库和 Gitea 提供服务，本文中会涉及多数单点登录模型，对于 Gitlab、Kibana、Grafana 等其它应用，应该也是适用的。整个方案中使用了以 OpenLDAP 为后端的 KeyCloak 服务。OpenLDAP 能满足
翻译
2022-10-09 01:20:05
474阅读
一、原生Docker命令1. 删除所有dangling数据卷（即无用的Volume，僵尸文件）docker volume rm $(docker volume ls -qf dangling=true)2. 删除所有dangling镜像（即无tag的镜像）docker rmi $(docker images | grep "^<none>" | awk "{print $3}"3. 删
转载
2024-02-22 13:56:32
524阅读
目录1. 准备服务器2. 选一台服务器配置kafka安装包2.1 下载安装包2.2 解压安装包2.3 修改配置文件3. 分发安装包到其他机器4. 修改每台机器的broker.id5. 配置环境变量6. 启停kafka服务6.1 启动kafak服务6.2 停止kafka服务 1. 准备服务器 &nbs
转载
2024-03-27 09:52:50
187阅读
本节内容：消息中间件消息中间件特点消息中间件的传递模型Kafka介绍安装部署Kafka集群安装Yahoo kafka managerkafka-manager添加kafka cluster 一、消息中间件消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送；如果发送消息时接收者不可用，消息对列会保
## Kubernetes部署Kafka教程
### 整体流程
下面是部署Kafka的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建Kafka的命名空间 |
| 步骤2 | 部署Zookeeper |
| 步骤3 | 部署Kafka |
### 步骤1：创建Kafka的命名空间
在Kubernetes中，我们需要先创建一个命名空间来隔离Kafka
原创
2023-10-04 12:01:00
64阅读
# 在 Kubernetes 上部署 Kafka 集群
## 简介
在本篇文章中，我将向你介绍如何在 Kubernetes 上部署 Kafka 集群。Kafka 是一个分布式的流处理平台，非常适合处理大量的实时数据流。Kubernetes 是一个流行的容器编排工具，可用于管理和自动化部署容器化应用程序。
## 整体流程
下面是在 Kubernetes 上部署 Kafka 集群的整体流程：
原创
2024-01-15 20:30:51
60阅读
如何在Kubernetes上部署Kafka
Kafka是一个分布式流处理平台，广泛应用于大数据领域。在Kubernetes上部署Kafka可以实现高可用性和弹性扩展的分布式消息队列系统。本文将引导你如何在Kubernetes上部署Kafka，让你能够快速上手使用。
## 一、整体流程
下面是整个部署Kafka的流程，可以通过表格展示出来。
| 步骤 | 描述 |
| ---- | ----
原创
2024-01-16 14:43:23
83阅读
