目录前言基础生产消费者Topics 主题Partitions 分区架构前言Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。基础Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。生产者消费者生产者服务 Producer 向 Kafka 发送消息，消费者服务 Consu
转载
2024-03-22 10:56:05
149阅读
一、kafka为何高性能1.分区kafka是个分布式集群的系统，整个系统可以包含多个broker，也就是多个服务器实例。每个主题topic会有多个分区，kafka将分区均匀地分配到整个集群中，当生产者向对应主题传递消息，消息通过负载均衡机制传递到不同的分区以减轻单个服务器实例的压力。一个Consumer Group中可以有多个consumer，多个consumer可以同时消费不同分区的消息，大大的
转载
2024-02-17 20:34:19
173阅读
conf/red5.properties # RTMP rtmp.host=192.168.0.100 //监听IP rtmp.port=1935 //监听端口
原创
2023-05-17 11:37:42
180阅读
二：为 nginx 安装 ssl 模块如果没有安装 ssl 模块，即使你成功的配置好 https 的相关配置，网站也依旧不能使用 https，会提示诸如：无法提供安全连接、TLS协议不支持呀等问题。ssl 模块的安装是为了能让后端接口得以使用 https 的方式调用。找到我们的 nginx 安装解压包，我这里是放在 /usr/local/software 目录下，然后执行如下命令进入到 nginx
在 SpringBoot 整合
kafka 很简单。添加依赖
kafka-clients<dependency>
<groupId>org.apache.
kafka</groupId>
<artifactId>
kafka-clients</artifactId>
<version>2.4.0</v
转载
2024-07-25 17:11:09
109阅读
目录1、修改远程监听端口1.1 查看远程监听状态1.2 修改SCAN listener端口1.3 为监听注册实例1.4 重启远端监听scan listener生效新端口1.5 确认远端监听状态2、修改本地监听端口2.1 获取本地监听程序配置信息2.2 修改本地监听端口2.3 手工修改LOCAL_LISTENER参数注册实例2.4 重启本地监听2.5 查看本地监听状态oracle rac监听和ora
转载
2023-11-06 19:47:01
96阅读
一、Kafka的设计原理 1、 Kafka整体系统架构 一个典型的Kafka集群
转载
2024-08-06 21:21:06
125阅读
一、概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的发布/订阅式分布式消息系统二、特性持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失高并发：支持数千个客户端同时读写高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒三、应用场景常见可以用于web/n
转载
2024-02-26 17:09:56
34阅读
1.修改服务的启动脚本 [root@do1cloud01 init.d]# vim learn-school nohup ${JAVA_HO
原创
2023-06-20 06:53:33
475阅读
## 修改Docker的IP和端口
### 流程概览
以下是修改Docker的IP和端口的步骤概览：
```mermaid
pie
title 修改Docker的IP和端口流程
"创建新的网络" : 20
"停止并删除容器" : 20
"修改Docker配置文件" : 20
"重启Docker服务" : 20
"启动新容器" : 20
```
### 详细步骤及代码
原创
2023-10-12 09:17:07
117阅读
目录一、环境准备Ⅰ、准备好三台虚拟机用于搭建nginx和kafka集群Ⅱ、配置静态ip地址Ⅲ、修改主机名Ⅳ、域名解析编辑Ⅴ、安装基本软件Ⅵ、安装时间同步服务Ⅶ、关闭防火墙二、nginx搭建Ⅰ.安装epel源并下载nginx服务Ⅱ.启动nginx服务Ⅲ.编辑配置文件三、kafka集群搭建Ⅰ、kafka原理Ⅱ、Kafka集群配置Ⅲ、测试四、filebeat部署Ⅰ、filebeatⅡ、fliebeat的
转载
2024-05-04 19:00:27
114阅读
一、Postman概述（1）工具介绍Postman是一个接口测试工具，一款非常流行的API调试工具。在做接口测试的时候，Postman相当于一个客户端，它可以模拟用户发起的各类HTTP请求，将请求数据发送至服务端，获取对应的响应结果，从而验证响应中的结果数据是否和预期值相匹配；并确保开发人员能够及时处理接口中的bug，进而保证产品上线之后的稳定性和安全性。软件功能非常强大，界面简洁明晰、操作方便快
转载
2024-03-05 14:37:23
311阅读
问题1：消息处理问题存在两个守护进程，如果需要A、B两个守护进程每次获取的消息是一样的，则只需要使用同一个group_id读取同一个分区即可。如果只读取一个分区，则两个守护进程会同时获取相同的信息，比如生产者在一个topic生产了信息1,2,3,4,5,6，则两个守护进程都会同时获取到1,2,3,4,5,6如果希望两个守护进程是同时消费，也就是不会重复消费，这时候需要修改topic的分区，改成多个
转载
2024-03-27 11:10:47
135阅读
坚持思考，就会很酷背景我们总有这样的担忧：总有刁民想害朕，总有人偷偷在目录下删改文件，高危操作想第一时间了解，怎么办？ 而且通常我们还有这样的需求：监听一个目录中所有文件，文件大小到一定阀值，则处理；监控某个目录，当有文件新增，立马处理；监控某个目录或文件，当有文件被修改或者删除，立马能感知，进行处理；怎么做到这个事情呢？最常见的通常有三个办法：第一种：当事人主动通知你，这是侵入式的，需
转载
2024-03-29 18:04:09
51阅读
1. 准备三台机器,系统CentOs62. 安装好JDK和zookeeper参考: zookeeper配置记录3. 解压安装包到指定目录tar -zxvf kafka_2.12-2.1.0.tgz -C /javatools4. 创建一个文件夹,用来存放日志(集群所有机器都要有)mkdir -p /kafkadata5. 配置kafka config目录下的server.properties文件每
转载
2024-04-03 21:21:52
184阅读
网络操作1. 查看ipcat /proc/net/arp：查看内网ip2. PID&端口lsof -i:8080：查看端口被那个进程占用
netstat -nltp | grep 8080：查看端口监听情况
netstat -anp|grep 8080：查看端口被那个进程占用
netstat -nltp：查看网络进程的端口监听情况
jps：查看java端口
kill -9 p
转载
2023-12-12 10:42:59
582阅读
在前一篇：kafka学习1：kafka安装 中，我们安装了单机版的Kafka，而在实际应用中，不可能是单机版的应用，必定是以集群的方式出现。本篇介绍Kafka集群的安装过程： 一、准备工作 1、开通Zookeeper和Kafka需要的端口 在 zookeeper-端口说明 中，我们可以看到Zo
转载
2024-04-16 12:11:38
235阅读
# 如何修改Spark的监听端口
## 概述
在Spark中，默认情况下，Spark的监听端口是7077。如果需要修改这个端口号，可以通过修改配置文件来实现。下面将介绍如何实现“spark 修改监听端口”的具体步骤。
## 步骤概览
下面是实现“spark 修改监听端口”的步骤概览：
```mermaid
erDiagram
用户 --> 步骤1: 打开Spark配置文件
用
原创
2024-02-19 06:14:51
84阅读
1。IP错误。在设置URL时错误，例如：jdbc:oracle:thin:@192.168.0.36:1521:sharp数据库服务器不正确：ping 服务器IP是否正确。不正确，将URL更改为正确端口号错误：一般不会错误。进行一下操作：在DOS上键入sqlplus，检查oracle是否开启一却正常，执行下面第2步。2。防火墙如果机器上安装有放火墙，可能是服务器端口号屏蔽而造成的。关闭防火墙后，尝
转载
2024-10-26 08:03:50
43阅读
# Docker Kafka 更改监听端口指南
Kafka是一种广泛使用的开源流处理平台，常用于构建实时数据流应用。在使用Docker进行部署时，往往需要调整Kafka的监听端口，以确保与其他服务的连接稳定。本文将通过具体示例，介绍如何在Docker中更改Kafka的监听端口，并提供状态图和相关表格信息，以便您快速掌握这一过程。
## 一、Kafka 概述
Kafka 是一个分布式的流处理平
原创
2024-09-24 03:35:50
279阅读
