组成部分Broker: 消息中间件处理节点, 一个 kafka 节点就是一个 broker, 一个或者多个 broker 可以组成 kafka 集群Topic: 主题, 可以理解成是一个类别的名称, Kafka 根据 topic 对消息进行分类, 发布到 kafka 集群的每条消息都需要指定一个 topic, 不同的 topic 会被订阅该 topic 的消费者消费Producer: 消息生产者,
说明 Kafka 有的时候会跨机房接收消息，本地开发机也需要向远程服务器发一些消息，默认是不支持外连的，所以需要配置一下远程访问。 Kafka 服务器 host 修改 查看 hostname，查看内网 IP 并记录 1 2 3 4 cat /etc/hostname # vm172-31-110-6 ...
转载
2021-10-11 19:18:00
1778阅读
点赞
3评论
Kafka是一款开源的分布式消息系统，常用于实时数据处理和日志收集等场景。通常情况下，Kafka服务是部署在内网环境中的，但有时候我们需要配置外网访问以便于其他系统或服务可以与Kafka进行通信。下面将详细介绍如何配置Kafka使其支持外网访问。
### 配置Kafka支持外网访问步骤
| 步骤 | 操作 |
|:---:|:---:|
| 1 | 修改Kafka配置文件 `server.pr
原创
2024-05-24 10:01:23
1448阅读
# Docker Kafka 外网配置
在使用 Docker 部署 Kafka 集群时，如果需要从外网访问 Kafka，需要进行一些配置。本文将介绍如何通过 Docker 配置 Kafka，使其可以从外网访问，并提供相应的代码示例。
## 1. 安装 Docker
首先，我们需要在服务器上安装 Docker。可以根据操作系统的不同，选择适合的安装方式。以 Ubuntu 为例，可以使用以下命令
原创
2024-02-07 03:17:19
938阅读
mkdir -p /home/data/kafka修改配置 多台服务器都要修改vi /usr/local/kafka/config/kraft/server.propertiesnode.id=1 # 节点ID，每个节点的值要不同
controller.quorum.voters=1@pro30:9093,2@pro31:9093,3@pro32:9093 # Controller节点配置，用于管
一、nginx反向代理简单配置1、准备nginx环境这篇文章的前提是已经配置好了NGINX，而且tomcat已经配置好了，而且能能够访问了。 反向代理不同端口(本案例均是单节点) 这里介绍一台nginx服务器（192.168.83.130）,代理两个本机的tomcat（端口分别为：192.168.83.130:8080、192.168.83.130:8081），下面是安装后情况：1)nginx目录
转载
2024-02-13 13:17:26
245阅读
这个程序虽然我调试过，也分析过，但是没有记录笔记，发现下边这篇文章分析直接透彻，拿来借用，聊以自省，开发一直要研究透彻源码，学习其中的处理手段！kafka c接口librdkafka介绍之二：生产者接口librdkafka当前版本可以从github上获取：https://github.com/edenhill/librdkafka一、librdkafka基本信息： 源码结构：kafka/
转载
2024-02-28 22:43:46
118阅读
内外网不通集群部署模式 分别给kafka配置不同网段的监听 broker.id=70 listener.security.protocol.map=INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT #SASL_PLAINTEXT 表示需要先经过安全认证,
原创
2023-08-18 09:20:02
610阅读
使用双网卡同时连通内网和外网1、查看一下路由表，了解下基本情况打开终端，输入netstat -rt查看路由表的配置情况，我的如下参数说明：第一列：Destination，目标地，意思是：后面的参数代表着，如果前往这个ip的话，应该如何分配网关，网卡等，以及状态信息，都是针对前往这个ip的情况的第二列：Gateway，网关，意思是：如果需要前往这个ip，应该从哪个网关过去，这里有两种情况，即有内外网
在Kubernetes（简称K8S）集群中配置外网域名是非常常见的需求，可以让我们的服务能够通过域名进行访问，而不仅仅是IP地址。在本篇文章中，我将教你如何在Kubernetes中配置外网域名。
首先，让我们看看整个配置外网域名的流程：
| 步骤 | 描述 |
|-
原创
2024-03-21 10:38:15
152阅读
分布式项目一，分布图二，环境搭建1.安装linux2.安装docker1 卸载系统之前的dockersudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源平台，它为应用程序提供了更高效、更可靠的部署和管理方式。在使用K8S时，经常会涉及到内网域名和外网域名区别的问题。本文将指导刚入行的小白如何实现内网域名和外网域名的区分以及在K8S中的应用。
### 内网域名和外网域名区别
在Kubernetes中，内网域名和外网域名是有区别的。内网域名通常用于集群内部通信，外网
原创
2024-05-15 10:06:17
383阅读
Kafka 外网访问实现流程：
| 步骤 | 内容 | 代码示例 |
|------|--------------------|----------------------------------|
| 1 | 安装 Kafka | 无需额外代码 |
| 2
原创
2024-05-24 10:00:43
451阅读
一、项目介绍lz_rec_push_kafka_consume该项目通过kafka与算法进行交互，通过push推荐平台（lz_rec_push_platform）预生成消息体。二、问题背景发现项目的k8s容器会出现重启现象，重启时间刚好是push扩量，每小时push数据量扩大5倍左右。发生问题时，容器配置：CPU：4个，内存：堆内3G，堆外1G。三、问题排查流程：望-闻-问-切望：查看监控系统，观
转载
2024-04-29 12:42:47
61阅读
一、Kafka的事务为什么要使用Kafka事务在日常开发中，数据库的事务几乎是必须用到的，事务回滚不一定在于数据增删改异常，可能系统出现特定逻辑判断的时候也需要进行数据回滚，Kafka亦是如此，我们并不希望消息监听器接收到一些错误的或者不需要的消息。SpringBoot使用数据库事务非常简单，只需要在方法上加上@Transactional注解即可，那Kafka如果需要使用事务也可以如此，不过还需修
转载
2024-02-15 13:50:40
40阅读
Kafka本地集群搭建完成，简单入门Kafka集群的shell操作后，开始Java代码实现简单功能。kafka版本说明：此处使用最新版本（现在）—1.1.0版本1.1.0 is the latest release. The current stable version is 1.1.0.由于kafka集群环境搭建的遗留问题，导致运行Java代码时会报错，所以首先将环境完善了。修改主机名和ip映射
转载
2024-07-18 08:08:24
19阅读
使用内网穿透实现外网访问内网地址1. 什么是内网穿透？2. 内网穿透可以做什么?3. 内网穿透安全吗?4. 购买隧道5. 启动 本篇文章使用NATAPP实现外网访问内网地址，1. 什么是内网穿透？内网穿透简单来说就是将内网外网通过natapp隧道打通,让内网的数据让外网可以获取。比如常用的办公室软件等，一般在办公室或家里，通过拨号上网，这样办公软件只有在本地的局域网之内才能访问，那么问题来了，如
RocketMQ是阿里出的一个纯java的消息队列框架，其它的还有Kafka，Rabbitmq等，网上也有很多他们的对比，优缺点一目了然，国内可能RocketMQ使用居多，因为它抗住了全球最大的流量洪峰双十一，而且运行稳定！项目下载地址：GitHub：https://github.com/baiyuliang/SpringBoot下图为引用网上关于三者的对比情况图： 关于MQ的作用这里也不再讲了，
转载
2024-06-20 10:21:10
242阅读
1.环境信息
整体架构
不同的机房的producer向中心节点发送信息，中心节点内部局域网消费信息进入hadoop集群
部署服务器基本信息
外网IP 操作系统 内网IP 安装服务
1.1.1.1_yqmusic01 centos7.2_x86_64 10.19.97.25 kafka,zook
转载
2024-07-19 10:48:28
161阅读
根据域名查询外网ip
原创
2022-10-28 08:45:30
321阅读
