1. 安装部署1.1 集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka1.2 jar包下载http://kafka.apache.org/downloads1.3 集群部署1）解压安装包[muzili@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/2）修改
1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理。拉数据，是RDD在执行的时候直接去拉数据。2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK中的数据可能不同步，Spa
转载
2024-10-22 14:35:35
905阅读
单机安装了kafka，创建完成主题，启动生产者的时候产生报错现象。
原创
2021-07-15 13:41:49
6542阅读
错误背景我用KafkaTools工具连接kafka 连不上,报timeout expired while fetching topic metadata这个错误,然后四处百度,
原创
2022-07-04 11:12:32
1445阅读
windwos环境下使用kafka2.8.0，出现 ERROR Failed to clean up log for __consumer_offsets-）问题参考原因解决： bat 进程守护运行无黑窗口运行模式 问题参考ERROR Failed to clean up log for __consumer_offsets-42 in dir C:\tmp\kafka-logs due to
转载
2024-04-16 15:02:37
1973阅读
今天在使用代码编写kafka 生产者发送消息的时候，因为我的手误出现的搞笑的事情。
同样的代码和kafka 在不久前执行过，是没有问题的。 代码如下
package streaming.utils
import java.util
import java.util.{Date, Properties, UUID}
import com.alibaba.fastjson.JSONObject
转载
2020-08-21 19:42:00
1297阅读
2评论
网上和本人遇到的不太一样：有几种情况：1.少broker或者broker没有运行：2.kafka的IP配置为外网IP，但是外网端口没屏蔽的：本人是运维重启kafka，没有做任何修改，验证是否正常重启时，1. 启动kafka-console-producer.sh2.启动kafka-console-consumer.sh报错：Error while fetching metadata with co
转载
2024-05-21 16:10:18
854阅读
kafka的数据单元称为消息，消息是由字节数组组成。键：字节数组，决定消息写入哪个分区消息分批次传输可以减少网络开销。批次越大单位时间内处理的消息越多，单个消息的传输时间越长。将批次数据压缩可以提升数据的传输和存储能力，但要做更多的计算处理。kafka消息按主题进行分类。每个主题分为若干个分区。消息以追加的形式写入分区。以先入先出的顺序读取。（由于一个主题有多个分区，所以无法保证主题分为内消息有序
转载
2024-04-24 10:12:51
63阅读
一、主启动类1. 加载多个组件根据项目中引入的starter，将该starter场景下的bean加载进容器中@SpringBootApplication
public class Application {
public static void main(String[] args) {
// 得到一个容器，容器只存放着对应的starter下面的所有组件
C
转载
2024-03-31 13:42:14
455阅读
引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。步骤如下:Kafka tool 连接node1:9092集群使用 node1 node2 node3# 在 windows HOSTS文件192.168.88.161 node1 node1.itcast.cn192.168.88.162 node2 node2.itcast.cn192.168.88.163 node3 node3.itc
原创
2021-07-06 17:09:25
8564阅读
引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。步骤如下:Kafka tool 连接node1:9092集群使用 node1 node2 node3# 在 windows HOSTS文件192.168.88.161 node1 node1.itcast.cn192.168.88.162 node2 node2.itcast.cn192.168.88.163 node3 node3.itc
原创
2022-03-04 18:41:46
3076阅读
【ROS学习笔记2】使用vscode开发ROS全流程 文章目录【ROS学习笔记2】使用vscode开发ROS全流程一、安装终端工具Terminator二、安装VsCode及插件三、使用VsCode开发全流程1、创建工作空间2、使用vscode打开工作空间3、创建ROS功能包4、添加Python可执行脚本文件5、添加Cpp可执行脚本四、添加launch文件五、Reference 一、安装终端工具Te
分析 1、原因是github文件太大，导致clone的时间非常长，设置超时时间为40分钟也不能成功。参考解决方法就是命令行后面加–depth=1，就会只clone最后一次commit的内容 2、但是jenkins一般的构建中没有命令行时，需要在jenkins工程配置中添加 这样解决了代码库太大，构建 ...
转载
2021-08-09 16:28:00
425阅读
2评论
Flume订阅Kafka数据报错fetching topic metadata for topics
原创
2016-10-26 11:39:05
10000+阅读
点赞
在Kubernetes (K8S) 中，当遇到类似于 "error [internal] load metadata for" 的错误时，通常意味着系统无法加载资源的元数据。这个问题可能涉及到资源的定义、配置等问题。在本文中，我将指导您如何解决这个问题，并向您展示一些代码示例以帮助您更好地理解。
首先，让我们通过以下步骤了解如何解决这个问题：
| 步骤 | 操作 |
| --- | --- |
原创
2024-05-17 11:39:41
796阅读
Kafka消费程序间歇性报同一个异常：Unexpected error code 2 while fetching dataKafka消费程序间歇性报同一个错：上网没查到相关资料，只好自己分析。通过进一步分析日志发现，只有在拉取某一个特定的topic的数据时报错，如果拉取其他topic的数据则不会报错。而从这个异常信息来看是拉取数据时进行类似CRC校验时，校验结果不正确。所以，感觉可能是数据损坏。
转载
2021-05-08 17:21:12
1730阅读
2评论
构建项目时报错 ERROR: Error fetching remote repo 'origin'，主要原因就是用户凭据设置错误导致的，下面是报错时的截图。 用户凭据添加和使用步骤： 0.前提： 1) 服务器安装git; 2) git与github关联 3) Jenkins设置了git路径。 1. ...
转载
2021-10-19 23:52:00
5378阅读
2评论
## 实现"Dockerfile ERROR [internal] load metadata for"的步骤
为了解决"Dockerfile ERROR [internal] load metadata for"的问题，我们需要按照以下步骤进行操作。下面的表格展示了整个过程的步骤和对应的操作。
| 步骤 | 操作 |
| --- | --- |
| 1 | 确保Dockerfile文件正确
原创
2023-08-24 17:26:43
10000+阅读
