在最近项目开发中，由于经常需要访问flash中的某个分区的问题，在长时间的open以及close后，出现了对应操作目录下ls、ll等系统命令不能执行且错误问题，一开始以为是该分区flash硬件损坏了，导致文件节点丢失、文件错误而不能访问。对于: xxx .: Input/output error 可能是硬件损坏，也可能是文件系统损坏，我们可以通
转载
2024-07-30 09:19:39
124阅读
问题说明HDFS的Fsimage文件记录了集群的元数据信息，是进行集
原创
2021-09-01 15:58:55
1064阅读
int totalReplicateBlocks = nodeinfo.getNumberOfReplicateBlocks();
int totalECBlocks = nodeinfo.getNumberOfBlocksToBeErasureCoded();
int totalBlocks = totalReplicateBlocks + totalECBlocks;
if (totalBlo
转载
2024-08-16 10:09:54
21阅读
hdfs oiv -p XML -i /var/bigdata/hadoop/full/dfs/name/current/fsimage_0000000000000023560 -o ~/output.xml
原创
2021-07-29 15:08:26
747阅读
hdfs oiv -p XML -i /var/bigdata/hadoop/full/dfs/name/current/fsimage_0000000000000023560 -o ~/output.xml
原创
2022-01-19 10:00:18
101阅读
单纯为了记录一下 Failed to close HDFS file: hdfs://nameservice1/user/hive/warehouse/xxx.db/xxx/_impala_insert_staging/fa4602d41f654358_eb936b0c00000000/.fa4602d41f654358-eb936b0c00000049_707658236_dir/dt=2021-08-17/fa4602d41f654358-eb936b0c00000049_390887387_.
原创
2022-01-07 14:48:24
399阅读
1评论
hdfs写入数据流程总结：================================ 1、通过配置文件获取DistributedFileSystem实例 2、初始化校验和类型和大小 ===> 类型CRC32C，大小4byte //对每个chunk进行校验，chunk大小512字节 3、创建namenode元数据： 在DFSOutputStream中dfsClient.namenode
转载
2024-09-05 06:40:46
43阅读
单纯为了记录一下 Failed to close HDFS file: hdfs://nameservice1/user/hive/warehouse/xxx.db/xxx/_impala_insert_staging/fa4602d41f654358_eb936b0c00000000/.fa4602d41f654358-eb936b0c00000049_707658236_dir/dt=2021-08-17/fa4602d41f654358-eb936b0c00000049_390887387_.
原创
2021-08-19 10:42:25
474阅读
在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库1 import pyhdfs2 fs = pyhdfs.connect("192.168.1.1", 9000)3 pyhdfs.get(fs, "/rui/111", "/var/111")4 f = pyhdfs.o
转载
2024-06-24 22:12:29
20阅读
clusterid不允许使用下划线_订正就可以了
原创
2022-01-19 09:42:54
1111阅读
摘要: 首先说明下均衡器相关的原理知识：hadoop默认的复本布局策略是在发起请求的客户端存放一个复本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个复本放在与第一个复本相同的机 ...
首先说明下均衡器相关的原理知识： hadoop默认的复本布局策略是在发起请求的客户端存放一个复本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节
转载
2024-05-09 23:41:59
44阅读
clusterid不允许使用下划线_订正就可以了
原创
2021-08-19 10:15:13
2146阅读
1.问题一: 权限问题。比如hdfs需要写入目录的权限不足，本地目录工作异常,(权限问题)，出现异常后大家不要看到一堆错误代码就心慌，不必害怕。hadoop目录下有个日志文件夹. 如果那个节点 出现问题就查看日志信息。 tail -F /XXX.log tail -F 可以动态监控文件内容的变化。2.问题二: 文件属主不一致。比如文件是普通用户修改
转载
2023-07-12 13:29:03
312阅读
问题： 搭建伪Hadoop集群的时候，运行命令： hdfs namenode -format 格式化或者说初始化namenode。然后用命令： start-dfs.sh 来启动hdfs时，jps发现datanode先是启动了一下，然后就挂掉了，在http://192.168.195.128:50070 （HDFS管理界面）也看不到datanode的信息。 然后去data
转载
2024-03-25 12:56:44
65阅读
K8S关键词：hdfs namenode -format报错
在Kubernetes（K8S）中使用Hadoop分布式文件系统（HDFS）时，经常会遇到需要格式化（format）NameNode的情况。NameNode是HDFS的关键组件，负责存储文件系统的命名空间和文件元数据。格式化操作意味着清空之前存储在NameNode中的数据，以便重新开始。
以下是解决"hdfs namenode -f
原创
2024-04-30 11:37:29
74阅读
查看hdfs文件时报错hadoop fs -cat /home/de_ipl/test.csv22/04/11 10:58:07 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.
原创
2022-11-02 14:53:47
209阅读
数据倾斜数据倾斜：由于大量具有相同key的（k-v)键值对被partition分配到一个reduce分区里，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节
问题目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上，使用以下命令报错sudo kinit hivesudo klistsudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/*
原创
2021-09-01 15:58:15
1882阅读
append操作在namenode这端主要逻辑在FSNameSystem的appendFileInternal函数中处理，内部会调用前言在DFSClient写文件的时候，对于文件的每一个block，生成一个pipeline，然后按照这个pipeline进行数据传输，但是可能在数据传输过程中，DFSClient发生中断，例如断网等，此时该block在NameNode中处于UnderConstruct
转载
2024-04-24 12:45:36
182阅读
先说解决办法： hadoop3.1.3,用jdk1.8.0_301，格式化namenode的时候报错。 最后按照尚硅谷的视频换成jdk1.8.0_212之后问题解决。（所以学习的时候最好还是按照视频里面版本来，不然浪费太多时间在环境上面了） 尚硅谷的hadoop3.1.3学习地址： https:// ...
转载
2021-10-04 22:40:00
1326阅读
2评论
