jast_zsh的博客_HDFS_51CTO博客

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

在线学习

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

51CTO博客

首页
关注
排行榜
精品课程
免费直播
软考题库

科目全、试题精、讲解专业，扫码免费刷

搜索历史清空

热门搜索

查看【】的结果
写文章
创作中心
登录注册

# HDFS

NameNode 启动失败 - There appears to be a gap in the edit log. We expected txid xxx, but got tx

NameNode 启动失败 - There appears to be a gap in the edit log. We expected txid xxx, but got tx

场景NameNode迁移，导致一个节点无法启动异常在Namenode主动迁移，或者Namen

hdfs

hadoop

apache

原创 2023-05-06 15:01:15 553 阅读

Java 数据以追加方式保存HDFS ，含kerberos 认证配置

package com.jast.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import or

hdfs

hadoop

java

原创 2023-05-06 14:59:47 148 阅读

NameNode所需配置，NameNode内存配置计算，NameNode与block关系

搭建Hadoop配置，NameNode 所需大小，与Block大小，HDFS副本数均有关，计算方式如下：Namenode需要的内存注意：以上计算Block数量只是粗略计算，文件名称的长度和系统目录的个数两个也需要NameNode来进行管理。

NameNode所需配置

Namenode内存

系统目录

文件名

HDFS

原创 2023-05-06 14:58:32 203 阅读

HDFS balancer 异常处理

Hbase批量导入数据时，服务器负载较高，导致HDFS数据没有及时均衡，导致有一个DataNode数据暴增，手动进行balancer。增加HDFS DataNode节点，想要均衡数据存储，执行 hdfs balancer -threshold 10 突然有一些节点报错18/09/21 17:51:37 WARN balancer.Dispatcher: Failed to...

balancer

java

.net

hdfs

原创 2023-05-06 14:56:24 155 阅读

HDFS查看异常：Operation category READ is not supported in state standby. Visit

跨集群访问hdfs失败$ hdfs dfs -ls hdfs://test:8020/hbasels: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error意思是namenode不可用，查看namenode状态hdfs-site.xml ...

HDFS异常

hdfs

hive

jar

原创 2023-05-06 14:56:17 2719 阅读