文章目录1. HDFS 概述2. HDFS 优缺点2.1. 优点2.2. 缺点3. HDFS 组成架构3.1. NameNode3.2. DataNode3.3. Client3.4. Secondary NameNode4. HDFS 读写流程4.1 HDFS 写数据流程4.2 HDFS 读数据流程5. NameNode 高可用5.1 SecondName 方案5.2 HDFS HA 方案5.
转载
2024-04-28 16:12:03
359阅读
由于每一个磁盘或者是网络上的I/O操作，可能会对正在读写的数据处理导致数据丢失，或者错误。下面两种数据检验方式，以此来保证数据的完整性，而且这两种检验方式在DataNode节点上是同时工作的。 1.校验和检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和，在通道传输过程中，如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是被损坏
转载
2024-03-15 15:22:26
94阅读
1.基础命令查看hdfs dfs -ls /上传hdfs dfs -put下载hdfs dfs -get删除hdfs dfs -mv 2.hdfs生产数据块损坏/丢失修复方法手动修复hdfs fsck / #首先检查哪些数据块丢失了hdfs debug recoverLease -path 文件位置 -retries 重试次数 # 修复指定路径的hdfs文件，尝试多次此时，hdfs就能被
转载
2023-05-24 14:50:14
2274阅读
hadoop之hdfs数据块损坏及修复损坏的原因HDFS在机器断电或意外崩溃的情况下，有可能出现正在写的数据丢失的问题。再次重启HDFS后，发现hdfs无法启动，查看日志后发现，一直处于安全模式。1、场景一：断电导致HDFS服务不正常或显示块损坏模拟损坏效果:直接的datanode上删除文件一个block的三副本node1:rmrf数据块元数据node2:rmrf数据块元数据node3:rmrf数
原创
2021-12-30 16:14:48
6335阅读
纠删码技术的含义（HDFS EC——Hadoop Erasure Coding）通过在原始数据中加入新的校验数据，使得各个部分的数据产生关联性。在一定范围的数据出错情况下，通过纠删码技术都可以进行恢复。纠删码技术的原理把一行数据块组称为条带（strip），每行条带由n个数据块和m个校验块组成：① 如果校验数据块发生错误，通过对原始数据块进行编码重新生成
② 如果原始数据块发生错误，通过校验数据块
转载
2024-01-17 07:13:27
61阅读
目录0. 相关文章链接1. NameNode故障处理2. 集群安全模式&磁盘修复2.1. 安全模式概述2.2. 案例1：启动集群进入安全模式2.3. 案例2：磁盘修复2.4. 案例3：模拟等待安全模式3. 慢磁盘监控4. 小文件归档4.1. HDFS存储小文件弊端4.2. 解决存储小文件办法之一4.3. 实例操作1. NameNo
转载
2024-03-15 10:06:02
93阅读
NameNode格式化——组件恢复，数据丢失前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode恢复依赖服务小结前情提要近段时间测试环境被研发整了一个特别离谱的事情，因为HDFS重启没启动起来，直接执行了format操作，大言不惭说的是百度这么
转载
2024-04-26 11:41:00
172阅读
HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题，实际操作中对重要数据文件的误删，那么如何恢复这些文件，就显得尤为重要
HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带来一个问题，实际操作中对重要数据文
转载
2023-07-13 11:34:38
780阅读
点赞
文章目录关于hdfs fsck命令创建一个文件并上传至hdfs上删除文件的一个block块的一个副本定位损坏的block块的位置手动修复自动修复总结 本文模拟hdfs上block块损坏之后，如何定位损坏的块，并修复。关于hdfs fsck命令在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 注意：fsck命令必须由HDFS超级用户来
转载
2023-09-04 23:04:09
3162阅读
点赞
1. 背景 在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能(-fix)已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果你正在使用HBase2.x，那么对HBCK2应该需要了解一些，即使你不经常用到。2. 获取HBCK2
转载
2023-07-12 23:29:09
324阅读
主从集群优点
结构相对简单、主与从协作主：单点、数据一致好掌握两个独立的问题
主只有一个，当主出现故障后，从将不可用，导致整个集群无法工作主只有一个，从有数百台之多，都需要主来维持工作时，压力就过大。如果自身内存小，将无法按时工作（如延迟），只能排队工作，导致某些工作不能实时传送HDFS 解决方案分析分析一：单点故障
多个 NameNode、主备切换 H
转载
2024-04-30 12:16:40
121阅读
数据块是一组或几组按顺序连续排列在一起的记录，是主存储器与输入设备、输出设备或外存储器之间进行传输的数据单位。在传统的块存储介质中，块是读写的最小数据单位 (扇区)传统文件系统基于存储块进行操作为了节省文件分配表空间，会对物理存进行储块整般合，一般大小为4096字节HDFS也使用了块的概念，但是默认大小设为64M字节可针对每个文件配置，由客户端指定每个块有一个自己的全局IDHDFS将一个文件分为一
转载
2024-03-21 12:38:24
78阅读
HDFSHDFS 是一种典型的分布式文件系统，但其不是唯一的分布式文件系统HDFS 是一种新型的文件系统，不同于传统的文件系统，新型文件系统解决了传统文件系统存在的负载不均衡与网络瓶颈问题。但归根结底、这些弊端都是由传统文件系统所存在的文件存储大小不均衡造成的：文件在拆分时导致某些磁盘利用率过高等等注意：HDFS 选择使用 块机制 来解决这个问题，HDFS 中，每个块的大小为 128 MBHDFS
转载
2024-07-28 11:14:03
138阅读
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通用户无权限。 可通过hdfs fsck来查看该命令的帮助文档，如下图所示：1.手工修复 hdfs debug1）造一份数据上传到hdfs[hadoop@hadoop001 data]$ hadoop fs -put test.txt /bl
转载
2023-11-02 08:46:30
1105阅读
@Author : Spinach | GHB
@Link : 文章目录HDFS写(上传)过程写(上传)流程写(上传)代码实现流程HDFS读(下载)过程读(下载)流程读(下载)代码实现流程 HDFS写(上传)过程写(上传)流程客户端（Client）向namenode发起RPC请求上传文件，namenode检查文件是否存在，创建者是否有权限进行操作，成功则会为文件创建一个记录edits， 否
HDFS数据块：与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。与通常的磁盘文件系统不同的是：HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB）设置数据块的好处：（1）一个文件的大小可以大于集群任意节点磁盘的容量（2）容易对数据进行备
转载
2024-05-11 15:14:17
46阅读
1.方法一 mysql命令行修复（1）登录数据库：mysql -u root -p密码（2）使用数据库：use dataName；(dataName要修复的数据库名)（3）检查表：check table tableName；(tableName检查的表名)（4）分析表：analyze table tableName;(tableName要分析的表名)（5）修复表：repai
转载
2023-06-06 14:52:02
71阅读
常用的Mysql数据库修复方法有下面3种:1. mysql原生SQL命令: repair 即执行REPAIR TABLE SQL语句语法：REPAIR TABLE tablename[,tablename1...] [options]
示例: mysql> use database xxx;
mysql> repair table *;2.使用MySQL自带的客户端工具:
转载
2023-09-13 09:25:05
224阅读
数据块是一组或几组按顺序连续排列在一起的记录，是主存储器与输入设备、输出设备或外存储器之间进行传输的数据单位。在传统的块存储介质中，块是读写的最小数据单位 (扇区)传统文件系统基于存储块进行操作为了节省文件分配表空间，会对物理存进行储块整般合，一般大小为4096字节HDFS也使用了块的概念，但是默认大小设为64M字节可针对每个文件配置，由客户端指定每个块有一个自己的全局IDHDFS将一个文件分为一
转载
2023-07-12 10:10:03
82阅读
sql修复重复数据
原创
2023-02-19 09:56:54
92阅读
