进入安全模式hdfs dfsadmin -safemode enter离开安全模式hdfs dfsadmin -safemode leave强制退出安全模式hdfs dfsadmin -safemode forceExit等待安全模式hdfs dfsadmin -safemode wait等待安全模式，通常情况下在脚本中使用，当集群退出安全模式后，立马执行相关操作。
#### 分析集群为什么一
RPC(RemoteProcedureCall,远程过程调用)是一种通过网络从远程计算机上请求服务来得到计算服务或者数据服务，且不需要了解底层网络技术的协议和框架。RPC远程调用是构建在语言级别的，必须使用Socket通信完成，将现有的本地方法调用和Socket网络通信技术结合起来实现透明的远程调用过程。实现透明的远程调用重点是创建客户存根(clientstub)，存根(stub)就像代理(age
注意：采用三台服务器即可，恢复到 Yarn 开始的服务器快照。6.1 NameNode 故障处理1）需求： NameNode 进程挂了并且存储的数据也丢失了，如何恢复 NameNode 2）故障模拟 查询并杀死NameNode进程[pcz@hadoop1 current]$ kill -9 19886（2）删除 NameNode 存储的数据（/opt/module/hadoop-3.1.3/dat
转载
2024-09-27 14:45:39
59阅读
本篇博客主要是对hadoop hdfs的故障排除，主要包括：NameNode故障的处理，集群安全模式和磁盘修复。有不好的地方欢迎各位大佬斧正！感谢！
目录nn故障处理集群安全模式&磁盘修复简介哪些场景会进入到安全模式退出安全模式的条件基本语法实操01，启动集群进入安全模式实操02，磁盘修复实操03 nn故障处理 1、情景 NameNode进程挂了并且存储的数据也丢失了，如何恢复N
转载
2023-12-27 12:11:36
131阅读
总结： 1.hdfs防止文件丢失，设计的解决办法是在不同服务器上再创建一个相同的副本进行存储 2.用户在上传文件的时候，是直接与服务器的DataNode进行连接，不需要通过NameNode，因此用户不会与NameNode产生连接 3.用户在上传文件的时候，只需要上传一次，传入到hdfs以后，由系统自己去DataNode拿数据，进行副本的一个备
转载
2024-03-17 00:03:45
123阅读
今天说的是关于1.HDFS的特性 2.HDFS的缺点 3.HDFS的高级命令 4.HDFS安全模式 5.HDFS的配置选项 ６.secondartnameNode的工作原理（意义）
步入正题：1.HDFS的特性 1.存储海量数据：HDFS可横向扩展，其储存的文件可以支持PB级数据 2.高容错性：数据保存多个副本，副本丢失后自动恢复。可构建廉价（与小型
转载
2024-04-01 00:00:27
53阅读
线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.tmp文件，查看Flume日志发现当出现CallTimeout Exception :HDFS IO ERROR后，sink一直向.tmp写入，而不进行rename.Flume HDFS Sink正常写入流程见：ht
原创
2013-10-12 19:30:07
9591阅读
# 实现“hdfs丢块hbase”的完整流程
在大数据生态系统中，HDFS（Hadoop Distributed File System）和HBase都是非常重要的组件。HDFS用于存储海量数据，而HBase是一种可扩展的 NoSQL 数据库，它提供对 HDFS 的实时读写访问。然而，有时候 HDFS 中的数据块可能会出现丢失或损坏。这个问题的解决通常涉及到 HBase 中的合适处理方法。本文旨
一、现象二、原因排查2.1 SparkStreaming程序排查2.2 Kafka数据验证2.3 查看OGG源码2.3.1 生成Kafka消息类2.3.2 Kafka配置类2.3.3 Kafka 消息发送类2.3.4 Kafka 分区获取方式三、结论一、现象目前我们的数据是通过OGG->Kafka->Spark Streaming->HBase。由于之前我们发现HBase的列表
转载
2023-11-13 14:36:05
63阅读
HDFS block丢失过多进入安全模式（Safe mode）的解决方法 背景及现象描述(Background and Symptom) 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志： The number of live datanodes 3 has reached the minimum
转载
2024-04-19 17:25:25
6阅读
文章目录1. Spark是什么2. Spark与Hadoop区别3. Spark四大特点3.1 速度快3.2 易于使用3.3 通用性强3.4 运行方式4. Spark整体框架5. Spark运行模式6. Spark架构角色6.1 YARN角色6.2 Spark 角色 1. Spark是什么Spark是用于大规模数据处理的统一分析引擎。Spark 最早源于一篇论文 Resilient Distri
转载
2023-09-21 16:33:31
73阅读
1. 背景 在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能(-fix)已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果你正在使用HBase2.x，那么对HBCK2应该需要了解一些，即使你不经常用到。2. 获取HBCK2
转载
2023-07-12 23:29:09
324阅读
通常读取Excel文件的方法有两种，一是通过ADO的OleDb，一是通过Com组件；
这里要说的是通过OleDb读取时，遇到的内容丢失问题。
症状：使用Microsoft.Jet.OLEDB.4.0读取数据时，当某一字段内分别含有文本和数字的混合数据时，某一类型的数据会产生丢失。
读取方式：
string connString = " Provider=Microsoft.Jet.OLEDB.4.
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 flume使用（三）：实时log4j日志通过flume输出到MySql数据库 flume使用（四）：taildirSource多文件监控实时采集 本文针对【flume使用（四）：taildirSource多文件监控实时采集】一文中提出的两个flume的TailDirSource可能出现的问题进行解决。
ZMQ简介ZMQ被称为史上最快的消息队列,它处于会话层之上,应用层之下,使用后台异步线程完成消息的接受和发送,完美的封装了Socket API,大大简化了编程人员的复杂度。ZMQ发送和接受的是具有固定长度的二进制对象,ZMQ的消息包最大254个字节，前6个字节是协议，然后是数据包。如果超过255个字节（有一个字节表示包属性）,则ZMQ会自动分包传输;而对于TCP Socket，是面向字节流的连接。
一、Redis宕机后的数据丢失问题 Redis会定期将内存中的数据同步到磁盘，这是我们大家都知道。而且是写数据越频繁同步的也就越频繁，这是在Redis配置文件中可配置的。 一般来说，宕机后可能丢失小量数据是在所难免的。可如果宕机后重启发现丢失大量数据这就不正常了，查了些资料，受益非浅。 Redis的数据回写机制分同步和异步两种： 1、同步回写即SAVE命令，主进程直接向磁盘回写数据。在数
转载
2023-08-15 22:06:34
49阅读
数据一致性HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。NameNode保证元数据的一致性客户端上传文件时，NameNode首先往edits log文件中记录元数据的操作日志。与此同时，NameNode将会在磁盘做一份持久化处理（fsimage文件）：它跟内存中的数据是对.
原创
2021-06-10 23:17:42
546阅读
数据一致性HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。NameNode保证元数据的一致性客户端上传文件时，NameNode首先往edits log文件中记录元数据的操
转载
2021-01-24 10:17:39
175阅读
2评论
数据一致性 HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。 Name ...
转载
2021-05-05 16:53:26
64阅读
2评论
数据一致性HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNode，NameNode是用来管理这些元数据的。NameNode保证元数据的一致性客户端上传文件时，NameNode首先往edits log文件中记录元数据的操作日志。与此同时，NameNode将会在磁盘做一份持久化处理（fsimage文件）：它跟内存中的数据是对.
原创
2021-06-10 23:17:40
576阅读
