文章目录HDFS常见功能集群间数据拷贝文件归档快照管理回收站 HDFS常见功能集群间数据拷贝scp实现两个远程主机之间的文件复制scp -r hello.txt root@bigdata111:/user/itstar/hello.txt // 推 push
scp -r root@bigdata112:/user/itstar/hello.txt hello.txt // 拉 pull
转载
2024-03-23 15:21:29
206阅读
HDFS设计:以流式数据访问模式来存储超大文件，“一次写入，多次读取”；HDFS为高数据吞吐量应用优化的，低延迟的方位需求应选择HBase；文件系统的元数据存储在namenode的内存中，所能存储的文件总数受限于内存容量；HDFS的块（block）默认为64M（块大的目的为了最小化寻址开销，从磁盘传输时间可明显大于定位时间），以块存储而非文件可简化存储系统的设计HDFS只是Hadoop文件系统的一
转载
2024-03-25 16:31:19
58阅读
用法-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选项：-R 递归地显示子目录下的内容-put 将本地文件或目录上传到HDFS中的路径
转载
2024-02-16 11:44:29
503阅读
《Hadoop权威指南》笔记 第三章 HDFS Hadoop是一次写入, 多次读取，因为这种被认为是最高效的访问模式. HDFS为高数据吞吐量优化, 高时间延迟. 对于低延迟, HBase是更好的选择. 大量的小文件不适合HDFS: namenode将文件系统的元数据存储在内存中，包括文件，目录，
本文由南京大学顾荣、李崇杰翻译整理自Alluxio公司技术博客，由Alluxio公司授权CSDN首发（联合），版权归Alluxio公司所有，未经版权所有者同意请勿转载。1.介绍Alluxio是世界上第一个以内存为中心的虚拟的分布式存储系统。它为上层计算框架和底层存储系统构建了桥梁，统一了数据访问的方式，使得数据的访问速度能比现有常规方案高出几个数量级。Hadoop Distributed File
# Hadoop FS CP 很慢？了解性能优化技巧
Hadoop 是一个强大的大数据处理框架，广泛应用于数据存储和分析。在使用 Hadoop 的过程中，许多用户可能会遇到 `hadoop fs cp` 命令运行缓慢的问题。这篇文章将探讨这一问题的原因，并提供一些优化建议，同时通过代码示例和图表帮助读者理解。
## 为什么 `hadoop fs cp` 可能很慢？
1. **网络带宽限制**
原创
2024-10-17 11:53:31
90阅读
前言 简单的描述HDFS文件系统的读写流程,以及向HDFS文件系统写入文件时为什么要使用pipline。实际读写流程远比下面描述的复杂。 将文件写入HDFS文件系统1.客户端向NameNode发送写入指令2.NameNode检查是否可以写入(目录是否存在、集群是否可用)并返回信息3.客户端向NameNode请求DataNode写入列表进行数据写入4.返回进行写入的DataNode列表(3副本)5
转载
2024-04-11 11:15:12
61阅读
前言 HDFS（Hadoop Distributed File System）是一个分布式文件系统。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。 优点是： 高吞吐量访问：HDFS的每个Block分布在不同的Rack上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提供。
转载
2024-09-03 13:15:52
44阅读
hdfs命令 In this lesson on Apache Hadoop HDFS commands, we will go through the most common commands which are used for Hadoop administration and to manage files present on a Hadoop cluster. 在本课程中，
前言在Hadoop内部，详细实现了很多类的文件系统，当然最最被我们用到的就是他的分布式文件系统HDFS了。可是本篇文章不会讲HDFS的主从架构等东西，由于这些东西网上和资料书中都讲得非常多了。所以，我决定以我个人的学习所得。来讲讲HDFS内部的一些有意思的东西，也作为一个起始点。为兴许继续深入当中模块的学习做基础。HDFS两大主流关系模块与NameNode相关，文件系统元数据操作相关。包含文件文件
转载
2024-03-25 16:13:41
36阅读
HDFS的读写流程——宏观与微观HDFS：分布式文件系统，负责存放数据分布式文件系统：就是将我们的数据放到多台电脑上存储。写数据：就是将客户端上的数据上传到HDFS宏观过程客户端向HDFS发送读写数据请求hdfs dfs -put student.txt /shujia/ 客户端发送命令将student.txt文件上传到/shujia/目录下Filesystem通过rpc调用namenode的pu
转载
2024-05-08 10:12:09
132阅读
HDFS中的命令行 本文介绍了
HDFS以命令行执行的时候。几个经常使用的命令行的作用和怎样使用~1. fsfs是启动命令行动作,该命令用于提供一系列子命令。使用形式为hadoop fs –cmd <args>当中，cmd是子命令，args是详细的命令操作。比如hadoop fs –help或者说fs是其余子命令的父亲。其余都是在“-cmd”的模式下的！2. –
转载
2024-04-28 11:23:39
32阅读
概述对于通过编程，使用API来对HDFS进行操作的场景，其中一个需要考虑的问题是如何管理FileSystem实例（确切地说是DistributedFileSystem实例），通过查询文档，发现它是线程安全的但是这里的“线程安全”是指客户端的操作（创建文件夹、删除文件夹、创建文件...），但是FileSystem实例本身在不同线程间共享，却不是“安全”的。如果有两个线程使用同一个FileSystem
转载
2024-03-26 15:15:01
99阅读
hdp集群数据迁移由于公司大数据平台建设升级调整，需要把开发集群（hdp 2.6）上的数据迁移到生产集群（hdp3.1），所以我们需要做历史数据迁移。准备工作就不说了，这里直接上迁移方案！目前方案有两种，第一种是采用distcp命令，直接将开发集群上的hdfs中的数据迁移到生产集群上，第二种采用scp命令，将开发集群上的数据hdfs dfs -get到本地，然后把数据从开发本地scp到生产集群本地
转载
2024-04-12 06:02:11
148阅读
前言：ConcurrentHashMap是非常经典的一个类，面试中会被经常问到，因为它里面用了非常复杂的数据结构，设计上也非常精致，同时又涉及并发编程，可以说是个宝藏类，我会尝试解读一下这个类。（我会抽空一直更新）它的代码高达6300行一 注释我们来看一下类的注释：上面贴出来的是第一段注释，后面我就不贴图了，直接翻译：第一段：一个支持完全并发读和高期望并发更新的hash表，这个类和HashTabl
HDFS 读取过程过程客户端或者用户通过调用 FileSystem 对象的 open()方法打开需要读取的文件，这对 HDFS 来说是常见一个分布式文件系统的一个读取实例。FileSystem 通过远程协议调用 NameNode 确定文件的前几个 Block 的位置。对于每一个 Block， NameNode 返回一含有那个 Block 拷贝的“元数据”，即文件基本信息；接下来，DataNode
通过HDFS FileSystem API 对 HDFS 进行操作windows下安装eclipse-hadoop插件将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse安装目录下的plugins文件夹中。将hadoop.dll和winutils.exe复制到Windows的hadoop安装目录的bin文件夹下Windows解压hadoop2.7.3配置环境变量：H
# 从Hive中复制数据到HDFS目录
## 什么是HDFS和Hive？
在大数据领域，HDFS（Hadoop Distributed File System）是一个分布式文件系统，用于存储大规模数据集，并能够提供高吞吐量的数据访问。而Hive是一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，然后使用SQL查询来分析这些数据。
当我们需要从Hive表中复制数据到HDFS目录时，可
原创
2024-03-15 03:51:07
32阅读
一、hdfs写数据流程总结：即向hdfs上传文件 将源文件取128M做成一个block。
具体实现步骤 ： ①client：向namenode请求上传文件； namenode：返回响应，可以上传； ②client：rpc请求
转载
2024-07-30 21:28:06
101阅读
前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。Hadoop有一个叫distcp(分布式复制)的有用程序，能从Hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行，就适合使用hdfs方案：1. % hadoop dis
转载
2024-04-17 12:41:03
0阅读
