HDFS的文件拷贝1、将本地的文件远程拷贝对对方主机
scp -r /root/test/ root@192.168.88.161:/root/ #拷贝目录
scp /root/test/a.txt root@192.168.88.161:/root/ #拷贝文件
scp /root/test/a.txt 192.168.88.1
转载
2024-05-11 15:14:04
149阅读
1、scp 一个集群内 传递数据 scp -r a.txt tom@wt3:/ # 推 scp -r tom@wt2:/abc.txt /tmp # 拉 scp -r tom@wt1:/a.txt tom@wt3:/tmp 2、 distcp 两个集群 传递数据 bin/hadoop distcp
原创
2021-07-14 11:35:58
130阅读
好奇分布式存储是怎么实现的，如何能将一个文件存储到HDFS上，HDFS的文件目录只是一个空壳，真正存储数据的是DataNode，那么当我们把一个文件放到HDFS上的时候，集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作首先命令肯定对应着源码里面的某一个方法，这个方法是FsShell类的copyFromLocal，代码：void copyFromLocal(Pa
转载
2024-02-23 18:00:32
105阅读
# Java 拷贝 HDFS 目录：新手指南
如果你想在 Hadoop 分布式文件系统（HDFS）中复制目录，首先需要了解整个复制过程。本文将引导你逐步完成这个任务。以下是整个过程的概要步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 设置 Hadoop 环境 |
| 2 | 导入 Hadoop 的库 |
| 3 | 创建 Hadoop 文件系统对象
原创
2024-10-16 06:36:11
42阅读
hdfs上传文件的过程： 以 hadoop fs -put a.txt /dir 为例 1、客户端向服务器发起上传请求（用rpc协议） 2、namenode收到请求后会进行权限检查：（1）看是否有操作权限（2）父目录是否存在 3、namenode给客户端反馈是否可以上传的标记4、客户端会将要上传的文件按照设置的block大小进行切片，假如是切3片，blk1、blk2、blk3。5、客户端向Name
转载
2023-06-29 17:51:35
175阅读
前言Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是”瞬间映像“.Snapshot快照概念在进一步分析HDFS内部的快照管理之前,需要先了解Snapshot快照的概念.首先一个很根本的原则: 快照不是数据的简单拷贝,只做差异
转载
2024-05-26 16:39:03
51阅读
1.写在前面在spark streaming+kafka对流式数据处理过程中，往往是spark streaming消费kafka的数据写入hdfs中，再进行hive映射形成数仓，当然也可以利用sparkSQL直接写入hive形成数仓。对于写入hdfs中，如果是普通的rdd则API为saveAsTextFile()，如果是PairRDD则API为saveAsHadoopFile()。当然高版本的sp
转载
2023-07-06 17:21:04
223阅读
一. 前言Datanode最重要的功能之一就是读取数据块,如果高效的完成数据的读取是影响效率的关键.二. 操作系统层面读取数据步骤一 : Datanode会首先将数据块从磁盘存储（也可能是SSD、 内存等异构存储） 读入操作系统的内核缓冲区步骤二 : 将数据跨内核推到Datanode进程步骤三 : Datanode会再次跨内核将数据推回内核中的套接字缓冲区步骤四 : 最后将数据写入网卡缓冲区Dat
转载
2024-04-19 17:38:30
74阅读
Hadoop Distcp（Distributed copy）主要是用于 Hadoop 文件系统内部或之间进行大规模数据复制的工具，它基于 Map/Reduce 实现文件分发、错误处理以及最终的报告生成。由于利用了 Map/Reduce 的并行处理能力，每个 Map 任务负责完成源路径中部分文件的复制，因此它可以充分利用集群资源来快速完成集群或 Hadoop 文件系统之间的大规模数据迁移。由于 H
转载
2024-03-25 16:09:51
79阅读
# 在Java中从HDFS拷贝文件的实用指南
## 一、流程概述
在Java中从Hadoop分布式文件系统（HDFS）拷贝文件通常涉及以下几个步骤。我们可以用表格来展示整个流程。
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 定义Hadoop配置和初始化文件系统 |
| 2 | 指定源文件和目标路径 |
| 3 | 执行文件拷贝操作 |
| 4
原创
2024-09-05 06:14:35
39阅读
在3.1.9章节中我们已经详细讲述了Client在需要上传文件时，需要进行的操作以及相关实现模块，这一章节我们着重讲述datanode一侧支持数据传输的重要模块。DataXceiverServer：datanode在启动以后会首先初始化一个DataXceiverServer对象实例，这个对象是实现了Runnable接口的对象，它附着于一个特定线程监听在特定端口。public void
转载
2024-05-11 14:08:06
29阅读
文章目录迁移之前需要先考虑的事：迁移方案：迁移工具distCp概述：原理使用方法：Map数目不同HDFS版本间的拷贝Map/Reduce和副效应迁移期间新老两个集群的资源消耗是怎样的如何提高数据迁移速度带宽如何限制迁移之后的数据一致性如何校验迁移之后的文件权限迁移过程中老集群目录新增了文件，删除了文件怎么办迁移中遇到文件已存在的情况怎么办？迁移了一半，任务失败了怎么办？遇到需要对一个文件增量同步
转载
2023-09-20 08:51:48
179阅读
一、HDFS常用Java API1、org.apache.hadoop.fs.FileSystem 一个通用文件系统的抽象基类，可被分布式文件系统继承。2、org.apache.hadoop.fs.FileStatus 文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实
转载
2023-08-31 13:21:42
280阅读
基本信息 磁盘的使用方式可以分为两类：一类是“基本磁盘”。基本磁盘非常常见，我们平时使用的磁盘类型基本上都是“基本磁盘”。“基本磁盘”受26个英文字母的限制，也就是说磁盘的盘符只能是26个英文字母中的一个。因为A、B已经被软驱占用，实际上磁盘可用的盘符只有C～Z 24个。另外，在“基本磁盘”上只能建立四个主分区（注意是主分区，而不是扩展分区）；另一种磁盘类型是“动态磁盘”。“动态磁盘”不
转载
2024-09-26 18:39:33
78阅读
0 写法类似于linux命令 [root@hadoop0 hadoop]# hadoopWarning: $HADOOP_HOME is deprecated.Usage: hadoop [--config confdir] -format format the DFS...
原创
2023-04-21 00:55:13
60阅读
1、背景部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd-stg-hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp-tt-hadoop）如果是两个都没有做安全认证的集群互传文件，使用distcp可以很快实现。通过查阅资料，在cdh的官网上竟然有这么神奇的一个参数可以解决这么一个奇葩的需求。
转载
2023-07-12 15:55:26
215阅读
从零搭建生产Hadoop集群（九）——Cloudera Manager Server备份与迁移一、概述二、CM Server迁移流程1. 旧CM Server的配置定时备份2. 备份CM Server安装CM Agent进程3.备份CM Server安装CM Server、db进程4.备份数据导入备份CM Server的配置PG库5.集群所有主机的CM Agent修改Server指向并重启6.迁
转载
2024-10-12 10:45:00
27阅读
一、数据迁移使用场景1.冷热集群数据同步、分类存储
2.整体数据整体搬迁
3.数据准实时同步(备份)二、考量因素1.网络传输带宽及时间，是否会影响现有业务
2.性能，单机？多线程？分布式？
3.是否正常增量同步
4.数据迁移的同步性(同步单位时间数据超过单位时间)三、DistCp工具使用3.1 简介distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用 Map/Reduce
转载
2023-07-12 15:27:14
1016阅读
2014/9/8hadoop 记录 第一天： 一：节点的划分：对于HDFS来讲，将整个集群中的节点，依据它们运行的进程，划分为三种：名字节点：namenode数据节点：datanode 第二名字节点：seconderynamenode 名字节点： 维护着
转载
2023-12-06 20:34:36
22阅读
深浅拷贝&引用拷贝
浅拷贝：在堆上创建一个新的对象，不过，如果原对象内部的属性是引用类型的话，浅拷贝会直接复制内部对象的引用地址，也就是拷贝对象和原对象共用同一个内部对象。
深拷贝：深拷贝会完全赋值整个对象，包括这个对象所包含的内部对象
引用拷贝：引用拷贝就是两个不同的引用指向同一个对象
原创
2023-09-03 11:34:50
132阅读
