hadoop fs 列出所有的命令hadoop fs -help ls 列出某个命令的详细信息hadoop dfs -mkdir /data/weblogshadoop dfs -mkdir /data/dir1 /data/dir2 ... 创建文件夹,可以递归创建,可同时创建多个目录echo "Hello world" > weblog_entries.tx
有耐心的往下看。。。1、Hadoop生态系统概况（看这个图，就大概知道各个模块是做什么的）Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop1.0的核心是HDFS和MapReducehadoop2.0的核心是HDFS和MapReduce，还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）（核心）源自于Googl
转载
2024-09-29 11:07:21
43阅读
# Hadoop 集群内复制文件教程
## 1. 整体流程
下面是复制文件到 Hadoop 集群的整体流程的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
| 1. | 配置 Hadoop 环境 |
| 2. | 创建一个本地文件 |
| 3. | 将本地文件上传到 HDFS |
| 4. | 复制 HDFS 上的文件 |
| 5. | 验证复制是否成
原创
2023-07-21 20:11:32
836阅读
# Hadoop集群间目录复制
在大数据处理中，Hadoop是一个非常常用的框架，用于分布式存储和处理大规模数据。在Hadoop集群中，经常需要将数据从一个节点复制到另一个节点，以实现数据备份、冗余或者数据传输等功能。本文将介绍如何在Hadoop集群中进行目录复制的操作。
## Hadoop集群简介
Hadoop是一个由Apache软件基金会开发的开源软件框架，用于支持分布式存储和处理大规模
原创
2024-05-18 07:46:28
38阅读
1、背景部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd-stg-hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp-tt-hadoop）如果是两个都没有做安全认证的集群互传文件，使用distcp可以很快实现。通过查阅资料，在cdh的官网上竟然有这么神奇的一个参数可以解决这么一个奇葩的需求。
转载
2023-07-12 15:55:26
215阅读
HA背景对于HDFS、YARN的每个角色都是一个进程，比如HDFS：NN/SNN/DN 老大是NNYARN：RM/NM 老大是RM对于上面，都会存在单点故障的问题，假如老大NN或者RM挂了，那么就不能提供对外服务了，会导致整个集群都不能使用。大数据几乎所有的组建都是主从架构（master-slave）。比如hdfs的读写请求都是先经过NN节点。（但是
转载
2024-10-30 06:29:10
21阅读
一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。二、实验平台操作系统：Linux（ubuntu-18.04）
Java：jdk-8u191-linux-x64Hadoop : hadoop-2.7.1三、实验步骤复制 ：ctrl + shift +c黏贴 ：ctrl
转载
2023-09-01 10:45:29
666阅读
当我们用命令:
hadoop fs -copyFromLocal localfile hdfs://... 将本地文件复制到HDFS时，其背后的复制过程是怎样的？本地文件通过什么方式传输到datanode上的呢？ 这里面很显然的是： 1、文件在多个电脑之间进行了传输（至少有2台电脑：本地电脑和一个datanode节点）。 2、如果文件超过一个block的
转载
2024-04-11 07:02:17
21阅读
一、数据迁移使用场景1.冷热集群数据同步、分类存储
2.整体数据整体搬迁
3.数据准实时同步(备份)二、考量因素1.网络传输带宽及时间，是否会影响现有业务
2.性能，单机？多线程？分布式？
3.是否正常增量同步
4.数据迁移的同步性(同步单位时间数据超过单位时间)三、DistCp工具使用3.1 简介distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用 Map/Reduce
转载
2023-07-12 15:27:14
1016阅读
目的复制很昂贵 - HDFS中的默认3x复制方案在存储空间和其他资源（例如，网络带宽）中具有200％的开销。但是，对于I / O活动相对较低的暖和冷数据集，在正常操作期间很少访问其他块副本，但仍会消耗与第一个副本相同的资源量。因此，自然的改进是使用擦除编码（EC）代替复制，其提供相同级别的容错并且具有更少的存储空间。在典型的擦除编码（EC）设置中，存储开销不超过50％。EC文件的复制因子没有意义。
转载
2024-08-02 13:10:35
47阅读
一、今日学习内容 HDFS - 可靠性HDFS 的可靠性主要有以下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略
可以在 hdfs-site.xml 中设置复制因子指定副本数量 所有数据块都可副本 DataNode 启动时,遍历本地文件系统,产生一份 HDFS 数据块和本地文件的对应关系列表 (blockreport) 汇报给
转载
2023-10-23 15:36:11
38阅读
centos7 Hadoop集群部署一、Hbase概念剖析Hbase 是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库，为Hadoop框架当中的结构化数据提供存储服务，是面向列的分布式数据库。这一点与HDFS是不一样的，HDFS是分布式文件系统，管理的是存放在多个硬盘上的数据文件，而Hbase管理的是类似于Key—Value映射的表。 Hbase底层仍然依赖HDFS来
转载
2023-09-14 14:00:56
39阅读
一、HDFS的相关基本概念 1.数据块 1、在HDFS中，文件诶切分成固定大小的数据块，默认大小为64MB（hadoop2.x以后是128M），也可以自己配置。 2、为何数据块如此大，因为数据传输时间超过寻到时间（高吞吐率）。 3、文件的存储方式，按大小被切分成若干个block，存储在不同的节点上，默认情况下每个block有三个副本。2.复制因子 就是一个block分为多少个副本，
转载
2023-07-13 14:33:30
107阅读
目录前言一，集群环境及基础配置1，集群环境主机映射时钟同步 防火墙3，免密登录二，Hadoop集群HA配置1，上传压缩包并解压 创建目录 上传压缩包解压缩 改名 2，配置环境变量 3，配置Hadoop HA配置hadoop环境变量 更改配置文件1更改配置文件2更改配置文件3更改配置文件4配置slaves 创建目录&nb
转载
2024-05-28 17:12:18
154阅读
简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它的核心组件有HDFS（分布式文件系统）解决海量数据存储、YARN（作业调度和集群资源管理框架）解决资源任务调度和MapReduce（分布式运算编程框架）解决海量数据计算。另外Hadoop如今拥有一个庞大
转载
2023-09-22 12:57:04
55阅读
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，而mapreduce必须放在一个资源调度平台（yarn）上来跑，由平台分布内存cup等信息。两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /No
转载
2023-09-20 11:59:47
101阅读
写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦
转载
2023-07-24 11:31:20
96阅读
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
转载
2023-07-30 15:53:33
109阅读
一.HDFS命令行Hadoop help命令的使用1.hadoop -help查询所有Hadoop Shell支持的命令2.distcp这是Hadoop下的一个分布式复制程序，可以在不t同的HDFS集群间复制数据，也可以在本地文件间复制数据。hadoop distcp将/test/test.txt文件复制到/test/cp下面：hadoop distcp/test/test.txt/test/cp
转载
2023-09-20 07:19:51
487阅读
HDFS - 可靠性HDFS 的可靠性主要有以下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制 1.冗余副本策略 可以在 hdfs-site.xml 中设置复制因子指定副本数量 所有数据块都可副本 DataNode 启动时,遍历本地文件系统,产生一份 HDFS 数据块和本地文件的对应关系列表 (blockreport) 汇报给 Namenode2.机架策略
转载
2023-11-20 13:45:22
43阅读
