大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mk
转载
2023-05-22 15:47:53
108阅读
作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 1.7 HDFS的基本命令行文件操作Hadoop MapReduce实战手册HDFS是一个分布式的文件系统，就像一个Unix文件系统一样，它允许用户使用shell命令操纵文件系统。本节将说明如何使用HDFS的基本命令行来执行这些操作。值得注意的是，每一条HDFS命令都有一个与之一一对应的Unix命
转载
2023-09-04 10:29:30
29阅读
实验平台：操作系统：Centos7Hadoop 版本：2.10.0JDK 版本：8实验目的理解 HDFS 在 Hadoop 体系结构中的角色熟练使用 HDFS 操作常用的 Shell 命令；熟悉 HDFS 操作常用的 Java API实验内容一：编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追
转载
2023-09-20 10:51:39
249阅读
课程观看地址：http://www.xuetuwuyou.com/course/62课程出自学途无忧网：http://www.xuetuwuyou.com一、软件版本Centos6.5、VMware 10CDH5.2.0（Hadoop 2.5.0）Hive-0.13 sqoop-1.4.5二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监控。②
原创
2016-01-04 15:27:34
760阅读
Hadoop基础操作传送门：hadoop集群搭建 前面写完了hadoop集群的安装，算是初步开始学习了。。。本章学习下hadoop的一些基本操作。一、HDFS启动hadoop之后可以打开hdfs的可视化页面http://hadoop01:9870/可视化的文件系统在这里是部分数据我练习的时候插入好了的手动上传文件到hdfs，命令：# 创建文件夹（根目录创建名为input的文件夹）
hadoop f
转载
2023-08-31 13:09:38
177阅读
1.配置hadoop 使用符号连接的方式，让三种配置形态共存。（独立模式，伪分布模式，完全分布模式） （1）创建三个配置目录,内容等同于hadoop目录 ${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_h
转载
2024-02-02 08:45:16
92阅读
第4章 Hadoop运行模式本地运行模式 1、官方Grep案例 这句话是什么意思呢，使用hadoop-mapreduce-examples-2.7.2.jar这个他原本就存在的案例，从input文件夹下面寻找到符合 'dfs[a-z.]+'这个正则表达式的文件名，放到output文件下面去。 但是要注意的是output文件不能一开始就存在，必须是不存在这个output文件，才能执行这个语句。2、官
转载
2023-07-12 12:34:46
74阅读
最近大概地读了《Hadoop实战》，算是了解了Hadoop的皮毛吧，在此总结一下。Hadoop安装关于Hadoop安装我觉得这本书讲得挺详细的。Hadoop的三种运行方式本地模式 ---- 设置简单便于调试伪分布模式完全分布模式Hadoop应用大规模的数据处理分为三个阶段数据收集数据准备数据表示MapReduce模型MapReduce应用日志分析海量数据排序查找模式执行MapReduce角色Job
转载
2023-07-12 14:51:37
54阅读
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并
转载
2024-06-20 10:34:30
73阅读
0X00 Hadoop介绍和漏洞原理Hadoop是一个由Apache的分布式系统基础架构，用户可开发分布式程序，充分利用集群的威力进行高速运算和存储，实现了一个分布式文件系统(Hadoop Distributed File System)。其中HDFS组件有高容错性的特点，并且部署在低廉的(low-cost)硬件上即可提供高吞吐量(high throu
转载
2023-09-14 08:16:58
108阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲1.1 Hadoop和云计算Hadoop从问世之日起，就和云计算有着千丝万缕的联系。本节将在介绍Hadoop的同时，介绍Hadoop和云计算之间的关系，为后面的学习打下基础。1.1.1 Hadoop的电梯演讲如果你是一名创业者或者是一名项目经理，那么最好准备一份“电
转载
2023-09-05 15:19:13
10阅读
1、向HDFS中上传任意文件，如果指定的文件在HDFS中已经存在，由客户指定是追加到原有文件末尾还是覆盖原有文件。 首先，打开Hadoop系统，进入Hadoop下，但是当你输入以Hadoop开头的命令时，出现以下错误，原因是没有启动Hadoop的代码块 此时用sbin/start-dfs.sh和 sbin/start-yarn.sh这两个命令打开。 接下来自己写入两个文件： 当echo $?命令输
转载
2023-07-12 12:22:49
76阅读
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.3节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它Hadoop MapReduce实战手册本节传授如何写一个简单的MapReduce程序，以及如何执行它，
转载
2023-07-24 13:57:29
88阅读
2.3 添加一个新的DataNodeHadoop MapReduce实战手册本节将展示如何在不重启整个集群的情况下将新节点添加到现有的HDFS集群中，以及增加新的节点后，如何强制HDFS重新达到平衡。准备工作请按照下列步骤向HDFS集群中添加DataNode节点。在新节点上安装Hadoop，并且复制现有的Hadoop集群的配置文件。可以使用rsync从另一个节点复制Hadoop配置。例如：>
转载
2023-09-11 19:52:38
127阅读
# Hadoop实战### 1 Hadoop简介#### 1.1 什么是Hadoop##### 1.1.1 Hadoop概述##### 1.1.2 Hadoop的历史#####
转载
2020-07-06 11:51:00
187阅读
一、软件版本Centos6.5、VMware 10CDH5.2.0（Hadoop 2.5.0）Hive-0.13 sqoop-1.4.5 二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监控。②、玩转Mapreduce编程；③、玩转Hive使用④、玩转Sq
转载
2018-09-09 08:42:00
138阅读
2评论
2.10 挂载HDFS（Fuse-DFS）Hadoop MapReduce实战手册Fuse-DFS项目使我们能够在Linux上挂载HDFS（也支持许多其他版本的Unix）作为标准的文件系统。这样做，可以允许任何程序或用户使用类似于传统的文件系统的方式访问HDFS和与HDFS交互。准备工作系统中必须安装以下软件：Apache Ant（http://ant.apache.org/）；Fuse和fuse
转载
2023-09-01 08:59:38
93阅读
