上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
实验目的要求 目的：（1）掌握数据仓库工具Hive的使用；要求：掌握数据仓库Hive的使用；能够正常操作数据库、表、数据； 实验环境 五台独立PC式虚拟机；主机之间有
转载
2023-07-25 09:52:04
146阅读
安装centos，配置stable ip address，文件系统，根目录用户密码，hostname，安装相关工具打开centos，创建hadoop用户，密码。配置eth0，onboot=YES， 重启网卡。关闭iptables，selinux，安装vsftpd安装辅助工具：flashfxp，secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK，检测。配置SSH,实现maste
转载
2023-05-23 17:30:59
123阅读
Hadoop简介Hadoop是Apache旗下的一套开源分布式计算平台。 应用范围：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 核心组件：HDFS（分布式文件系统）高容错性、高伸缩性等允许用户将Hadoop部署在低廉的硬件上YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）允许用户在不了解分布式系统细节情况下开发并行应用程序。准备Linux环境虚拟机克隆
转载
2023-09-01 10:09:50
132阅读
MapReduce处理大数据集的过程是把大数据集分解成为成百上千个小数据集，每个数据集分别由整个HDFS集群中一个节点进行处理并生成中间结果，然后将这些中间结果又由大量的节点合并，形成最终结果。其原理是1、数据的分布式存储HDFS和普通的文件系统一据，每一份Block还会复制成数份数据存储到不同的DataNode上，而NameNode成为整个HDFS的核心，它通过维护一些数据结构来记录每一个文件被
转载
2023-10-18 11:10:04
65阅读
菜鸟教程Shell script学习笔记(下)以下内容是学习菜鸟教程之shell教程，所整理的笔记Shell流程控制和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)：<?php
if (isset($_GET["q"])){
search(q);
}
else {
//不做任何事情
}
#在sh/bash里不可以这么写，如果else分支没
转载
2024-07-16 14:11:46
45阅读
MapReduce的补充：完整的Map/Reduce的作业过程会把输入的数据分成很多独立的块，Map任务以完全独立的方式来处理他们，Map处理后的中间结果会被排序，然后分组进入到Reduce任务中，作业的输入输出都会放在文件系统中，Map/Reduce框架和HDFS运行在相同的节点，那么计算和存储操作都会在同一个节点上面进行。Master负责把任务指派给Slave，Slave只负责执行Maste
转载
2023-12-11 19:26:48
51阅读
配置VirtualBox 新建一个虚拟机 ps：步骤可参照我之前博客一、安装准备jdk-8u221-linux-x64.tarhadoop-2.6.0-cdh5.14.2.tar.gz ps:如何配置jdk可参照我之前的博客jdk安装配置这里就不一一赘述了话不多说我们直接开始 切换至software 文件目录： cd /software 将准备好的文件拖入software 目录下 将文件解压至 o
转载
2023-09-20 12:01:29
98阅读
作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 1.7 HDFS的基本命令行文件操作Hadoop MapReduce实战手册HDFS是一个分布式的文件系统，就像一个Unix文件系统一样，它允许用户使用shell命令操纵文件系统。本节将说明如何使用HDFS的基本命令行来执行这些操作。值得注意的是，每一条HDFS命令都有一个与之一一对应的Unix命
转载
2023-09-04 10:29:30
29阅读
此系列是本人浅读《Hadoop权威指南（第三版）》的一些用更通俗，好理解的形式做的总结，具体参考原版。 MapReduce是Hadoop的核心和基础，他是一个处理数据的编程模型，虽说有了hive之后因为非常简单易上手，很多不是程序员的人也可以很好的利用Had
转载
2023-09-01 08:43:46
70阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mk
转载
2023-05-22 15:47:53
108阅读
CDH版本Hadoop集群搭建1、CDH版本hadoop重新编译1.1 为什么要编译？1.2 编译环境的准备1.3 进行编译2、CDH版本的zookeeper环境搭建2.1 zookeeper下载解压2.2 修改配置文件2.3启动zk服务3、CDH伪分布式环境搭建3.1 上传压缩包并解压3.2 查看hadoop支持的压缩方式以及本地库3.3 修改配置文件3.4 创建文件存放目录3.5 安装包的分
转载
2023-08-18 13:26:47
264阅读
文章目录〇、要点一、HDFS 概述1.1 HDFS 的产生背景和定义1.2 HDFS 的优缺点1.3 HDFS 的组成1.4 HDFS 的文件块大小二、HDFS 的 Shell 操作2.1 基本语法2.2 命令大全三、HDFS 的客户端 API四、HDFS 的读写流程4.1 HDFS 写数据流程4.1.1 文件写入4.1.2 网络拓扑 - 节点距离计算4.1.3 机架感知（副本存储节点选择）4.
转载
2023-07-04 14:30:39
48阅读
最近想研究一下hadoop，但是总要弄个环境模拟一下吧，要不然光看资料实在无法深刻理解。但是，正如题目所说的那样，对于安装hadoop来说，我实在是个菜鸟，首先hadoop需要安装在linux环境下，我是基本没有摸过linux的，只好在网上不断搜索，查找资料，同时学习一些新知识。最后，终于把这个东西装上了，虽然还有很多地方不是理解为什么这么做。这首先要感谢互连网上的那么多无私的人提供的资料，谢谢，
转载
2023-07-30 15:37:28
160阅读
Hadoop文件存储时将文件分为元数据，数据本身分别存储。元数据指的是文件的属性信息，如存放位置，大小，创建时间等，NameNode节点保存文件元数据数据本身指的是文件中的数据，数据分块Block存储可能是一块也可能是多块，这取决数据本身大小，DataNode节点保存文件Block数据下图是hadoop map-reduce的运行图 hadoop运行原
转载
2023-07-14 19:13:20
59阅读
一、HDFS 使用基础 格式化配置HDFS文件系统，打开NameNode(HDFS服务器)，然后执行 hadoop namenode -format 格式化HDFS后，启动分布式文件系统, $ start-dfs.sh 找出文件列表中的目录，文件状态，可以传递一个目录或文件名作为参数: hadoop
转载
2023-11-15 14:47:02
50阅读
