任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
HDFS客户端操作（开发重点）目录HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.1 HDFS客户端环境准备1）下载回来的Hadoop-3.1.0.tar
转载
2024-01-30 19:18:17
46阅读
此系列是本人浅读《Hadoop权威指南（第三版）》的一些用更通俗，好理解的形式做的总结，具体参考原版。 MapReduce是Hadoop的核心和基础，他是一个处理数据的编程模型，虽说有了hive之后因为非常简单易上手，很多不是程序员的人也可以很好的利用Had
转载
2023-09-01 08:43:46
70阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mk
转载
2023-05-22 15:47:53
108阅读
Hadoop入门Hadoop运行环境搭建（开发重点）3.1 虚拟机环境准备3.2 安装JDK3.3 安装Hadoop3.4 Hadoop目录结构第4章 Hadoop运行模式4.1 本地运行模式4.1.1 Grep案例4.1.2 WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 YARN上运行MapReduce 程序4.2.3 配置历史服
转载
2023-07-20 17:11:05
130阅读
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.5节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 安装HDFSHadoop MapReduce实战手册HDFS是Hadoop的分布式文件系统。MapReduce任务使用HDFS读取和
转载
2023-07-24 14:11:25
78阅读
Hadoop3.3.0完全分布式集群搭建前言从零开始学习hadoop，记录成长过程，也是为了集群崩了还能搭好。话不多说，我们开始干活了！ 环境： 虚拟机：15 Linux系统：centos7 需要提前准备好的安装包： 1.centos7镜像文件 2.安装包 3.hadoop3.3.0和jdk1.8压缩包 4.远程访问工具xshell和xftp接下来面对疾风吧 一、VMwar
转载
2023-09-13 23:18:46
2阅读
介绍欢迎来到Yahoo! Hadoop教程！这个系列教程将向你介绍Apache Hadoop系统的许多方向，还将向你展示：如何进行简单和高级的集群配置；如何使用分布式文件系统；如何使用分布式文件系统，如何开发复杂的Hadoop MapReduce应用，并且其它相关的分布式系统也提及。本章的目标：1. &n
转载
2023-09-01 08:51:28
8阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲1.1 Hadoop和云计算Hadoop从问世之日起，就和云计算有着千丝万缕的联系。本节将在介绍Hadoop的同时，介绍Hadoop和云计算之间的关系，为后面的学习打下基础。1.1.1 Hadoop的电梯演讲如果你是一名创业者或者是一名项目经理，那么最好准备一份“电
转载
2023-09-05 15:19:13
10阅读
1HADOOP背景1什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HADOOP的核心组件有 4. HDFS（分布式文件系统）5. YARN（运算资源调度系统）6. MAPREDUCE（分布式运算编程框架
转载
2024-01-16 09:31:36
591阅读
# Hadoop: A Revolution in Big Data Processing
## Introduction
In today's digital age, an enormous amount of data is generated every second. From social media posts to online transactions, from senso
原创
2023-12-16 05:48:05
17阅读
转载
2023-07-26 22:49:33
17阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop生态圈：MapReduce:分布式计算框架Yarn:集群资源管理和调度平台Hdfs:分布式文件系统Hive:数据仓库HBase:实时分布式数据库Flume:日志收集工具Sqoop:数据库
转载
2023-05-23 17:28:03
81阅读
大数据技术——HadoopHadoop概述Hadoop 运行环境搭建1.Hadoop概述1.1Hodoop是什么？1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。2）主要功能是处理海量数据的存储和海量数据的分析计算问题。3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。1.2Hadoop发展历史（了解）创始人：Doug C
转载
2023-09-13 22:57:31
15阅读
目录一、前奏二、HDFS的NameNode架构原理一、前奏
Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。有些朋友可能听说过Hadoop，但是却不太清楚他到底是个什么东西，这篇文章就用大白话给各位阐述一下。假如你现在公司里的数据都是放在MySQL里的，那么就全
转载
2023-07-12 21:00:27
120阅读
第四五章
MapReduce基础
实例
使用专利局的数据
开发最好基于一个模板
单个类完整定义每个MapReduce作业，Mapper和Reducer是自身静态类
在执行期间，采用不同的jvm的各类节点复制并运行Mapper和Reducer而其
转载
2023-08-11 15:06:59
75阅读
第6章 MapReduce入门6.5 温度统计6.5.1 问题描述《HADOOP权威指南 第3版 》教程中有个经典例子，既是温度统计。作者Tom White在书中写了程序和讲解了原理，认为读者们都会MapReduce程序的基本环境搭建部署，所以这里轻描淡写给带过了，对于初学者来说，这是一个“天坑”，程序跑步起来，也就消磨了Hadoop初学者的兴趣和意志。本节内容的Java项目目录结构请参见6.4节
转载
2023-07-12 10:05:00
45阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
