1. 教程内容1）目标主要帮您解决以下几个问题：HDFS 是用来解决什么问题的？怎么解决的？如何在命令行下操作 HDFS ？如何使用 java api 来操作 HDFS ？了解了基本思路和操作方法后，想知道 HDFS 读写数据的具体流程是怎么样的并提供了实践环境，如果您不喜欢自己搭建hadoop环境，可以直接下载使用本环境学习并实践完成后，可以对 HDFS 有比较清晰的认识，并可以进行熟练操作，为
原创
2021-04-21 15:05:48
508阅读
1. 教程内容1）目标帮助您快速了解 MapReduce 的工作机制和开发方法主要帮您解决以下几个问题：MapReduce 基本原理是什么？MapReduce 的执行过程是怎么样的？MapReduce 的核心流程细节如何进行 MapReduce 程序开发？（通过7个实例逐渐掌握）并提供了程序实例中涉及到的测试数据文件，可以直接下载使用关于实践环境，如果您不喜欢自己搭建hadoop环境，可以下载使用
原创
2021-04-21 15:04:25
552阅读
在大数据技术体系当中，Hadoop技术框架无疑是重点当中的重点，目前主流的大数据开发任务，都是基于Hadoop来进行的。对于很多初入门或者想要学习大数据的同学们，对于大数据Hadoop原理想必是比较好奇的，今天我们就主要为大家分享大数据Hadoop技术原理。 关于Hadoop，大家都知道这是目前市面上主流的大数据都在用的框架，通过分布式存储和分布式计算来解决海量数据处理的问题。目前Hadoop已经
转载
2023-05-22 14:27:23
136阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲1.1 Hadoop和云计算Hadoop从问世之日起，就和云计算有着千丝万缕的联系。本节将在介绍Hadoop的同时，介绍Hadoop和云计算之间的关系，为后面的学习打下基础。1.1.1 Hadoop的电梯演讲如果你是一名创业者或者是一名项目经理，那么最好准备一份“电
转载
2023-09-05 15:19:13
10阅读
介绍欢迎来到Yahoo! Hadoop教程！这个系列教程将向你介绍Apache Hadoop系统的许多方向，还将向你展示：如何进行简单和高级的集群配置；如何使用分布式文件系统；如何使用分布式文件系统，如何开发复杂的Hadoop MapReduce应用，并且其它相关的分布式系统也提及。本章的目标：1. &n
转载
2023-09-01 08:51:28
8阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
前言在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。背景集群安全措施相对薄弱最早部署Hadoop集群时并没有考虑安全问题，随着集群的不断扩大， 各部门对集群的使用需求增加，集群安全问题就显...
原创
2021-05-11 17:16:57
1094阅读
创建目录 // step1
Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://192.168.2.98:8020");
// step2
FileSystem fs = FileSystem.get(conf);
// step3
fs.mkdirs(new Path("/use
转载
精选
2014-04-18 18:20:33
461阅读
Atlas2.1.0基于Apache开源版本的大数据组件的安装详细记录（测试环境）说明：Atlas安装参考了大量的网上资料，在此记录仅用作日后方便查看，组件版本组件名称组件版本Hadoop3.2.1Hive3.1.2Hbase2.3.4Zookeeper3.5.9Kafka2.6.2Solr7.4.0Atlas2.1.0jdk1.8Maven3.6.3一、Atlas2.1.0编译前提：编译我是通过
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
Hadoop简介Hadoop是Apache旗下的一套开源分布式计算平台。 应用范围：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 核心组件：HDFS（分布式文件系统）高容错性、高伸缩性等允许用户将Hadoop部署在低廉的硬件上YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）允许用户在不了解分布式系统细节情况下开发并行应用程序。准备Linux环境虚拟机克隆
转载
2023-09-01 10:09:50
132阅读
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.1节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲1.1 简介Hadoop MapReduce实战手册很多年来，想要存储和分析数据的用户都需要先将数据存储在数据库中，然后再通过SQL查询来处理。万维网已经改变了这个时代的大多数假设。万维网上的数
转载
2023-11-28 10:07:41
48阅读
MapReduce处理大数据集的过程是把大数据集分解成为成百上千个小数据集，每个数据集分别由整个HDFS集群中一个节点进行处理并生成中间结果，然后将这些中间结果又由大量的节点合并，形成最终结果。其原理是1、数据的分布式存储HDFS和普通的文件系统一据，每一份Block还会复制成数份数据存储到不同的DataNode上，而NameNode成为整个HDFS的核心，它通过维护一些数据结构来记录每一个文件被
转载
2023-10-18 11:10:04
65阅读
实验目的要求 目的：（1）掌握数据仓库工具Hive的使用；要求：掌握数据仓库Hive的使用；能够正常操作数据库、表、数据； 实验环境 五台独立PC式虚拟机；主机之间有
转载
2023-07-25 09:52:04
146阅读
Hadoop环境搭建以及试跑MapReduce作业一：安装JDK1.查看2.删除3.删除的具体命令如下：4.下载JDK5.安装让环境变量生效二：安装Hadoop让环境变量生效创建用户组和用户创建日志文件夹设置密码修改配置文件修改core-site.xml修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml配置/hadoop-env.sh格式化hdfs配置
转载
2023-11-18 23:38:12
61阅读
问题一：了解对比Hadoop不同版本的特性，可以用图表的形式呈现答：发行版本功能特点 DKhadoop发行版DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高
转载
2023-09-15 22:21:44
51阅读
安装centos，配置stable ip address，文件系统，根目录用户密码，hostname，安装相关工具打开centos，创建hadoop用户，密码。配置eth0，onboot=YES， 重启网卡。关闭iptables，selinux，安装vsftpd安装辅助工具：flashfxp，secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK，检测。配置SSH,实现maste
转载
2023-05-23 17:30:59
123阅读
