着重介绍了HDFS运行了示例程序wordcount，自己也试了一遍（用的伪分布式）1.建立数据（和讲师的操作有些不一样，不过我相信自己）2.运行wordcount程序3.查看结果（可以看出来，只要没空格，它都看作是一个单词） 接下来介绍了50030和50070查看任务和HDFS状态......其中如果想看日志的话除了命令行也可以直接输入http://localhost:50070/log
转载
2023-09-22 13:24:22
63阅读
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop，这肯定是有部分性能的开销的。但是如果在公共云上，情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的，其一是平台方采购机器有规模优势，其二平台方可以在保证虚拟机性能的情况超卖部分资源。平台卖给用户8core32
转载
2024-01-12 14:57:43
66阅读
Apache Hadoop是一个开源的、可靠的、灵活的、分布式的计算系统（来自官网）作者：Doug Cutting主要受Google三篇论文的启发（GFS、MapReduce、BigTable）Hadoop海量数据的存储(HDFS)Hadoop Distributed File System海量数据的分析(MapReduce)Hadoop2.0后出
转载
2023-09-20 07:20:37
38阅读
云计算的几大形式云计算服务类型 基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。
eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云软件即服务（SaaS） - WebService ： 各系统之间可以相互交互网络服务平台即服
转载
2023-12-01 10:05:10
54阅读
前言 l 云计算领域目前有两大代表性系统： Google 和 Amazon ，它们各自的存储系统为 Google GFS 和 Amazon S3 l Hadoop HDFS 就是 Google GFS 存储系统的开源实现，主要应用场景是作为并行计算环境（ MapReduce ）的基础组件，同时也是 Bigtable （如 HBase 、 HyperTabl
转载
2023-09-22 12:50:39
61阅读
? 所属专栏：【大数据学习笔记（华为云）】 ? 作 者：我是夜阑的狗? ? 个人简介：一个正在努力学技术的码仔，专注基础和实战分享 ，欢迎咨询！ 文章目录前言1. 购买云ECS主机2. 开发环境step1 创建hadoop用户step2 更新aptstep3 安装最新版本的Javastep4 配置SSH无密码登陆节点3. 安装Hadoopstep1 下载step2 解压step3 配置Had
转载
2024-05-24 07:08:32
207阅读
任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
Hadoop体系概述Hadoop是Apache组织的一个分布式框架，是Google的云计算平台的开源实现。主要由以下几个子项目构成：（1）Hadoop Common：原来的Hadoop Core，是Hadoop项目的计算核心，其他的子项目都是在这个核心的基础上发展的。（2）Avro：Hadoop的RPC（Remote Procedure Call ，远程过程调用）方案。（3）Chukwa：一个用来
转载
2023-07-09 12:14:33
124阅读
目录1.Java环境安装1.下载安装包并上传服务器2.解压安装包,并且配置环境变量2.Hadoop伪分布式安装配置1.下载安装包,并上传服务器2.解压并且配置环境变量3.修改Hadoop配置文件4.启动hdfs3.Hive安装和配置 1.下载到本地并上传服务器 &n
转载
2024-01-09 22:01:36
55阅读
一、Hadoop基本架构Hadoop有许多发行版本，基本可以分为1.x版本和2.x版本。两者基本组成如下： 1、HDFS（Hadoop Distributed File System）其基本思想源自于Google的GFS论文，HDFS是GFS克隆版。HDFS特点 1、良好的扩展性 2、高容错性 3、适合PB级以上海量数据的存储基本原理 1、将文件切分成等大的数据块，存储到多台机器上 2、
转载
2023-06-14 22:11:32
141阅读
什么是云计算？摘抄一段wikipedia上的权威解释：云计算 （cloud computing ，台湾译作云端运算 ），是一种基于互联网 的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。由于资源是在互联网上，而在计算机流程图中，互联网云计算的资源是动态易扩展 而且虚拟化云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务 （PaaS）和软件即服
转载
2023-08-13 17:40:35
154阅读
波若大数据平台（BR-odp）Hadoop + HDFS+Hive+Hbase大数据开发工具剖析：HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。数据规模高达50PB以上HDFS和MR共同组成Hadoop分布式系统体系结构的核心。HDFS在集群上实现了分布式文件系统，MR在集群上
转载
2023-07-13 00:16:26
62阅读
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
Hadoop简介Hadoop是Apache旗下的一套开源分布式计算平台。 应用范围：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 核心组件：HDFS（分布式文件系统）高容错性、高伸缩性等允许用户将Hadoop部署在低廉的硬件上YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）允许用户在不了解分布式系统细节情况下开发并行应用程序。准备Linux环境虚拟机克隆
转载
2023-09-01 10:09:50
132阅读
实验目的要求 目的：（1）掌握数据仓库工具Hive的使用；要求：掌握数据仓库Hive的使用；能够正常操作数据库、表、数据； 实验环境 五台独立PC式虚拟机；主机之间有
转载
2023-07-25 09:52:04
146阅读
MapReduce处理大数据集的过程是把大数据集分解成为成百上千个小数据集，每个数据集分别由整个HDFS集群中一个节点进行处理并生成中间结果，然后将这些中间结果又由大量的节点合并，形成最终结果。其原理是1、数据的分布式存储HDFS和普通的文件系统一据，每一份Block还会复制成数份数据存储到不同的DataNode上，而NameNode成为整个HDFS的核心，它通过维护一些数据结构来记录每一个文件被
转载
2023-10-18 11:10:04
65阅读
安装centos，配置stable ip address，文件系统，根目录用户密码，hostname，安装相关工具打开centos，创建hadoop用户，密码。配置eth0，onboot=YES， 重启网卡。关闭iptables，selinux，安装vsftpd安装辅助工具：flashfxp，secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK，检测。配置SSH,实现maste
转载
2023-05-23 17:30:59
123阅读
