HDFS是Hadoop系统的存储部分。它是块结构的文件系统，其中每个文件被分成预定大小的块。这些块存储在一台或多台机器的集群中。HDFS适用于两种类型的节点：NameNode（主节点）和DataNodes（从节点）Hadoop NameNodesNameNodes是HDFS文件系统的核心。它们保留文件系统中所有文件的目录树，并跟踪集群中数据的保存位置。它们不存储这些文件的数据。这是一台非常高效的机
转载
2023-07-14 09:59:51
57阅读
1. datanode介绍1.1 datanodedatanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的，保存的文件夹位置由配置选项{dfs.data.dir}决定1.2 datanode的作用datanode以数据块的形式存储HDFS文件
datanode响应HDFS 客户端读写请求
datanode周期性向NameNode汇报心跳信息,数据块信息，缓存数据块信息1.3
转载
2023-07-06 18:39:01
88阅读
Hadoop学习笔记[5]-Yarn介绍分布式计算简单的说就是要将计算任务分发给不同的计算节点，这其中很自然的就会遇到两个问题：资源管理任务调度 资源管理负责监控计算节点的负载情况，任务调度负责派发具体的任务到计算节点，本文说的Yarn主要就是用于资源管理1、Yarn之前Hadoop在2.X之后进行了比较大规模的重构，比较大的一块就是集群新增了Yarn这个角色，在Hadoop1.X的时候，负责
转载
2023-09-20 12:05:25
65阅读
文章目录Hive基本概念一、Hive介绍1、什么是Hive2、Hive的优缺点3、Hive的特点二、Hive架构1、架构图2、基本组成3、Hive与传统数据库对比 Hive基本概念一、Hive介绍1、什么是HiveHive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。Hive是基于Hadoo
转载
2023-07-24 11:00:06
47阅读
Pig 简介： Pig 是 Apache 项目的一个子项目，Pig 提供了一个支持大规模数据分析的平台，Pig 突出的特点就是它的结构经得起大量并行任务的检验，使得它能够处理大规模数据集Pig 特点： Pig 可简化 MapReduce 任务的开发&nb
转载
2023-09-06 10:43:28
44阅读
1 搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2023-10-06 20:44:44
92阅读
一.HDFS简介 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），源自于Google于2003年10月发表的GFS论文，是GFS克隆版，为hadoop提供存储功能。官方解释：Hadoop分布式文件系统（HDFS）是一种为在商用硬件上运行而设计的分布式文件系统。 它与现有的分布式文件系统有许多相似之处。 但是，与其他分布式文件系统的不
转载
2023-09-20 12:05:49
63阅读
一、基本形式如上图所示，将HDFS上的文本作为输入，在map函数中完成对单词的拆分并输出为中间结果，并在reduce函数中完成对每个单词的词频计数。文本作为MapReduce的输入，MapReduce会将文本进行切片处理并将行号作为输入键值对的键，文本内容作为输出的值，经过map函数的处理，输出中间结果为<word,1>的形式。MapReduce会默认按键分发给reduce函数，并在r
转载
2024-06-12 04:57:03
29阅读
目录导航详解Yarn基础架构及其设计思想1.Hadoop Yarn 目录组织结构2.Yarn 产生背景2.1 MRv1局限性2.2 轻量级弹性计算平台3YARN基本设计思想3.1 基本框架对比4 YARN基本架构4.1 YARN基本组成结构5 YARN的通信机制6 YARN 工作流程步骤：实例运行7.多角度理解YARN7.1并行计算7.2资源管理系统7.3云计算总结 详解Yarn基础架构及其设计
转载
2024-06-07 12:21:42
69阅读
简介配置local模式mapreduce模式经典案例 简介Pig是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结
转载
2024-01-09 21:59:32
41阅读
一、YARN 概述 YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Had
转载
2023-07-20 16:42:53
109阅读
本人去年的时候一直对maven项目很头疼，由于在构建hadoop项目时涉及到很多版本冲突方面的问题，但是在今年的开发中将很多问题得以解决。这一次，将本人的经验得以总结，为大家讲解一下用maven构建hadoop项目的具体步骤。（一）hadoop家族简介Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout
转载
2023-12-06 15:12:10
52阅读
文章目录一、Yarn概述二、Yarn的重要概念三、Yarn基本架构1）ResourceManager（RM）2）ApplicationMaster（AM）3）NodeManager（NM）4）Container四、Yarn工作机制 一、Yarn概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上
转载
2023-07-20 17:06:20
255阅读
前言hbase是什么 是以hdfs作为数据支撑的列式数据库。 hbase怎么用 可以使用命令行和api完成调用 hbase与传统数据库的比较 这里在于大数据量的前提下，当然本身数据库也可以分库分表，但需要额外的技术支持才可以。1、传统数据库遇到的问题： 1）数据量很大的时候无法存储 2）没有很好的备份机制 3）数据达到一定数量开始缓慢，很大的话基本无法支撑 2、HBASE优势： 1）线性扩展，随着
转载
2023-07-21 14:36:09
76阅读
概述 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入
转载
2023-07-12 14:04:31
70阅读
一般都是像这样 yarn jar hadoop-examples.jar pi 6 2000 写一些跑完就没事了，可是我发现这样每个粒例子的container都是1GB1vcore的，相对于我所使用的“pi 6 2000”太多了，那么如何在测试的时候设置我container的大小呢？在webui中我的memory total是8GB，发现放满八个container后，主机的物理内存还只用
转载
2023-07-14 09:59:32
73阅读
Pig1. pigpig 可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig latin进行数据处理pig latin可以进行排序，过滤，求和，分组，关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言pig可以看做是pig latin到map-reduce的映射
转载
2023-09-06 19:29:31
62阅读
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。背景随着数据量越
转载
2023-08-18 20:46:38
91阅读
ROOT表和META表先看一下HBase的相关的机制是怎样的。之前我们说过HRegion是按照表名和主键范围来区分的，由于主键范围是连续的，所以一般用开始主键就可以表示相应的HRegion了。不过，因为我们有合并和分割操作，如果正好在执行这些操作的过程中出现死机，那么就可能存在相同的“表名和开始主键”，这样的话只要开始主键就不够了，着就要通过HBase的元数据信息来区分哪一份才是正确的数据文件，为
转载
2023-07-06 18:38:15
49阅读
目标本文章主要是描述如何安装和配置几个节点的Hadoop clusters，甚至于数以千计的节点数。为了了解详细的安装步骤，需要先了解如何安装在单台机器上。本文档不包含高级的设置点，比如：安全性或者高可用性。准备需要安装Java环境从Apache网站下载一个稳定的Hadoop安装镜像安装搭建一个Hadoop集群需要将软件安装到集群中的所有机器中，或者一个适合当前操作系统集成的系统。这样做的目标就是
转载
2024-08-02 09:59:04
75阅读
