目录结构1.Hadoop概述 1.1 Hadoop简介 1.2 Hadoop发展史 1.3 Hadoop特点2.Hadoop核心 2.1 分布式文件系统——HDFS 2.2 分布式计算框架——MapReduce 2.3 集群资源管理器——YARN3.Hado
转载
2023-07-31 17:35:29
492阅读
CentOS7安装Hadoop需要有JDK，所以先下载安装JDK后，在进行安装Hadoop 下载Hadoop #联网状态下使用wget命令 wget
原创
2022-05-04 14:32:36
5752阅读
在大数据技术体系当中，Hadoop无疑是不能避开的，目前市面上的大数据开发，大部分还是基于Hadoop在进行开发的，因此在大数据学习当中，Hadoop的重要程度不言而喻。那么到底Hadoop能够对大数据带来哪些好处，下面我们来详细了解一下。 Hadoop如果要做一个简单的定义，那么就是一个分布式存储和计算平台，针对海量数据，完成从数据存储到数据计算的整个流程。基于Hadoop的大数据存储和计算，由
转载
2023-08-30 15:46:51
99阅读
系列文章：【大数据】Hadoop知识点简介【大数据】YARN知识点简介【大数据】Spark知识点简介Hadoop概述Hadoop是Apache基金会开发的一个开源的分布式系统基础架构，用于机器集群的数据存储和大规模数据处理。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop 主要由以下模块组成：Hadoop Common：包含Hadoop模块相关的库和工具。Hadoop Dist
转载
2023-08-07 17:38:49
26阅读
Hadoop Yarn 基本架构YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）NodeManager（NM）ApplicationMaster（APPM）ResourceManager(RM)ResourceManager负责所有资源的监控、分配和管理，一个集群只有一个ResourceManager负责整个集群的资源管理和分配，是一个全局的资源管理
转载
2023-09-20 10:36:45
101阅读
前提在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequence
转载
2023-11-20 00:04:11
48阅读
Java版本程序开发过程主要包含三个步骤，一是map、reduce程序开发；第二是将程序编译成JAR包；第三使用Hadoop jar命令进行任务提交。下面拿一个具体的例子进行说明，一个简单的词频统计，输入数据是一个单词文本，输出每个单词的出现个数。一、MapReduce程序 标准的MapReduce程序包含一个Mapper函数、一个Reducer函数和一个main函数 1、主程序1 packa
转载
2023-07-03 15:41:29
99阅读
Hadoop是Doug Cutting-- Apache Lucene创始人-- 开发的使用广泛的文本搜索库。Hadoop起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是由Lucene项目的一部分。 Hadoop名字的起源 Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，Doug Cutting如此解释Hadoop的得名："这个名字是我孩子
转载
2023-07-24 11:34:16
342阅读
基于Hadoop的大数据处理系统 By bigben@seu.edu.cn 2015/11/10 0. 前言伴随Internet和Web技术的飞速发展，网络日志、互联网搜索索引、电子商务、社交网站等技术的广泛使用带来了数据量的急剧增长。计算机技术在各行各业的普遍使用也促使大量数据的产生，如物联网中的传感器所产生的海量数据。近几年数据以惊人的速度增长，这预示我们己经进入大数据时
转载
2023-09-13 23:51:01
55阅读
前置步骤:1). 第一阶段：Hadoop单机伪分布(single)2). 第二阶段：Hadoop完全分布式(full)3). 第三阶段：Hadoop高可用(HA)第四阶段: Hadoop高可用+联邦(HA+Federation)0. 步骤概述1). 为高可用保存hadoop配置
2). 增加federation配置
3). 首次启动HA+Federation集群part1：启动journaln
转载
2023-11-01 10:01:36
82阅读
一、请谈谈你对Hadoop的理解？ 1、Hadoop是什么？(What is Hadoop) Hadoop是Apache软件基金会的一个开源项目，是一个分布式处理海量数据的软件框架。 它为开发者提供了一个分布式系统的基础架构，用户可以在不了解分布式系统的底层细节的情况下开发分布式的应用，充分
转载
2023-07-12 13:57:59
83阅读
HA概述：所谓HA（High Available），即高可用（7*24小时服务不中断）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群：
NameNode机器发生意外，如宕机，集群将无法使用，直到管理
转载
2023-07-12 15:08:58
10阅读
Hadoop里面的MapReduce编程模型，非常灵活，大部分环节我们都可以重写它的API，来灵活定制我们自己的一些特殊需求。 今天要说的这个分区函数Partitioner，也是一样如此，下面我们先来看下Partitioner的作用： 对map端输出的数据key作一个散列，使数据能够均匀分布在各个reduce上进行后续操作，避免产生热点区。 大部分情况下，我们都会
转载
2023-07-26 16:01:08
57阅读
一、Hadoop的起源Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的架构，与Google类似），Lucene后来面临与Google同样的错误。于是，Doug Cutting学习并模仿Google解决这些问题的办法，产生了一个Lucene的微缩版Nutch。后来，Doug Cutting等人根据2003-2004年Goog
转载
2023-07-12 12:20:33
79阅读
大数据学习---Hadoop的MapReduce的原理
原创
2022-02-21 17:07:18
138阅读
HDFS的优点： 1、处理超大文件 这里的超大文件通常是指百MB、甚至数百TB大小的文件。目前在实际应用中，HDFS已经能用来
转载
2023-07-12 13:50:19
75阅读
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。答: HDFS是hadoop的核心组件之一，分布式存储海量的数据； MapReduce也是hadoop的核心组件之一，分布式计算数据，将计算抽象成Map 和Reduce两部分，其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。
转载
2023-07-12 13:21:26
130阅读
CDH 1、CDH简介
CDH：全称Cloudera’s Distribution Including Apache Hadoop
CDH版本衍化
hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution
Hadoop
1.思考 MR的缺点？不擅长实时计算 hadoop 的 文件是存储磁盘的 hdfs 内，传输相比内传会慢很多，相比较 Storm 和 Spark 的流处理，流处理不需要批处理的数据收集时间，也省去； 作业调度的时延。不擅长流式计算 流式计算的输入数据是动态的，但是MR 的输入数据集时静态的，不能动态变化。不擅长有向图的计算 多个应用存在依赖关系，后一个程序的输入是前一个的输出。MR 不能进行这样的
转载
2023-07-13 18:08:33
132阅读
shuffle是MapReduce编程模型的核心。它主要指从maptask输出key/value到reducetask接受输入这段过程。这段过程也被称为“神奇发生的地方”，是mapreduce能顺利进行的保障。它的官方描述图如下：先来分析map端的操作：在这图种，map端的input来自本机存储的block种的数据。每执行一次map函数式，会传入偏移量和一行block中的数据，经过map函数的处理
转载
2023-09-01 09:20:31
59阅读
