hadoop是一种和大数据有关的技术，经过一定的了解后知道hadoop有三个版本，其中第二个版本是我感兴趣的一个， 他分为四个部分，首先hdfs是存储数据的，其次yarn是分配数据的，最后mapreduce是用来计算的 ...
转载
2021-09-06 16:12:00
66阅读
2评论
Hadoop的单机运行模式配置目录一、Hadoop配置的准备工作.11、linux1二、配置Hadoop11.将hadoop放置到 opt下面的software文件后解压到modules文件下面： 12.配置hadoop的java环境支持.13、配置hdfs33.1、与hdfs相关的配置.33.2、格式化namenode33.3、启动hdfs守护进程.43.4、访问web界面.53.5、
转载
2023-07-20 17:26:26
169阅读
实验一：熟悉常用的Linux操作和Hadoop操作1.1 实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。1.2 实验平台（1）操作系统：Linux（Ubuntu 16.04） （2）Hadoop版本：3.1.31.3 实验步骤1.3.1 熟悉常用的Linux操作1）cd命
转载
2024-03-30 23:21:32
131阅读
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。(2)MR
原创
2014-04-30 23:04:08
1640阅读
在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。 hadoopHadoop学习两步走:linux学习、hadoop学习。在接触hadoop之前我有java基础，为此我的计划是首先学习Linux,然后学习hadoop生态系统,
转载
2023-11-23 10:11:04
175阅读
1.初识HadoopHadoop分布式计算框架，可以在大量低成本硬件设备组成的字是我孩子给一个棕
原创
2022-10-28 12:35:35
106阅读
本文主要介绍了hadoop1.2版本集群的安装步骤1分布结构由于是实验环境，所以只是简单的实现hadoop1.2版本的集群:主节点(1个,是hadoop0):NameNode、JobTracker从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker，其中hadoop1还包含SecondaryNameNode2 各节点重新产生ssh加密文件(可参照hadoop1
原创
2014-06-11 16:36:29
658阅读
在探讨今天的主题《如何利用各类资源学习Hadoop知识》之前，让我们首先搞清楚另一个问题：大数据Hadoop到底是什么？简单来讲，Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoop，大家需要理解两项与文件存储以及数据处理紧密相关的基础知识。在Hadoop当中，我们甚至可以保存比可用存储空间更大的文件。Hadoop提供相关选项，允许大家将大型文件存储在节点之上。很明显，处理规
本文主要介绍了如何使用java的api来对HDFS进行操作。(1)URL方式访问Hadoop中的文件①为了方便修改本机C盘的windows/system32/drivers/etc下的hosts文件前一个为虚拟机的ip地址，后一个为虚拟机的主机名②打开eclipse，新建一个Java工程，在src下建立一个hdfs的文件夹③导入hadoop-1.1.2源码包中主目录以及lib目录中的jar包④新建
原创
2014-04-29 11:56:48
3404阅读
本文主要介绍了hadoop1的伪分布模式的安装。只需要根据步骤一步一步的操作就可以按照好hadoop的伪分布安装。所用到的安装包为jdk-6u45-linux-x64.bin和hadoop-1.1.2.tar.gz。操作环境为VMware下CentOS-6.5的64位虚拟机。如果是32位系统，只需下载相应的jdk即可。一。伪分布模式安装大致步骤：(1)关闭防火墙(2)修改hostname(3)设置
原创
2014-04-25 17:37:56
800阅读
点赞
hadoop学习笔记初识hadoop数据越来越多，数据的增长越来越快，存储和分析这些数据成为挑战！数据的存储和分析当数据量逐渐变大时，单个磁盘的读写速度成为瓶颈。解决办法是，将数据分散存储，通过并行读取提高读写数据。 要达到这种目的，面临的2个问题：硬件故障，通过备份机制冗余存储数据并行读取后，正确的合并数据hadoop的hdfs和mapreduce为这两个问题提供了解决方案。关系型数据库为什么
转载
2023-08-10 14:29:10
351阅读
在前两节分别介绍了hadoop的安装以及HDFS的shell操作，本文紧接着前两文进行介绍本文主要对HDFS体系结构进行了基本的介绍。所有涉及到的源码都是hadoop-1.1.2的源码。我们知道在Hadoop安装部署完成之后会有5个进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker。那么这5个进程分别是干什么的呢？本文将
原创
2014-04-29 00:03:26
1242阅读
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现。 MapReduce是Google MapReduce的开源实现。 HDFS和MapRe
转载
2017-04-09 22:22:00
227阅读
实训的时候想要采用Hadoop中的Hbase作为缓存层，因此在这里写一点关于Hadoop的随笔。第一章 Hadoop Hadoop是一个开源的分布式计算平台，核心包括分布式文件系统HDFS和并行运算方法MapReduce。1.1 关于Hadoop1.1.1 Hadoop 特性高可靠性、高容错性高效性高可扩展性成本低运行在Linux平台上支持多种编程语言1.1.2 Hadoop
转载
2023-12-29 23:53:46
202阅读
在第一节介绍了Hadoop伪分布系统的安装，本文的所有操作都是在第一节的系统上进行的。本文主要介绍了Hadoop中HDFS的相关知识。包括基本介绍和相应的shell操作。(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网
原创
2014-04-26 00:20:57
1292阅读
本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中，我们一共分了8步，其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器：我们可以发现，其中有两个计数器：Combine output records和Combine input records，他们的计数都是0，这是因为我们在代码中没有进行规约操作。现在我们加入规约操作。在
原创
2014-05-02 23:16:56
2763阅读
大数据云计算出来也比较久了，目前也比较的火，最近打算学习下相关的知识。进行学习首先得选择一本书，这里我选择Hadoop+Spark生态系统操作与实战指南，因为书比较薄，适合入门。作者也提供了相关的视频和配置文件，环境。 hadoop权威指南，书是不错，不过太厚，目前入门不想使用此书，此书打算放在后面再进行
转载
2023-08-18 20:46:54
73阅读
注：因为Hadoop中的代码实现用java较为方便，并且书中代码用java实现的解释较为容易理解，所以，在博客中的代码实现均会使用java。第1章 初识Hadoop我们为什么需要Hadoop我们生活在一个数据爆炸的时代，现代每天产生的数据量甚至要超过从商周到清代产生的数据的总和。在这样一个时代，数据即是机遇，如何存储更多的数据，如何快速的对数据进行分析提取，就成了一个无法避免的问题。此外，我们注意
转载
2024-02-26 18:53:10
45阅读
从零开始学习hadoop之发行版选择经常会看到这样的问题：零基础学习hadoop难不难？有的人回答说：零基础学习hadoop，没有想象的那么难，也没有想象的那么容易。看到这样的答案不免觉得有些尴尬，这个问题算是白问了，因为这个回答似乎什么也没给出来。这个问题的关键在于“零基础”到底是个什么样的基础？所谓的零基础大体可以分为两种：第一种是hadoop初学者，有一定的Linux基础、虚拟机
转载
2024-03-11 17:22:08
21阅读
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是hello you，hello me,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello 2you 1me 1(1)大致运行流畅1.解析成2个<k,v>，分别是<0, hell
原创
2014-05-01 00:14:27
1421阅读
