马誉的博客_【Hadoop】

关于Hadoop系列文章

Hadoop系列文章全部转载自马哥教育马哥教育： http://mageedu.blog.51cto.com Hadoop整个系列文章还要涉及到以下话题： 1、HDFS命令行接口的使用； 2、完全分布式Hadoop； 3、Hadoop硬件选型； 4、Hadoop调优； 5、Hadoop调度方

hadoop

转载精选 2013-03-12 11:01:14 628 阅读 1点赞 1评论

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等； core-site.xml: 用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，

Hadoop配置文件

Hadoop常用配置参数

转载精选 2013-03-12 10:59:54 696 阅读

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

1、Hadoop依赖软件 Hadoop基于Java语言开发，因此其运行严重依赖于JDK(Java Development Kit)，并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如Sun JDK、OpenJDK、Oracle JRockit、IBM JDK各自实现的某些版本。但迄今为止，HotSpot JVM仍

Hadoop集群

Hadoop集群伪分布式模式

转载精选 2013-03-12 10:59:20 642 阅读

Hadoop系列之八：Hadoop集群

1、合并MapReduce集群与HDFS集群在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。在一个小于50个节点的小规模集群中，可以将NameNode与JobTracker合并于同一个节点上运行。而整个集群共有

Hadoop

Hadoop集群

转载精选 2013-03-12 10:58:45 883 阅读

Hadoop系列之七：分布式文件系统HDFS(2)

1、访问HDFS文件系统 HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。 1.1 HDFS用户接口 (1) hadoo

Hadoop

分布式文件系统HDFS

转载精选 2013-03-12 10:58:19 438 阅读

Hadoop系列之六：分布式文件系统HDFS

1、MapReduce与分布式文件系统前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获取所要处理的数据？在传统的高性能集群中，计算节点和存储节点是各自独立的，它们之间通过高速网络完成互联

Hadoop

分布式文件系统HDFS

转载精选 2013-03-12 10:57:50 926 阅读

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRe

Hadoop

MapReduce进阶

转载精选 2013-03-12 10:57:25 321 阅读

Hadoop系列之五：MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapReduce又是一个运行框架，它需要为基于MapReduce机制开发出的程序提供一个运行环境，并透明管理运行中的各个细节。每一个需要由MapRe

Hadoop

MapReduce进阶

转载精选 2013-03-12 10:57:15 367 阅读

Hadoop系列之四：MapReduce进阶

1、mapper和reducer MapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。键值对(key-value pair)是MapReduce的基础数据结构，mapper和reducer读入和输出的数据均为键值对。MapReduc

Hadoop

MapReduce进阶

转载精选 2013-03-12 10:56:43 2758 阅读

Hadoop系列之三：函数式编程语言和MapReduce

1、MapReduce和大数据问题海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不同的主机上进行处理的独立小问题，而且这些独立进行处理的小问题所产生的中间结果又该如何合并成最终结果并予以输出。因此，看似简单的化整为零的处理思想却不得不面临如下的难题： (1) 如何将大问题分割为小任务？

MapReduce

Hadoop

函数式编程语言

转载精选 2013-03-12 10:56:16 418 阅读

Hadoop系列之二：大数据、大数据处理模型及MapReduce

1、大数据(big data) 什么是大数据？wikipedia上面给出了这样的定义： In information technology, big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database manageme

MapReduce

Hadoop

大数据处理模型

转载精选 2013-03-12 10:55:45 811 阅读

Hadoop系列之一：大数据存储及处理平台产生的背景

传统的关系型数据库中的表通常由一个或多个字段组成，每个字段都预先定义了其可存储数据的格式及约束等，这类的数据就是结构化数据(structured data)。一个设计良好的数据库在其schema中定义这些格式或约束，并由相应的RDBMS为这些提供实现保证。相应地，非结构化数据(unstructured Data)就是指那些没有一个预定义的数据模型或不适于存储在RDBMS中的数据，这些数据没有额外的

Hadoop

大数据存储

转载精选 2013-03-12 10:55:02 485 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

马誉

关于Hadoop系列文章

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

Hadoop系列之八：Hadoop集群

Hadoop系列之七：分布式文件系统HDFS(2)

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之五：MapReduce进阶(2)

Hadoop系列之五：MapReduce进阶(2)

Hadoop系列之四：MapReduce进阶

Hadoop系列之三：函数式编程语言和MapReduce

Hadoop系列之二：大数据、大数据处理模型及MapReduce

Hadoop系列之一：大数据存储及处理平台产生的背景

欢迎