参考资料：《Hadoop 权威指南》 1 map处理完后，hadoop框架会
原创
2022-06-01 05:11:00
187阅读
========================Apr.13th, 2012======================== 1. Why do we use Hadoop? 1)Stripped to its core, the tools of that Hadoop provides for building distributed systems - for data stora
原创
2012-04-14 00:01:24
784阅读
Hadoop hadoop-1.2.1.tar.gz jdk-6u32-linux-x64.binUseradd -u 900 hadoopMv jdk1.6.0_32 /home/hadoopMv hadoop-1.2.1.tar.gz/home/hadoopChown hadoop.hadoop /home/hadoop -RSu -hadoopLn -s j
原创
2016-09-18 19:12:33
569阅读
来自：http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html
这里先大致介绍一下Hadoop.
本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档，里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参
转载
2011-09-08 14:46:47
467阅读
第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第十章：牛逼高大上的机器学习经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火
HaDoop 0.23.0 学习笔记0.23 介绍Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在
原创
2014-04-17 14:12:41
709阅读
Hadoop 0.23.11安装以及遇到的问题解决方案
原创
2014-08-04 11:06:30
1525阅读
hadoop hbase学习笔记 当一个表中记录的数据越来越大的时候，hbase自动把表切分为不同的region，每个region包含所有行的子集，有[startkey,endkey]表示，有第一行及最后一行，加一个随机生成的区域标识符组成。不同的region会被hbase的master分配到相应的regionserver。由于原始table中的记录按照row key排序
转载
精选
2014-10-15 08:48:43
1085阅读
从事软件开发将近四年，一直热衷于各种技术语言，但是感觉自己始终都不知道自己到底喜欢从事哪个方面的开发，毕业的前两年一直在大连做对日软件外包，做了两年后觉得真的没有什么意思，软件的设计都不是自己做的，只是需要按照需求进行程序的书写，所以和几个同事一直离职后来了北京，其实来到北京想的和现实还是不一样，最后我还是干了类似外包的项目，写这篇日记我心里一直很不确定自己喜欢什么样的技
原创
2015-10-26 14:56:34
609阅读
学习笔记(Hadoop分布式文件系统)Hadoop是以流式数据访问模式存储超大文件。一次写入，多次读取。每个文件，目录，数据块的存储信息需要存放在内存中，大小根据经验约为150字节。所以对于硬件内存还是有
原创
2015-10-27 18:27:05
390阅读
Hadoop中的作业(Job)Hadoop中的作业起始操作，JobClient.runJob(conf)方式进行作业开始，JVM里新建一个进程进行作业处理，作业里面包含任务，调用tasktracker进行
原创
2015-11-11 17:14:42
333阅读
Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别...
转载
2021-04-12 21:42:25
321阅读
2评论
1.查看hdfs文件的block信息 不正常的文件 hdfs fsck /logs/xxx/xxxx.gz.gz -files -blocks -locations Connecting to namenode via http://xxx-01:50070/fsck?ugi=xxx&files=1
转载
2019-07-15 11:51:00
123阅读
2评论
hadoop能解决哪些问题？1、海量数据需要及时分析和处理2、海量数据需要深入分析和挖掘3、数据需要长期保存问题：1、磁盘IO成
原创
2023-05-16 00:22:46
71阅读
1、2008年后期经典Hadoop服务器选型
CPU：2 X Xeon 2.0 GHz （四核）
内存：8GB
磁盘：4 X 1TB
网卡：千兆以太网卡
2、Hadoop数据节点
从Hadoop权威指南一书中可以看到作者建议在Hadoop的数据节点上不要组件raid，其中的理由是：无论raid 1、raid 5还是raid 0+1这样做的主要目的
原创
2013-04-23 16:58:31
1443阅读
YARN产生背景为什么会产生YRAN？这个与MapReduce1.x的架构有关，正是因为MapReduce1.x存在许多的问题，才会产生 YARN。MapReduce1.x的架构如下：Hadoop1.x时，MapReduce的架构仍然是主从架构。一个JobTracker带多个TaskTracker，主节点为JobTracker，只有一个，从节点为TaskTracker，可以有多个，从节点通...
转载
2021-06-10 21:07:20
185阅读
前言研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。The Apache™ Hadoop® ...
转载
2021-06-10 21:06:16
257阅读
前言研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。The Apache™ Hadoop® ...
转载
2021-06-10 21:06:15
541阅读
