1 初识HadoopHadoop两个核心组件：HDFS和MapReduceHDFS：分布式文件系统，存储海量数据MapReduce：并行处理矿建，实现任务分解和调度 Hadoop能够做什么？处理PB级别的数据处理、分析、统计、查询。有点，高扩展，低成本，成熟的生态。Hadoop大数据首选，人才缺口大：hadoop编程人员，hadoop运维人员 2 安装h
转载
2023-09-22 13:18:18
41阅读
大数据学习---Hadoop的MapReduce的原理
原创
2022-02-21 17:07:18
138阅读
http://www.hadoopsys.com/forum.php
转载
精选
2012-12-09 14:13:57
354阅读
1.hadoop源码：http://grepcode.com/project/repo1.maven.org/maven2/org.apache.hadoop/hadoop-common/2.hadoop主要方法：http://hadoop.apache.org/docs/r2.3.0/api/org/apache/hadoop/3.hadoop博客：http://blog.itpub.net/2
原创
2014-04-27 09:47:00
449阅读
hadoop.tmp.dir /opt/data/hadoop-3.1.3 hadoop.http.staticuser.user root
hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
fs.trash.interval 1440 配置hdfs-site.xml（记得要放在两个configuration中间
转载
2024-10-07 13:33:13
33阅读
在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。 我们都知道，NameNode主要被用来管
转载
2023-07-21 14:37:12
79阅读
之前讲的shell操作也是而客户端操作，只不过是通过shell命令。现在通过写代码的方式来操作hdfs虽然hdfs是在linux里面搭建的，我常的工作，hadoop需要的windo
原创
2022-11-18 01:08:55
720阅读
Hive:是一个构建在Hadoop 上的数据仓库框架,MapReduce (输入hive启动shell)metastore:是Hive元数据的集中存放地HBase:是一个在HDFS上开发的面向列的分布式nosql数据库(输入hbase shell启动shell)HBase 提供Avro,REST,T
转载
2016-04-12 20:13:00
93阅读
2评论
hadoop学习–（从hadoop框架讨论大数据生态）一、hadoop介绍hadoop是Apache基金会开发的分布式系统基础架构。主要解决海量数据的存储和海量数据分析计算。（传统工具存储不了海量数据，传统数据计算速度慢）。广义上来说。hadoop是指hadoop生态圈。二、hadoop的优势高可靠性 ：hadoop底层维护多个数据副本，一般备份3分数据。所以即使hadoop某个计算元素或者存储出
HDFS
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS 架构原理
HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameNode作为mas
原创
2023-12-20 15:39:16
64阅读
前言：
Hadoop集群的配置即全然分布式Hadoop配置。
笔者的环境：
Linux: CentOS 6.6(Final) x64
JDK: java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
OpenJD
转载
2017-05-15 20:23:00
132阅读
2评论
前言 上一篇我们分析了一个MapReduce在执行中的一些细节问题，这一篇分享的是MapReduce并行处理的基本过程和原理。分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。 Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。一、MapReduce并行处理的基本过程 首先要说明
转载
2024-06-07 21:15:53
54阅读
Hadoop支持非java预言来编写程序，这就会用到Streaming的通用API。
Hadoop Streaming使用流与程序进行交互。从STDIN输入数据，输出到STDOUT。数据必须为文本，而且每一行被视为一条记录。
原创
2012-04-19 16:00:46
735阅读
点赞
1评论
?Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念---Hadoop生态圈。Hadoop1.x、2.x、3.x区别 Hadoop1.x组成Common（辅助工具）HDFS（数据存储）MapReduce（计算+资源调度）Hadoop2.x组成Common（辅助工具）
转载
2023-07-14 15:03:29
55阅读
本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到My
原创
2023-05-14 09:20:35
168阅读
0 为何reduce也会有分组：文件1--->map1分组---> 张三一组， 李四一组文件2--->map2分组---> 张三一组， 李四一组在map阶段，文件1和
原创
2023-04-21 00:47:14
34阅读
