package inputformat;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.net.U
原创
2022-09-05 17:06:45
58阅读
概述Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架，狭义上是Hadoop指的是Apache软件基金会的一款开源软件（用java语言实现），允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件，Hadoop广义上指生态圈。 Hadoop HDFS(分布式文件存储系统):解决海量数据存储； Hadoop YA
转载
2023-07-12 12:39:37
403阅读
Hadoop是什么？ Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. Hadoop的优点 Hadoop是一个能够对大量数据进行分布式处理的软件
转载
2023-09-01 08:18:54
365阅读
除非你过去几年一直隐居，远离这个计算机的世界，否则你不可能没有听过Hadoop，全名ApacheHadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架，Hadoop本质的12点介绍，具体如下：1.hadoop是由多个产品组成的。人们在谈论Hadoop的时候，常常把它当做单一产品来看待，但事实上它由多个不同的产品共同组成。Russom说：“Hadoop是一系列开源产品的组合，
转载
2023-08-26 12:03:05
45阅读
hadoop是什么？(1)Hadoop就是一个分布式计算的解决方案，也就是帮助我们把 一个任务分到很多台计算机来运算。(2)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的
原创
2022-03-11 10:52:21
1789阅读
转载
2023-09-20 12:46:49
163阅读
hadoop是什么？ (1)Hadoop就是一个分布式计算的解决方案，也就是帮助我们把 一个任务分到很多台计算机来运算。 (2)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）Hadoop的数据来源可以是任何
转载
2021-05-24 10:22:13
4447阅读
Hadoop 的文件系统，最重要是 FileSystem 类，以及它的两个子类 LocalFileSystem 和 DistributedFileSystem。 这里先分析 FileSystem。
抽象类 FileSystem，提高了一系列对文件/目录操作的接口，还有一些辅助方法。分别说明一下:
1. open，create，delete，rename等，非abstract，部分返回
转载
2023-08-03 14:48:00
899阅读
我用的是redhat5.4，在一般用户下执行sudo命令提示llhtiger is not in the sudoers file. This incident will be reported.解决方法：一、$whereis sudoers －－－－－－－找出文件所在的位置，默认都是/etc/sudoers &nb
转载
2023-12-01 20:16:45
140阅读
什么是hadoop？ hadoop 是一个可编程和运行分布式应用，用来处理大数据的开源框架。 Hadoop主要子项目Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common
HDFS: Hadoop 分布式文件系统 (Distr
转载
2023-09-07 11:09:23
320阅读
官网http://hadoop.apache.org/下载页:https://hadoop.apache.org/releases.html上传安装包到Linux解压并进入到目录下[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/[root@hadoop101 software]# ls /op...
原创
2022-03-07 11:48:22
1157阅读
什么是Hadoop？搞什么东西之前，第一步是要知道What（是什么），然后是Why（为什么），最后才是How（怎么做）。但很多开发的朋友在做了多年项目以后，都习惯是先How，然后What，最后才是Why，这样只会让自己变得浮躁，同时往往会将技术误用于不适合的场景。Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底
转载
2013-08-20 20:34:00
3419阅读
2评论
Hadoop总结——Hadoop基础
原创
2022-11-26 07:39:58
266阅读
点赞
官方讲解： Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。 个人理解： Hadoop就是一些模块的相对简称!! 那Hadoop到底指的哪些模块？？以及他们是干嘛
原创
2022-05-04 14:35:19
767阅读
影响性能与数据分布的一个因素是HBase中表的数量以及每个表的Region的数量.如果分配的不合理,集群一个节点活多个节点的负载会出现显著的不均衡.其中比较注意的几点:
- 每个节点包含一个Region服务器
- 每个Region服务器包含多个Region
- 任何时候,一个给定的Region存在一个特定的Region服务器上
- 表被分成多个Region,而且散步在Region服务器中.
转载
2023-06-30 09:27:14
95阅读
1.数据完整性： 在数据第一次引入时系统计算校验和(checksum),在数据通过一段不可靠的 通道进行传输时再次计算校验和，如果所得 的 校验和和原来的校验和一致则代表数据完整2.HDFS数据完整性 hdfs 对写入 的数据计算校验和，在读取数据时验证校验和。 io.bytes.per.checksum 指定校验和的数据字节大小 默认512字节 datanode验证收到的数据后存储数据及校验和，
转载
2023-09-01 19:00:58
4阅读
前言Oozie是什么呢？按官方说法：Oozie是一个基于工作流引擎的服务器，其中每个工作流的任务可以是Hadoop的Map/Reduce作业或者Pig作业等。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Pig任务。Oozie 工作流由hPDL（Hadoop Process Definiti
转载
2023-09-20 10:40:02
52阅读
HA：high availability,高可用
1.NFS 网络共享存储设备。 2.QJM Quorum Journal Manager
3.两个名称节点
active //激活
standby //待命 SPOF ： single point of fail
转载
2023-07-24 14:26:47
82阅读
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
最近开始读<< Hadoop:the definitive guide>>，于是打算写点读书笔记，书电子版见网盘，密码v66s。原书推荐的读书顺序如下图： 这里我们就按从第一章到最后一章的顺序读吧.Chapter 2: MapReducemapreduce思想MR的思想非常简单，如下图所示： Map将按照行读入输入文件，然后将它们parse为若干个< Key,Val
转载
2023-09-22 10:38:19
94阅读
