一.读后感 最近读完了《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》英文第4版，个人感觉这本书是hadoop目前最权威、最全面、最靠谱的书籍，强烈建议大家好好研读。不建议大家去读hadoop权威指南第1版、第2版和第3版，第3版我也看完了，但是里面的知识已经与当前Apache had
转载
2023-08-04 12:17:29
104阅读
1. hadoop 它是一个分布式计算+分布式文件系统，前者其实就是 MapReduce，后者是 HDFS 。后者可以独立运行，前者可以选择性使用，也可以不使用2. hive 通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给hado
转载
2023-07-14 16:15:49
65阅读
学了这么久的大数据，感觉也没学到点什么。学到了还容易忘掉。今天就先写（复制）一篇Hadoop搭建的过程。VMware建立centOS目录1.2 检查vmware的网络服务状态1.3 创建虚拟机1.4 为虚拟机安装centos71.5 克隆虚拟机2. 安装hadoop集群2.1. 克隆机器的网络配置2.2. 配置li
转载
2023-09-22 13:22:35
53阅读
2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的13个年头,这个单词代表的是“核心”，今天我们就来看看关于Hadoop的精华问答。 1 Q：基于Hadoop的数据中心有什么好处？A：改善总体的SLAs（即，服务级协议）作为数据卷&复杂度的增长，例如不共享架构， 并行处理。 密集型内存处理框架，像Spark& Impa
转载
2023-07-24 14:00:57
69阅读
文档内容：
1：下载《hadoop权威指南》中的气象数据
2：对下载的气象数据归档整理并读取数据
3：对气象数据进行map reduce进行处理
文档内容： 1：下载《hadoop权威指南》中的气象数据 2：对下载的气象数据归档整理并读取数据 3：对气象数据进行map reduce进行处理关键词：《Hadoop权威指南
转载
2023-07-19 15:51:49
57阅读
APACHE HADOOP YARN – 概念和应用如前面所描述的, YARN 实质上是管理分布式app的系统。他由一个中心ResourceManager来管理集群所有的可用资源，每个节点有一个 NodeManager, 直接从ResourceManager来负责管理单节点的可用资源。 Resource Manager在YARN里, the ResourceManager 是一个主要的
转载
2023-09-02 20:34:12
61阅读
第一章：就是介绍一下Hadoop的历史及发展过程。
第二章：MapReduce从一个统计气象学的例子，来引出MapReduce的写法，对比了一下新旧API的区别以及不同。新的API主要采用的是虚类而不是接口的方式来提供服务。讨论了数据流：Hadoop的存储，以及工作原理，还有Combiner函数的使用。最后，谈到了使用不同语言来实现mapreduce功能（Streaming， P
转载
2023-12-11 22:40:54
87阅读
大数据云计算出来也比较久了，目前也比较的火，最近打算学习下相关的知识。进行学习首先得选择一本书，这里我选择Hadoop+Spark生态系统操作与实战指南，因为书比较薄，适合入门。作者也提供了相关的视频和配置文件，环境。 hadoop权威指南，书是不错，不过太厚，目前入门不想使用此书，此书打算放在后面再进行
转载
2023-08-18 20:46:54
73阅读
注：因为Hadoop中的代码实现用java较为方便，并且书中代码用java实现的解释较为容易理解，所以，在博客中的代码实现均会使用java。第1章 初识Hadoop我们为什么需要Hadoop我们生活在一个数据爆炸的时代，现代每天产生的数据量甚至要超过从商周到清代产生的数据的总和。在这样一个时代，数据即是机遇，如何存储更多的数据，如何快速的对数据进行分析提取，就成了一个无法避免的问题。此外，我们注意
转载
2024-02-26 18:53:10
45阅读
从零开始学习hadoop之发行版选择经常会看到这样的问题：零基础学习hadoop难不难？有的人回答说：零基础学习hadoop，没有想象的那么难，也没有想象的那么容易。看到这样的答案不免觉得有些尴尬，这个问题算是白问了，因为这个回答似乎什么也没给出来。这个问题的关键在于“零基础”到底是个什么样的基础？所谓的零基础大体可以分为两种：第一种是hadoop初学者，有一定的Linux基础、虚拟机
转载
2024-03-11 17:22:08
21阅读
《Hadoop权威指南》的10章和11章，基本都是讲集群的搭建、配置、目录结构等细节知识比较凌乱，在此将自己觉得重要的知识记录一下1. 为何不使用RAID？NameNode需要永久性储存文件元数据，可以使用RAID（磁盘阵列）做存储器但是DataNode不建议使用RAID做存储器，主要原因有三个：
原因一： HDFS的多副本已经能满足冗余需求，无需再使用RAID原因二： Hadoop的JBO
转载
2023-07-13 00:09:10
64阅读
本节书摘来异步社区《HBase权威指南》一书中的第1章，第1.5节，作者： 【美】Lars George 译者： 代志远 , 刘佳 , 蒋杰 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 HBase：Hadoop数据库看过BigTable的架构之后，我们可能会简单地认为HBase完全是Google的BigTable的开源实现。但是这个说法可能过于简单，因为两者之间还有
转载
2023-07-14 16:31:21
81阅读
下面这个就是yarn的高可用，ResourceManager可以有无数个 日记的管理方式发生了改变——单个namenode的模式，日记文件是直接写到namenode里面就可以了。现在要实现的是高可用的模式，高可用就需要两台namenode，而且管理模式是一样的，引入了两台那么日记文件就必须要实现共享与同步，既然要实现共享，一个是namenode之间点对点的连接，但是namenode的是高
转载
2023-07-13 16:38:12
61阅读
《Hadoop权威指南》知识点整理2MapReduce部分MapReduce应用开发_配置一个Configuration类的实例代表配置属性极其取值的一个集合，属性由String类型来命名，而值的类型任意，Configuration从使用简单结构名值对(name-value)的XML文件中读取其属性值。后添加到资源文件的属性会覆盖之前定义的属性。<!-- 配置文件 configuratio
转载
2023-07-13 16:37:12
50阅读
## Hadoop权威指南包括HBase这些吗
Hadoop是一个用于存储和处理大规模数据的开源软件框架，它提供了分布式存储和处理大数据集的能力。HBase是Hadoop生态系统中的一个NoSQL数据库，它用于存储和管理大规模结构化数据。
### Hadoop权威指南
"Hadoop: The Definitive Guide"是一本权威的关于Hadoop的指南书籍，它详细介绍了Hadoop
原创
2024-04-16 06:05:02
6阅读
Java 在 2021 年仍然重要吗？Java 以不同的方式被广泛使用，尤其是在您可能经常使用的流行平台上，例如 Twitter、Google、Amazon、Spotify 和 YouTube。 当技术存在多年后，它可能会显得无关紧要、缺乏竞争力，甚至对某些人来说已经过时。Java 的情况并非如此，它今年已经 26 岁了。Java 不再是过去式——它仍然非常流行，这让那些继续坚持 Java 是老式
转载
2023-08-14 20:33:45
117阅读
1.1数据！数据！
我们已经进入了一个数据大爆炸的时代！（有大量数据需要存储和处理）
1.2数据的存储与分析
硬盘存储容量多年来不断提升的同时，访问速度却没有与时俱进。
可采用分布式存储。但是存在两个问题，1.硬件故障问题。解决办法：a.冗余硬盘阵列（RAID）；b.Hadoop的文件系统HDFS。
2.多数任务需要某种方式结合大部分数据来共同分析。
1.3
转载
2024-05-30 12:12:08
22阅读
目录一、概述二、工作机制三、安装1、前提概述2、软件下载3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入1、从RDBMS导入到HDFS中2、把MySQL数据库中的表数据导入到Hive中3、把MySQL数据库中的表数据导入到hbase 正文回到顶部一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能
转载
2023-07-19 15:55:02
80阅读
# Hadoop YARN 权威指南
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理框架，用于协调和管理集群中的资源。在这篇文章中，我们将介绍Hadoop YARN的基本概念和用法，以及如何在实际项目中使用它。
## 什么是Hadoop YARN?
Hadoop YARN是Hadoop 2.x版本引入的资源管理框架，
原创
2024-04-04 05:19:03
28阅读
# Hadoop 权威指南与应用
Hadoop 是一个开源的分布式计算框架，能够处理大量的结构化和非结构化数据。它广泛用于大数据分析，并由许多企业和机构使用来构建数据处理和存储系统。在本文中，我们将深入探讨 Hadoop 的基本组成部分、安装步骤以及代码示例，帮助读者更好地理解这个强大的工具。
## 什么是 Hadoop？
Hadoop 是 Apache 软件基金会开发的一个框架，它允许分布
