本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第1章，第1.3节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲1.3 写WordCountMapReduce示例程序，打包并使用独立的Hadoop运行它Hadoop MapReduce实战手册本节传授如何写一个简单的MapReduce程序，以及如何执行它，
转载
2023-07-24 13:57:29
88阅读
2.3 添加一个新的DataNodeHadoop MapReduce实战手册本节将展示如何在不重启整个集群的情况下将新节点添加到现有的HDFS集群中，以及增加新的节点后，如何强制HDFS重新达到平衡。准备工作请按照下列步骤向HDFS集群中添加DataNode节点。在新节点上安装Hadoop，并且复制现有的Hadoop集群的配置文件。可以使用rsync从另一个节点复制Hadoop配置。例如：>
转载
2023-09-11 19:52:38
127阅读
3.2.4 接入JSON数据的dataframe由于JSON文档的结构是嵌套的，所以它可能比csv文档稍微复杂一些。您将使用与前面类似的实验，但是这次餐厅数据的来源是一个JSON文件。本节重点介绍与前一个实验的不同之处，并假设您已经阅读了它。使用Spark，您将读取一个JSON文件，该文件包含餐馆数据，其结构与3.2.1节中的数据集类似。您将转换接入的数据以匹配上一个数据集转换后的
转载
2023-10-25 14:42:03
381阅读
转载
2023-07-26 22:49:33
17阅读
2.10 挂载HDFS（Fuse-DFS）Hadoop MapReduce实战手册Fuse-DFS项目使我们能够在Linux上挂载HDFS（也支持许多其他版本的Unix）作为标准的文件系统。这样做，可以允许任何程序或用户使用类似于传统的文件系统的方式访问HDFS和与HDFS交互。准备工作系统中必须安装以下软件：Apache Ant（http://ant.apache.org/）；Fuse和fuse
转载
2023-09-01 08:59:38
93阅读
# 如何实现“Hadoop 3 PDF实战”
## 引言
Hadoop 3 是一个流行的分布式计算平台，常用于大数据处理中。实现“PDF实战”通常涉及从 PDF 中提取数据，并使用 Hadoop 进行分析。本文将指导你如何使用 Hadoop 3 来完成这项任务，包括每一步所需的代码及其解释。
## 项目流程
在开始之前，我们首先需要了解整个项目的步骤。下面是一个简单的流程图，以表格的形式展
原创
2024-09-27 04:27:04
76阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第2章，第2.3节，作者： 范东来 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”查看。2.3 安装Hadoop本节将学习如何安装并运行Hadoop集群。对于Hadoop发行版的选择，结合2.1节的内容，我们选择CDH5，该版本是目前生产环境中装机量最大的版本之一，涵盖了所有的Hadoop的主要功能
转载
2024-07-26 11:11:14
38阅读
上一节课我们一起学习了RPC简单用法，这节课我们来学习MapReduce，MapReduce可谓是Hadoop当中非常重要的一部分，不学好这部分，我们就无法真正学会Haoop。 那么，首先我们来看一个MapReduce最简单的例子，如下图所示，假如我们要
转载
2024-06-05 15:38:16
15阅读
如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常
转载
2023-09-14 16:26:22
52阅读
[img]http://dl.iteye.com/upload/picture/pic/136745/8c8659cd-f6e4-3b9b-95eb-1ccb42797037.jpg[/img]
[b]《Hadoop海量数据处理——技术详解与项目实战》（第2版）阅读整理。[/b]
[b]Hadoop官网[/b]: [url]http://hadoop.
转载
2023-07-21 14:31:23
0阅读
作者： 【美】Eric Sammer 译者： 刘敏 , 麦耀锋 , 李冀蕾 第1章 简介Hadoop技术详解在过去的几年里，数据的存储、管理和处理发生了巨大的变化。各个公司存储的数据比以前更多，数据来源更加多样，数据格式也更加丰富。这不是因为我们变成了林鼠（译注：林鼠喜欢收集各种物品），而是因为我们想要创造出可以让我们进一步了解某一领域的产品、功能以及对其智能预测（这个领域可以是指用户、数据搜索、
转载
2023-10-03 20:06:28
59阅读
2.4 安装和配置Hadoop集群2.4.1 网络拓扑通常来说，一个Hadoop的集群体系结构由两层网络拓扑组成，如图2-3所示。结合实际应用来看，每个机架中会有30~40台机器，这些机器共享一个1GB带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器，通常来说其网络交换能力为1GB或更高。可以很明显地看出，同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是Had
转载
2023-09-20 10:50:22
51阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mk
转载
2023-05-22 15:47:53
108阅读
一个基于Hadoop Streaming + Python的MapReduce例子参见《Hadoop权威指南（第3版）》第二章准备工作：Hadoop2.7.2版本安装python环境安装数据准备：这里用的是NCDC的1901 1902两年的数据（其他的数据大家可以FTP下载下来）实验目的：通过Hadoop Streaming + Python统计每年最高气温背景知识介绍：Hadoop Stream
转载
2023-08-01 14:13:10
88阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲1.1 Hadoop和云计算Hadoop从问世之日起，就和云计算有着千丝万缕的联系。本节将在介绍Hadoop的同时，介绍Hadoop和云计算之间的关系，为后面的学习打下基础。1.1.1 Hadoop的电梯演讲如果你是一名创业者或者是一名项目经理，那么最好准备一份“电
转载
2023-09-05 15:19:13
10阅读
大数据系统及应用-HDFS实训第1关：HDFS Java API编程 ——文件读写第2关：HDFS Java API编程——文件上传第3关：HDFS Java API编程 ——文件下载第4关：HDFS Java API编程 ——使用字符流读取数据第5关：HDFS Java API编程 ——删除文件第6关：HDFS Java API编程 ——删除文件夹第7关：HDFS Java API编程 ——自
转载
2023-09-20 10:50:39
157阅读
2.4 编写Hadoop MapReduce示例程序现在要通过一个很简单且普通的单词统计（word count）来学习MapReduce。该例子的目标是统计每个单词在文章中出现的次数。这些文章作为MapReduce的输入文件。在该例中，已经准备了一些文本文件，我们希望计算所有单词在这些文件中出现的频率。我们通过Hadoop MapReduce来进行设计。本节中，将使用旧版API接口学习Hadoop
转载
2023-09-28 21:41:12
10阅读
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。大数据处理框架处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义，但大部分时候可以将前者定义为实际负责处理数据操作的组件，后者则可定义为承担类似作用的一系列组件。那么在众多的大数据框架中，Flink、Hadoop和Apache Spark为何会脱颖而出。首要，Hado
转载
2024-09-21 11:22:40
51阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第2章，第2.4节，作者： 范东来 责编： 杨海玲公众号查看。2.4 安装Hive在这一节，我们将进行Hive的安装。与安装Hadoop相比，Hive的安装非常简单，并且有些工作已经在安装Hadoop的时候完成，例如JDK的安装。并且Hive作为Hadoop的一个客户端，运行方式并不分为单机模式、伪分布模式、完全分
转载
2024-01-23 22:22:04
57阅读
一、实验目的了解Hadoop 的 MapeReduce 二、实验内容实现基于单机的伪分布式运行模拟 三、实验需要准备的软件和源1、 Jdk1.6 以上 下载地址： http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、 Cygwin &nb
转载
2024-01-09 22:27:53
28阅读
