作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲2.2 HDFS基准测试Hadoop MapReduce实战手册运行基准测试程序，可以很好地验证HDFS集群是否已如预期般正确设置并执行。DFSIO是一个Hadoop自带的基准测试，可以用来分析一个HDFS集群的I/O性能。该部分展示了如何使用DFSIO来对HDFS集群的读取和写入性
转载
2023-08-18 20:43:10
54阅读
3.2.4 接入JSON数据的dataframe由于JSON文档的结构是嵌套的，所以它可能比csv文档稍微复杂一些。您将使用与前面类似的实验，但是这次餐厅数据的来源是一个JSON文件。本节重点介绍与前一个实验的不同之处，并假设您已经阅读了它。使用Spark，您将读取一个JSON文件，该文件包含餐馆数据，其结构与3.2.1节中的数据集类似。您将转换接入的数据以匹配上一个数据集转换后的
转载
2023-10-25 14:42:03
381阅读
2.4 安装和配置Hadoop集群2.4.1 网络拓扑通常来说，一个Hadoop的集群体系结构由两层网络拓扑组成，如图2-3所示。结合实际应用来看，每个机架中会有30~40台机器，这些机器共享一个1GB带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器，通常来说其网络交换能力为1GB或更高。可以很明显地看出，同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是Had
转载
2023-09-20 10:50:22
51阅读
大数据系统及应用-HDFS实训第1关：HDFS Java API编程 ——文件读写第2关：HDFS Java API编程——文件上传第3关：HDFS Java API编程 ——文件下载第4关：HDFS Java API编程 ——使用字符流读取数据第5关：HDFS Java API编程 ——删除文件第6关：HDFS Java API编程 ——删除文件夹第7关：HDFS Java API编程 ——自
转载
2023-09-20 10:50:39
157阅读
一个基于Hadoop Streaming + Python的MapReduce例子参见《Hadoop权威指南（第3版）》第二章准备工作：Hadoop2.7.2版本安装python环境安装数据准备：这里用的是NCDC的1901 1902两年的数据（其他的数据大家可以FTP下载下来）实验目的：通过Hadoop Streaming + Python统计每年最高气温背景知识介绍：Hadoop Stream
转载
2023-08-01 14:13:10
88阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者： 范东来 责编： 杨海玲1.1 Hadoop和云计算Hadoop从问世之日起，就和云计算有着千丝万缕的联系。本节将在介绍Hadoop的同时，介绍Hadoop和云计算之间的关系，为后面的学习打下基础。1.1.1 Hadoop的电梯演讲如果你是一名创业者或者是一名项目经理，那么最好准备一份“电
转载
2023-09-05 15:19:13
10阅读
本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第2章，第2.4节，作者： 范东来 责编： 杨海玲公众号查看。2.4 安装Hive在这一节，我们将进行Hive的安装。与安装Hadoop相比，Hive的安装非常简单，并且有些工作已经在安装Hadoop的时候完成，例如JDK的安装。并且Hive作为Hadoop的一个客户端，运行方式并不分为单机模式、伪分布模式、完全分
转载
2024-01-23 22:22:04
57阅读
1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 Hadoop的各个关联项目介绍： 1.Common：Common是为Hadoop其他子项目提供支持的常用工具，主要包
转载
2023-09-01 10:22:06
310阅读
[img]http://dl.iteye.com/upload/picture/pic/136745/8c8659cd-f6e4-3b9b-95eb-1ccb42797037.jpg[/img]
[b]《Hadoop海量数据处理——技术详解与项目实战》（第2版）阅读整理。[/b]
[b]Hadoop官网[/b]: [url]http://hadoop.
转载
2023-07-21 14:31:23
0阅读
2.3 在Windows上安装与配置Hadoop2.3.1 安装JDK 1.6或更高版本相对于Linux，JDK在Windows上的安装过程更容易，你可以在http://www.java.com/zh_CN/download/manual.jsp下载到最新版本的JDK。这里再次申明，Hadoop的编译及MapReduce程序的运行，很多地方都需要使用JDK的相关工具，因此只安装JRE是不够的。安装
转载
2024-07-30 20:35:46
93阅读
目录:一、实验（实训）目的二、实验（实训）原理或方法三、仪器设备、材料四、实验（实训）步骤五、实训记录及结果六、实训心得及体会(总结)总结：一、克隆虚拟机二、安装JDK三、Hadoop安装五、xsync集群分发脚本六、免密登录一、实验（实训）目的 1、完成HADOOP平台安装，完成配置文件的修改，并成功启动HDFS、YARN等进程；二、实验（实训）原理或方法 &n
转载
2023-09-20 10:51:25
60阅读
MapReduce2.0编程实践(下)实践一、运行实例假设hdfs文件系统中什么都没有，这里我先清空以前的东西。 注意不能使用[frank@localhost bin]$ ./hdfs dfs -rm -r -f /home/* 来清空hdfs系统中/home目录下全部内容，因为shell会将/home/*解读为本地/home/目录下全部文件和文件夹，但是在hdfs上未必有相对应路径的文件。 所以
转载
2023-07-13 16:35:43
46阅读
《Lucene实战(第2版)》基于Apache的Lucene 3.0，从Lucene核心、Lucene应用、案例分析3个方面详细系统地介绍了Lucene，包括认识Lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用Tika提取文本、Lucene的高级扩展、使用其他编程语言访问Lucene、Lucene管理和性能调优等内容，最后还提供了三大经典成功案例，为读者展示了一个奇妙的
转载
2015-03-17 16:33:00
162阅读
2评论
现代Java应用充分利用了微服务、反应式架构以及流式数据等创新设计。现代Java特性，譬如Lambda、流以及大家期待已久的Java模块系统让这些设计的实现极其便利。是时候更新技能工具箱了，只有这样，你才能从容应对迎面而来的种种挑战！本书通过透彻的示例和通俗的语言讲解了Java语言这些最激动人心的特性，作者注重细节，努力降低了学习难度，节省你宝贵的时间。依照本书边学边练，你可以很快掌握流应用程序接
原创
2024-01-19 22:48:48
289阅读
Kubernetes（简称K8S）是一个用于管理容器化应用程序的开源平台。通过使用Kubernetes，开发者可以更加方便地部署、扩展和管理应用程序。本文将介绍Kubernetes的关键概念和实战示例，帮助新手入门并理解这个强大的工具。
## 1. 准备工作
在开始学习Kubernetes之前，需要具备以下准备工作：
- 安装Docker：Kubernetes是基于容器技术的，所以需要先安装
原创
2024-01-18 11:07:51
108阅读
# MongoDB实战第2版实现指南
在现代应用程序开发中，MongoDB作为一个高性能的NoSQL数据库，逐渐得到了广泛的应用。本指南旨在帮助刚入行的小白了解如何实现“MongoDB实战第2版”的相关内容。完整的流程将帮助你从环境搭建到实现基本的CRUD（增、删、改、查）操作。
## 流程概述
下面是实现过程的步骤及对应的描述：
| 步骤 | 描述
原创
2024-09-02 05:08:21
35阅读
原书名jQuery in Action, Second Edition作者：Bear Bibeault, Yehuda Katz译者：三生石上下载：https://pan.quark.cn/s/0c120de12331
原创
2023-09-12 15:32:17
134阅读
如果您觉得作者翻译的内容有帮助，请分享给更多人。您的分享，是作者翻译的动力！ 本章涵盖了
部署一个Spark应用程序在Spark集群环境中定义关键组件的角色在集群上运行应用程序使用Spark计算近似的π值分析执行日志在前几章中，了解了Apache Spark是什么以及如何构建简单的应用程序，并且理解了dataframe和惰性等关键概念。本章与上一章相关联：在第5章中构建了一个应用程序，将
转载
2023-12-22 14:31:14
111阅读
# Python项目开发实战第2版### 版权声明### 引言### 希望能不做不想做的事### 希望学会好的方法并付诸实践
转载
2020-06-10 11:52:00
281阅读
2评论
出处：http://www.linuxidc.com/Linux/2013-10/91052.htm Lucene实战(第2版)(最权威的Lucene指南，覆盖Apache Lucene 3.0，作者为Lucene项目成员)《Lucene实战(第2版)》基于Apache的Lucene 3.0，从Lucene核心、Lucene应用、案例分析3个方面详细系统地介绍了Lucene，包括认识Lucene、
转载
精选
2014-10-07 20:32:12
712阅读
