我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce
转载
2021-08-06 13:55:48
980阅读
编译前的准备: 首先安装ANT、ECLIPSE 、HADOOP.使用的的HADOOP版本是2.4。 1、安装ANT 解压： tar -zxvf apache-ant-1.9.4-bin.tar.gz &n
原创
2014-12-21 21:39:45
737阅读
1、下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html2、下载hadoophttp://mirrors.cnnic.cn/apache/hadoop/common/stable/下载hadoop-2.7.1.tar.gz文件hadoop-2.7....
原创
2022-09-08 16:54:38
104阅读
一 、新建用户和用户组 注明：（这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些） 1.新建用户组 sudo addgroup hadoop 2.新建用户sudo adduser -ingroup hadoop hadoop 3.加入hadoop用户权限 sudo gedit /etc...
转载
2015-12-28 10:40:00
96阅读
2评论
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法開始和MapTask类似，包含initialize()初始化，依据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有
转载
2014-10-19 11:20:00
57阅读
2评论
作者：田逸(sery@163.com) from http://blog.formyz.org 如需转载请注明出处及署名，否则追究责任。
因为需要分析大量的访问日志，现有的分析方式（单机）不能满足需求，因此需要部署hadoop来解决这个问题。在我做分布式文件系统之前，曾经部署测试过hadoop，使用的版本为hadoop-0.19.0，记得当时配置起来很快就成功了。这次测试，我使用的是
推荐
原创
2009-10-20 14:56:40
10000+阅读
点赞
12评论
目录1. 创建虚拟机2. 设置ip及机器名映射3. 克隆hadoop02、hadoop034. 设置SSH免密（下面开始，三台虚拟机都要做相同的操作）5. 上传jdk、hadoop，以及配置环境变量（三个机器同样操作）6. hadoop集群环境配置7. 开启集群并测试8. UI界面管理集群9. 测试集群-单词统计wordcount补充：hadoop集群部署模式：hadoop目录及各目录的作用ha
转载
2023-09-08 20:13:54
0阅读
Centos7部署lamp: httpd2.4+fpm模式
原创
2017-01-02 17:24:23
470阅读
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。
假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式）
一、安装Eclipse
方法一：直接在Ubuntu的软件中心进行下载，例如以下图所看到的。
方法二：先下载Eclispe压缩文件后，使用命令
转载
2017-06-28 16:49:00
40阅读
2评论
Centos6部署lamp: httpd2.4+module模式
原创
2017-01-02 16:36:34
477阅读
cdh地址http://archive-primary.cloudera.com/cdh5/cdh/5/添加sudo权限的无密码访问的hadoop用户#useraddhadoop#vi/etc/sudoershadoopALL=(root)NOPASSWD:ALL#su-hadoop下载解压缩[hadoop@hadoop000softwore]$wgethttp://archive-primary
原创
2018-10-18 19:30:13
2748阅读
nacos2.0的集群部署：部署三个服务（至少三个服务节点）。环境准备：Linux centOS 7JDK1.8+配置环境变量Maven 3.2.x+数据库mysql8.0(生产使用建议至少主备模式，或者采用高可用数据库。)nacos-server 2.0.2详情可见 https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html开始搞
转载
2023-05-29 14:43:21
206阅读
# 麒麟V10上部署Hadoop集群的指南
在现代数据处理场景中，Hadoop是一个非常流行的开源框架，用于分布式存储和处理大数据。对于刚入行的小白来说，部署一个Hadoop集群可能会显得复杂，但只要按照流程一步步来，就能够轻松实现。
## 整体流程
以下是部署Hadoop集群的整体流程：
| 步骤 | 描述 |
| ---- | ----
1. MapReduce 定义 Hadoop中的 MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集 2. MapReduce 特点 MapReduce 之所以如此受欢迎，它主要有以下几个特点。： - MapReduce 易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序
转载
2023-07-12 13:07:18
38阅读
Centos6部署lamp: httpd2.4+fpm模式
原创
2017-01-02 16:59:22
331阅读
1、服务器管理器-添加角色和功能-基于角色或者基于功能的安装2、下一步-勾选AD域和DNS服务器（请勿勾选远程桌面服务）3、一直下一步直到安装即可，重启服务器4、重启后打开服务器管理器，右上角有个黄色旗帜，点一下，再提升为域控制器5、选择添加新林-输入域名(XXX.com)可以随意指定域名6、下一步，输入密码和确认密码，一直下一步直到安装结束重启服务器7、服务器管理器-添加角色和功能-远程桌面服务
要真正的学习hadoop，就必需要使用集群，可是对于普通开发人员来说，没有大规模的集群用来測试，所以仅仅能使用伪分布式了。以下介绍怎样搭建一个伪分布式集群。 为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式。请看我的前一篇文章。Ubuntu下用ha
转载
2017-07-06 11:01:00
88阅读
2评论
Centos7部署lamp: httpd2.4（event）+module模式
原创
2017-01-02 17:09:47
622阅读
Centos7部署lamp: httpd2.4（prefork）+module模式
原创
2017-01-02 17:16:19
570阅读
经过前边的积累，今天最终实现了集群环境下部署Hadoop。并成功执行了官方的样例。工作例如以下：两台机器：NameNode：上网小本，3G内存。机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：p...
转载
2016-01-17 13:29:00
62阅读
2评论
