我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce
转载
2021-08-06 13:55:48
1024阅读
编译前的准备: 首先安装ANT、ECLIPSE 、HADOOP.使用的的HADOOP版本是2.4。 1、安装ANT 解压： tar -zxvf apache-ant-1.9.4-bin.tar.gz &n
原创
2014-12-21 21:39:45
747阅读
一 、新建用户和用户组 注明：（这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些） 1.新建用户组 sudo addgroup hadoop 2.新建用户sudo adduser -ingroup hadoop hadoop 3.加入hadoop用户权限 sudo gedit /etc...
转载
2015-12-28 10:40:00
103阅读
2评论
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法開始和MapTask类似，包含initialize()初始化，依据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有
转载
2014-10-19 11:20:00
59阅读
2评论
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。
假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式）
一、安装Eclipse
方法一：直接在Ubuntu的软件中心进行下载，例如以下图所看到的。
方法二：先下载Eclispe压缩文件后，使用命令
转载
2017-06-28 16:49:00
54阅读
2评论
要真正的学习hadoop，就必需要使用集群，可是对于普通开发人员来说，没有大规模的集群用来測试，所以仅仅能使用伪分布式了。以下介绍怎样搭建一个伪分布式集群。 为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式。请看我的前一篇文章。Ubuntu下用ha
转载
2017-07-06 11:01:00
95阅读
2评论
经过前边的积累，今天最终实现了集群环境下部署Hadoop。并成功执行了官方的样例。工作例如以下：两台机器：NameNode：上网小本，3G内存。机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：p...
转载
2016-01-17 13:29:00
62阅读
2评论
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。二、准备工具1.部署准备两个机器test1为Master，test2为Slave。 在两个机器上分别vim /etc/hosts，加入如下内容： 192.168.1.100 test1
192.168.1.200 t
原创
2015-07-28 13:38:17
441阅读
点赞
任务目的掌握启动 HDFS 集群和 YARN 集群的方式 进一步熟悉 HDFS 和 YARN 的 Web UI 界面 熟悉执
转载
2022-08-02 14:35:55
655阅读
首先参考离线安装版教程：http://www.jianshu.com/p/debf0e6a3f3b 里面说的是针对ubuntu1404版本，但是1604也可以装。 在迅雷上下载后拷贝至服务器中,按照教程走，起http服务器，建本地源，apt-get install ambari-server。 这些都很容易，但是在ambari-server se
原创
2016-08-18 16:08:34
2863阅读
apache开机自启动
配置多个虚拟主机基于域名IPPORT
配置域名跳转
屏蔽恶意USER_AGENG
配置用户认证
访问控制
配置防盗链
配置静态文件缓存
配置伪静态
自定义访问日志错误日志格式
排除无意义的日志
日志切割
错误日志级别-差异记录
开启server-infoserver-status
HTTP11 状态码
ErrorDocumentAlias
原创
精选
2015-06-14 16:47:00
2823阅读
PCI总线定义了两类配置请求，一个是Type 00h配置请求，另一个是Type 01h配置请求。PCI总线使用这些配置请求访问PCI总线树上的设备配置空间，包括PCI桥和PCI Agent设备的配置空间。 其中HOST主桥或者PCI桥使用Type 00h配置请求，访问与HOST主桥或者PCI桥直接相连的PCI Agent设备或者PCI桥[1]；而HOST主桥或者PCI桥使用Type 01h配置请
原创
2021-09-02 09:41:49
375阅读
PCI总线定义了两类配置请求，一个是Type 00h配置请求，另一个是Type 01h配置请求。PCI总线使用这些配置请求访问PCI总线树上的设备配置空间，包括PCI桥和PCI Agent设备的配置空间。 其中HOST主桥或者PCI桥使用Type 00h配置请求，访问与HOST主桥或者PCI桥直接相连的PCI Agent设备或者PCI桥[1]；而HOST主桥或者PCI桥使用Type 01h配置请
原创
2022-03-24 16:42:20
753阅读
一、安装1、安装 openvpn 和 easy-rsa（该包用来制作 ca 证书） # 安装 epel 源yum install epel-release -y # 安装yum install openvpn easy-rsa2、配置 /etc/openvpn/easy-rsa 目录 mkdir -p /etc/openvpn/easy-rsa
原创
2023-03-01 16:51:12
1025阅读
1评论
注意问题1：1， slap.conf配置文件中rootpw前不要有空格，鱼后面的密码是用tab隔开2，在/etc/openldap/slap.d/cn=config下，查看一个文件olcDatabase\=\{1\}bdb.ldif 查看里面的域，是否是我们定义的，如果不是，则删除/etc/openldap/slap.d/* 然后重新生成：slapt
原创
2015-03-04 20:53:34
5604阅读
1，yum 安装openssl和openssl-devel，httpd-devel2，生成证书（也可以从公司的证书颁发机构获取）： 3,修改Apache的配置文件httpd.conf打开ssl模块，没有这个模块就需要安装依赖包：mod_ssl，安装后就会在modules里面找到:LoadModule
转载
2018-03-07 15:22:00
182阅读
2评论
在Linux服务器上，Apache是最流行的Web服务器软件之一。而在Linux中，Apache服务器的版本通常是2.2或2.4。在本文中，我们将重点介绍如何在Linux系统上配置Apache2.4。
首先，要确保你的Linux系统上已经安装了Apache2.4。可以通过在终端中输入以下命令来检查是否已经安装了Apache2.4：
```bash
apache2 -v
```
如果系统中已经
原创
2024-05-07 09:48:08
68阅读
