我们hadoop2,4集群默认不支持snappy压缩，可是近期有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算。可是直接执行时报错： Failed with exception java.io.IOExce
转载
2021-08-06 13:55:48
1024阅读
编译前的准备: 首先安装ANT、ECLIPSE 、HADOOP.使用的的HADOOP版本是2.4。 1、安装ANT 解压： tar -zxvf apache-ant-1.9.4-bin.tar.gz &n
原创
2014-12-21 21:39:45
747阅读
一 、新建用户和用户组 注明：（这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些） 1.新建用户组 sudo addgroup hadoop 2.新建用户sudo adduser -ingroup hadoop hadoop 3.加入hadoop用户权限 sudo gedit /etc...
转载
2015-12-28 10:40:00
103阅读
2评论
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法開始和MapTask类似，包含initialize()初始化，依据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有
转载
2014-10-19 11:20:00
59阅读
2评论
使用hadoop进行MapReduce编程的时候。我们都希望使用IDE进行开发。本文主要介绍怎样使用Eclipse进行hadoop编程。
假设你的集群还没搭好，能够參考我的前一篇文章Ubuntu下用hadoop2.4搭建集群（伪分布式）
一、安装Eclipse
方法一：直接在Ubuntu的软件中心进行下载，例如以下图所看到的。
方法二：先下载Eclispe压缩文件后，使用命令
转载
2017-06-28 16:49:00
54阅读
2评论
要真正的学习hadoop，就必需要使用集群，可是对于普通开发人员来说，没有大规模的集群用来測试，所以仅仅能使用伪分布式了。以下介绍怎样搭建一个伪分布式集群。 为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式。请看我的前一篇文章。Ubuntu下用ha
转载
2017-07-06 11:01:00
95阅读
2评论
经过前边的积累，今天最终实现了集群环境下部署Hadoop。并成功执行了官方的样例。工作例如以下：两台机器：NameNode：上网小本，3G内存。机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：p...
转载
2016-01-17 13:29:00
62阅读
2评论
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。二、准备工具1.部署准备两个机器test1为Master，test2为Slave。 在两个机器上分别vim /etc/hosts，加入如下内容： 192.168.1.100 test1
192.168.1.200 t
原创
2015-07-28 13:38:17
441阅读
点赞
任务目的掌握启动 HDFS 集群和 YARN 集群的方式 进一步熟悉 HDFS 和 YARN 的 Web UI 界面 熟悉执
转载
2022-08-02 14:35:55
655阅读
首先参考离线安装版教程：http://www.jianshu.com/p/debf0e6a3f3b 里面说的是针对ubuntu1404版本，但是1604也可以装。 在迅雷上下载后拷贝至服务器中,按照教程走，起http服务器，建本地源，apt-get install ambari-server。 这些都很容易，但是在ambari-server se
原创
2016-08-18 16:08:34
2863阅读
由于2.4.0默认配置的libhadoop是32位的，在64位的操作系统环境运行过程中，会提示以下错误：Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.2.0/lib/nat
原创
2016-10-12 15:39:32
2809阅读
一、主机分布节点功能主机ZKJNzkfcNNDNRMNMHMHRkdcTest1*********Test2*********Test3*****Host所有节点：127.0.0.1 localhost192.168.3.11 &nb
原创
2015-10-26 13:15:49
2053阅读
# Spring Boot 2.7~2.4 和 2.4
## 简介
Spring Boot是一个用于构建独立Spring应用程序的框架。它简化了Spring应用程序的配置和部署过程，提供了一种快速开发和部署的方式。Spring Boot 2.7~2.4和2.4是Spring Boot的两个版本，本文将介绍它们的主要特性和使用示例。
## 特性
### Spring Boot 2.7~2.4
原创
2023-08-14 13:03:53
436阅读
CLI 命令行接口直到现在，我们的实现还没有提供任何操作接口给外界使用。我们先前的例子中在 main 函数中执行新建区块链 NewBlockchain，还有新增区块 bc.AddBlock 的方法。现在可以改善，增加命令行操作接口了。我们需要如下这样的命令：$ blockchain_go addblock “Pay 0.031337 for a coffee”$ blockchain_go p
原创
2022-03-17 17:14:58
103阅读
httpd 2.4新特性：1、MPM可于运行时装载； --enable-mpms-shared=all --with-mpm=event2、Event MPM3、异步读写4、在每模块及每目录上指定日志级别；5、每请求配置；<If>, <ElseIf>, <Else>；6、增强的表达式分析器；7、毫秒级的KeepAlive Timeout；8、基于域名的虚拟主机不
原创
2015-01-29 07:55:45
371阅读
Android的四大组件： Activity Brodcast Receiver Service Content Provider activity_lifecycle的图形示例： 即生命周期 onCreate() onStart() onResume() onPause(） onStop() on
原创
2021-08-04 10:26:29
193阅读
Linux 2.4是Linux内核的一个重要版本，于2001年1月4日发布。它是Linux内核的第一个稳定版本，也是长期支持版本(LTS)。Linux 2.4版本在当时的操作系统领域产生了深远的影响，为Linux系统的广泛应用奠定了基础。
Linux 2.4版本带来了许多重要的新特性和改进。其中最显著的是对多处理器系统的支持。Linux 2.4版本在内核中引入了对SMP(Systems with
原创
2024-03-11 10:31:31
87阅读
CLI 命令行接口直到现在，我们的实现还没有提供任何操作接口给外界使用。我们先前的例子中在 main 函数中执行新建区块链 NewBlockchain，还有新增区块 bc.AddBlock 的方法。现在可以改善，增加命令行操作接口了。我们需要如下这样的命令：$ blockchain_go addblock “Pay 0.031337 for a coffee”$ blockchain_...
原创
2021-07-14 10:44:41
93阅读
2.4 化简 ...
转载
2021-10-12 09:50:00
147阅读
2评论
（1）为什么会产生死锁？产生死锁有什么条件？由于系统中存在一些不可剥夺资源，而当两个或两个以上的进程占用自身资源，并请求对方资源时，会导致每个进程都无法向前推进，这就是死锁。死锁产生的必要条件有四个，分别是互斥条件，不剥夺条件，请求并保持条件和循环等待条件。互斥条件是指进程要求分配的资源是排他性的，即最多只能同时给一个进程使用。不剥夺条件是指进程在使用资源完毕之前，资源不能被强制夺走。
原创
2021-08-04 13:49:36
118阅读
