首先准备环境测试使用3台 reb hat linux 5.4VM 中安装Linux 计算机名分别为LinuxMain LinuxNode1 LinuxNode2Hadoop 2.5.1版本第一步：配置三台linux的IP地址。第二步：修改计算机名可能有人会问为什么要修改计算机名称，因为每一个登录的时候都是叫localhost这样不方便区分是那台机器hal/ host.conf
原创
2021-12-09 14:53:31
715阅读
首先准备环境测试使用3台 reb hat linux 5.4VM 中安装Linux 计算机名分别为LinuxMain LinuxNode1 LinuxNode2Hadoop 2.5.1版本第一步：配置三台linux的IP地址。不懂可以参照下面链接://blog.163.com/xiao_long/blog/static/2176511742014928111...
原创
2022-03-22 13:37:50
139阅读
本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。 http://blog.csdn.net/aquester/article/details/24621005 1. 规划 1.1.
转载
2016-08-14 14:06:00
109阅读
2评论
1、软件准备a.OS:CentOS-7.0-1406-x86_64-DVD.iso --去CentOS官网下b.JDK:jdk-7u71-linux-x64.gz --oracle官网下，至于1.8是否可行,没试c.Hadoop: hadoop-2.5.1.tar.gz --hadoop官网下d.虚拟机: VMware Player --小巧够用, 其他虚拟机也行2.环境介绍a.主机：192.16
转载
精选
2016-02-23 16:33:59
525阅读
首先你要下载hadoop2.5.1的插件将插件放入myeclipse的目录MyEclipse\MyEclipse 10\dropins之后重新打开myeclipse在window>>show view >>会出现MapReduce Tools >>Map/Reduce Locations 打开 配置地址 下面配置地址端口 两个
原创
2021-12-09 14:52:04
573阅读
Hadoop-2.5.1集群安装配置笔记1.环境1.1.虚拟机准备3台虚拟机，安装Centos 64-bit操作系统，采用最小安装。（本来想多跑几台虚拟机，但本人笔记本电脑内存有限，最多只能同时跑3个虚拟机）虚拟机一律配置静态IP地址，配置域名解析，各虚拟机时间同步。192.168.17.100 nameNode192.168.17.101 dataNode1192.168.17.102 data
转载
精选
2014-10-20 15:48:47
695阅读
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载：http://mirrors.hust.edu.cn/apache/hadoop/common/注：可直接使用2.5.2或2.6.0版本 都解决了2.5.1中不稳定bug&
原创
2015-01-04 14:39:25
663阅读
首先你要下载hadoop2.5.1的插件将插件放入myeclipse的目录MyEclipse\MyEclipse 10\dropins之后重新打开myeclipse在window>>show view >>会出现MapReduce Tools >>Map/Reduce Locations 打开 配置地址下面配置地址端口 两个端口就是你配置的实际的端口根据个人的端口写
原创
2022-02-11 10:38:11
84阅读
[plain] view plaincopy Centos6.5(64bit) jdk7 ant1.9.4 ma
转载
2022-09-23 20:46:30
44阅读
1.前言 本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。 在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可
转载
2023-09-14 13:58:51
95阅读
目录一：版本介绍LINUX版本：centos6.5 64位版本（虚拟机三台机器，一主两从）168.37.101168.37.102168.37.103hadoop版本：2.7.7版本
JAVA版本：1.8.0二：SSH免密1、编辑hosts在root用户下输入命令，vi /etc/hosts,用vi编辑hosts文件，如下：2、生成authorized_keys文件登录centos01，在.
原创
2022-01-03 15:54:06
766阅读
一、环境说明 1、虚拟机平台：VMware10 2、Linux版本号：ubuntu-12.04.3-desktop-i386 3、JDK：jdk1.7.0_51 4、Hadoop版本号：2.2.0 5、集群节点：3个，各自是hadoopMaster。hadoopSlave1。hadoopSlave2
转载
2017-05-08 14:03:00
220阅读
2评论
配置环境：centos 6.6、redhat9、hadoop1.0.3、jdk1.6
基本配置：这里选择了cento6.6作为master，redhat9是slave
基于单节点伪分布式配置（参考单节点的配置），修改其配置：
step1:在master的配置：
NO1：修改hadoop1.0.3/conf/masters的内容为：
&nbs
原创
2012-09-02 22:22:09
392阅读
相关阅读：hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法，并对一些重要的设置项进行解释，本文原文链接：http://blog.csdn.net/bluishglc/article/details/24591185，转载请注明出处！...
转载
2015-02-12 21:32:00
90阅读
centos7+hadoop-2.9.2搭建分布式集群教程【超详细】一、新建虚拟机：二、连接XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装以下配置在各个文件的``中添加八、克隆九、配置slave1和slave2十、ssh免密登录（1）master：a.[root@master ~]# ssh-keygen -t rsab.进
转载
2023-09-14 08:21:59
42阅读
Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.配置网络、设置静态IP，修改主机名，以及创建集群账号3.1.1 查看网络IP和网关，3.1.2 修改IP3.1.3 查看网关3.1.4 查看windows环境的中VMnet8网络配置3.2 设置静态IP3.3 修改主机名称，配置/etc/hosts3.4 创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Jav
转载
2023-09-14 14:02:13
45阅读
上篇已经安装好了虚拟机了，现在开始配置环境，安装hadoop注：hadoop集群最少需要三台机，因为hdfs副本数最少为3，单机不算 我搭了三台机 1、创建hadoop用户，hadoopgroup组 groupadd -g 102 hadoopgroup # 创建用户组
useradd -d /opt/hadoop -u 10201 -g 102 hadoop #创建用
转载
2023-09-14 08:22:46
39阅读
hadoop 集群 3.2 搭建过程其实很简单。hadoop 官网地址：https://hadoop.apache.org/releases.html
选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮：自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的：所以仔细对比了下配置文件，并未发现有什么异同，唯一不同的是版本不同，他用的
转载
2023-09-14 08:23:23
35阅读
Kafka是目前业界使用最广泛的消息队列。数据流转常见这样的业务场景，客户端把采集到的日志推送给Kafka，业务方可以消费Kafka的数据落地HDFS，用于离线分析，也可以使用Spark或Flink消费Kafka中的数据，用于实时计算。Kafka在数据流转过程中发挥着纽带作用，可用于日志采集和数据处理系统间的解耦。本文将介绍搭建Kafka集群的详细安装步骤，并根据日常业务遇到的问题，对Linux系
原创
精选
2021-05-06 19:20:39
2069阅读
hadoop2.2.0集群的高可用HA及M恢复了
转载
2022-12-08 20:08:43
82阅读
