在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高）Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dcha
原创
精选
2016-03-22 19:03:19
5196阅读
5 集群使用初步5.1 HDFS使用1、查看集群状态命令： 可以看出，集群共有3个datanode可用也可打开web控制台查看HDFS集群信息，在浏览器打开http://hdp-node-01:50070/ 2、上传文件到HDFS² 查看HDFS中的目录信息命令： ² 上传文件命令： &nb
转载
2023-07-24 12:46:43
64阅读
前面我们已经学习了如何在伪分布式的模式下运行hadoop，下面我们介绍一下如何进行hadoop集群的安装机器配置：1.这里需要克隆3份虚拟机，一台master， 两台slaves，虚拟机怎么克隆就不说了，自己百度2.对各个服务器进行网络配置，这个可以看第一讲3.修改机器名字：每台计算机都执行以下下面的代码：[root@hadoop0 hadoop]# vim /etc/sysconfig/netw
转载
2023-07-12 13:15:01
93阅读
Hadoop2/cdh4集群安装CDH 是Cloudera 完全开源的Hadoop 分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache 的开源项目，开发的主要目的是为了构建可靠、可拓展、稳定的
原创
精选
2014-08-02 00:26:40
875阅读
# 1. 配置三台机器的IP地址master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82# 2. 关闭三台机器防火墙systemctl stop firewalld.service# 3. 修改主机名对应IP地址
原创
2023-03-21 17:49:43
96阅读
Hadoop2.6集群环境搭建
原创
2015-01-18 21:05:44
568阅读
1 关于防火墙配置，ssh这里没有在讲述， 这里仅仅是讲述hadoop配置文件
原创
2023-04-20 18:44:34
60阅读
1 ant准备：a) ant安装在window环境下，并在lib下增加包： jsch-0.1.51.jar(没有此包,此包
原创
2023-04-21 06:24:06
75阅读
之前断断续续搞过一些Hadoop生态的学习和小实践，现在有这个需要了就重新捡起来了，但是机器上没有这套环境需要重新安装一下，其实本质上来说在Linux下安装很多框架或者是系统并不麻烦，大多都是解压缩，改一些配置文件，然后配置一下对应的环境变量最终source使其生效就可以了。 最近需要使用到HBase数据库，HBase数
转载
2024-09-13 13:24:33
53阅读
目录一：版本介绍LINUX版本：centos6.5 64位版本（虚拟机三台机器，一主两从）168.37.101168.37.102168.37.103hadoop版本：2.7.7版本
JAVA版本：1.8.0二：SSH免密1、编辑hosts在root用户下输入命令，vi /etc/hosts,用vi编辑hosts文件，如下：2、生成authorized_keys文件登录centos01，在.
原创
2022-01-03 15:54:06
766阅读
一、环境说明 1、虚拟机平台：VMware10 2、Linux版本号：ubuntu-12.04.3-desktop-i386 3、JDK：jdk1.7.0_51 4、Hadoop版本号：2.2.0 5、集群节点：3个，各自是hadoopMaster。hadoopSlave1。hadoopSlave2
转载
2017-05-08 14:03:00
220阅读
2评论
hadoop2 比 hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1) 各节点：namenode：master slave3datanode：slave1 slave2 slave3journalnode：master slave1 slave3zookeeper: master  
原创
2015-05-31 18:48:32
1241阅读
一、 搭建hadoop集群可以先进行jdk和hadoop的安装，经过克隆之后，克隆的虚拟机里面也会存在jdk和hadoop（我用的是完整克隆，链接克隆应该也可以），就不需要多次安装了。1、安装三台虚拟机并实现互通（1）第一台虚拟机正常安装，后两台直接克隆（右键->管理->克隆）。 可能会出现虚拟机的IP地址相同（没有出现直接跳过这一步）。若出现这种情况： 先关闭虚拟机，然后右键虚拟机设
转载
2023-07-12 13:18:35
202阅读
hadoop3.3.0 集群搭建详细教程
先准备好：hadoop3.3.0secureCRT提取码：u3cdjdk官网centos7一、模板机1、虚拟机的网络适配器选择NAT2、关闭centos的防火墙systemctl stop firewalld
systemctl disable firewalld.service3、将centos设置为自动连接网络在设置中，找到网络，把有线设置为自动连接
转载
2024-01-29 19:51:56
67阅读
hadoop集群环境的搭建和单机版的搭建差点儿相同，就是多了一些文件的配置操作。一、3台主机的hostname改动和IP地址绑定注意：以下的操作我都是使用root权限进行！（1）3太主机的基本网络环境CentOS6.5,32位，在虚拟机下实现。我在虚拟机下安装了3个centos6.5系统，其IP地址...
转载
2015-06-03 14:18:00
72阅读
2评论
环境准备我使用的是vmware workstation，首先安装ubuntu 12.04，安装完成后通过vmware的clone
原创
2022-03-29 14:31:15
61阅读
一、 Hadoop的分布式模型 Hadoop通常有三种运行模式：本地(独立)模式、伪分布式(Pseudo-distributed)模式和完全
原创
2024-09-26 11:59:59
149阅读
Hadoop集群搭建
原创
2024-10-26 16:55:57
154阅读
1.前言本文档适用于Hadoop3.x版本分布式测试集群搭建。HDFS组件包括：NameNode、DataNode、SecondaryNameNodeYarn组件包括：ResourceManager、NodeManagerMapReduce组件包括：JobHistoryServer2. 集群搭建前提条件关闭防火墙确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步）集群间配好免密，包括免密
转载
2023-09-14 14:00:28
86阅读
版本及准备我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz。在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包。再准备一个jdk1.6+的java环境，设置好JAVA_HOME。需要注意的是，window下直接点击链接下载到的包可能无法解压成功，原因是包是放在linux ftp上的，直接下载会有问题。建议在linux机器上用wget命令下载就可以了，如果
转载
2013-09-26 22:38:00
65阅读
2评论
