通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件  
准备工作：有3台虚拟机，主机名为node1、node2、node3，并且node1为主节点第一步：上传压缩包并解压将压缩的hadoop包上传到第一台服务器并解压；第一台机器执行以下命令cd /usr/soft/
tar -xzvf hadoop-3.1.4.tar.gz -C /usr/install第二步：查看hadoop支持的压缩方式以及本地库第一台机器执行以下命令cd /usr/instal
转载
2024-01-29 12:34:04
45阅读
可以去jdk官网下载8或者11版本，别用18因为hadoop会不兼容，先卸载本机的自带的jdk，下面我给大家带一个我在用的hadoop链接hadoop下载链接 假设在你的linux上面有三个虚拟机hadoop102 hadoop103 hadoop104 然后我们打开hadoop102进行安装hadoop，将我们下载好的压缩包利用xftp移到我们的虚拟机文件夹下分别是jdk包和
转载
2023-12-04 17:42:39
30阅读
关键字：Linux CentOS Hadoop Java版本： CentOS7 Hadoop2.9.0 JDK1.8说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 1.下载hadoop本博文使用的hadoop是2.9.0打开下载地址选择页面：Ha
转载
2023-10-16 12:59:01
78阅读
1，时间同步hadoop集群的每台机器的时间不能相差太大。安装集群前最好进行一下时间同步：ntpdate stdtime.gov.hk 跟标准时间同步date 查看本机时间2，无密码登陆查询某个进程的idps axu|grep hmaster 3， 安装心得： 各个机器的 service iptables off 关掉关掉 端口的问题 net
转载
2014-01-06 10:11:00
130阅读
2评论
1.文档目的上篇博文在linux下安装hadoop分布式集群非单机版 大家安装时候需要创建3个虚拟机，但是有的小伙伴说，我的笔记本配置不够，带不动，咋办呢？所以笔者也是把单机版的安装方式整理了一份本文可以让大家熟悉安装hadoop和hbase，并能自主解决安装过程中遇到的问题。本文主要是描述安装和配置hadoop和hbase的详细步骤。本文档假设读者已在VMware上安装centOS虚拟机，相关资
转载
2024-01-17 07:51:54
42阅读
文章目录一、安装准备工作二、安装1、修改主机名和hosts2.关闭防火墙3、安装包解压4.配置环境变量5、修改Hadoop配置6、同步slave1节点和slave2节点三、启动准备四、启动访问 一、安装准备工作1、虚拟机准备（centos7）master : 192.168.220.134
slave1 : 192.168.220.135
slave2 : 192.168.220.1362、安装
转载
2023-08-10 11:54:50
83阅读
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统）
安装前的准备： 1).安装PieTTY远程桌面连接工具&nbs
转载
2024-09-20 07:09:27
47阅读
1.下载Hadoop下载链接
原创
2021-09-08 15:31:56
183阅读
Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。
转载
2023-08-21 10:35:01
80阅读
安装数据仓库Hive实验目的要求实验环境软件版本实验步骤步骤一：Hive工具安装配置步骤二：开启zookeeper集群，Hadoop集群以及HBase集群步骤三：创建hive元数据数据库步骤五：Hive工具启动和验证 实验目的要求目的： 1、数据仓库工具Hive的安装和配置 2、掌握数据仓库工具Hive的安装和配置 要求： 1、完成Hive工具的安装和配置 2、Hive工具能够正常启动运行 3、
转载
2023-07-13 17:28:08
110阅读
关键词：Ubuntu;hadoop;注意：开始这一步之前，需安装Oracle的jdk，参见：1、下载hadoop的合适版本：http://labs.mop.com/apache-mirror/hadoop/common/我下载的是hadoop-1.1.0.tar.gz2、在/usr下创建hadoop目录，并将gz文件复制到hadoop目录下； 命令行下解压gz文件：tar -xzf hadoop
转载
2024-04-20 10:22:10
24阅读
单位有一套曙光集群，80多个节点，安装的SUSE10.2，系统比较老，官网有些补丁要授权，安全漏洞多，决定来次整体系统升级，全部换成CentOS6.3。1.一台台的换？会死人，就算安装minimal，也需要20来分钟一台，装还要得配IP，HOSTNAME之类。2.使用kickstart做了个光盘镜像，百度一下很多结果，不做介绍了，试验了一下，相较1，可节约约5分钟。但还是和一台台装，而且要刻盘。3
转载
2024-01-15 22:28:12
4阅读
hadoop集群安装安装环境服务部署规划服务器IPnode01node02node03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNResourceManagerYARNNodeManagerNodeManagerNodeManager历史日志服务器JobHistoryServer下载安装包，并解压下载目前hado
转载
2021-03-08 18:55:47
314阅读
2评论
workers文件里面记录的是集群主机名。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有点所设定的机器上执行。
原创
2024-05-16 15:27:32
36阅读
1.Haoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop（HDFS hadoop分布式文件系统）和Map Reduce（谷歌Reduce）为核心的Hadoop为用户提供系统底层细节透明的分布式基础架构。 Hadoop集群，可以分为两大角色。Master And &
原创
2014-10-29 17:39:43
729阅读
Step8:NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -formatHadoop集群启动关闭-手动逐个进程启停每台机器上每次手动启动关闭一个角色进程HDFS集群hdfs --daemon start namenode|datanode|secondarynamenodehdfs --daemon stop namenode|datano
原创
2022-03-15 15:25:59
196阅读
Step8:NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -formatHadoop集群启动关闭-手动逐个进程启停每台机器上每次手动启动关闭一个角色进程HDFS集群hdfs --daemon start namenode|datanode|secondarynamenodehdfs --daemon stop namenode|datano
原创
2021-05-20 10:28:26
176阅读
Hadoop之安装hdfs集群Hadoop之虚拟机创建与安装(1)Hadoop之集群创建与配置(2)Hadoop之linux服务器的基础软件环境配置(3)安装hadoop上传hadoop安装包到hdp-01解压hadoop-3.0.3.tar.gz删除doc文件夹--非必要修改配置文件远程拷贝hadoop安装目录到其他机器配置环境变量启动HDFS初始化namenode的元数据目录启动nameno
转载
2023-09-14 13:57:21
162阅读
粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装，在主节点上安装成功。分布式实时日志系统（四） 环境搭建之centos 6.4下hbase 1.0.
转载
2023-07-13 14:20:59
78阅读
