1、环境介绍（1）软件版本OS：rhel6.3-x86_64JDK：jdk1.6.0_41Hadoop：hadoop-1.1.1（2）IP规划hserver 192.168.183.130 NameNodehclient1 192.168.183.131 DataNodehclient2 192.168.183.132 DataNode2、清空iptables# iptables -F
原创
2013-03-07 15:15:34
668阅读
主要思想1.选定一台机器作为 Master
2.在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3.在 Master 节点上安装 Hadoop，并完成配置
4.在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5.将 Master 节点上的 /usr/local/hadoop 目录复制到其他 S
转载
2023-09-14 14:00:49
103阅读
最近由于运行了两年多的Hadoop集群，硬盘故障的现象愈加频繁，故开始着手更换集群磁盘，但是所有的DataNode的磁盘都不是热插拔的，导致，必须关机，卸开服务器然后更换磁盘。经过这次之后，我想非常有必要专门总结一下Hadoop集群的服务器选择问题。1. 硬盘更换方便： 硬盘是主要耗材， 服务器最好是具有热插拔硬盘能力的。2. 专门的硬盘安装系统： 作为Hadoop DataNode节点的服务器，
转载
2023-07-21 14:48:51
59阅读
配置hadoop集群首先选准备3台liunx机器（我用的Ubuntu虚拟机）Ubuntu 还是 Centos 随便192.168.1.101 h1 (准备装成namenode)192.168.1.102 h2 (准备装成datanode)192.168.1.103 h3 (准备装成datanode) 首先，联通这3台机子
原创
2014-03-31 16:40:26
1150阅读
Hadoop集群的配置（二） 2.8 节点之间的免密码通信 1.什么是SSH SSH是Secure Shell的缩写，由IETF的网络工作小组（Network Working Group）所制定；SSH为建立在应用层和传输层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。从客户端来看，SSH提供两种
转载
2023-12-01 18:28:55
61阅读
一、环境192.168.3.66 namenode NameNode,JobTracker192.168.3.67 datanode1 DataNode,TaskTracker192.168.3.68 &
原创
2016-04-05 15:33:41
1422阅读
1、Hadoop基本安装配置 该项的所有操作步骤使用专门用于集群的用户admin进行 此项只在一台主机操作，然后在下一步骤进行同步安装与配置 首先，Hadoop软件包“hadoop-2.7.3.tar.gz”，上节课传到用户家目录的“setups”目录下，然后进行解压和环境变量设置。 $mkdir ~/hadoop #创建用于存放Hadoop相关文件的目录 $cd ~/hadoop #进入该目录
转载
2023-08-10 08:51:30
181阅读
本文介绍Hadoop在两个节点上的安装与配置即一个master和一个slave，安装版本为2.2.0，该版本及以上版本的安装方式几乎一致。需要注意的是hadoop使用Java语言编写，所以在安装Hadoop之前需要在机器上安装好Java运行环境（JDK），配置好环境变量。此外，每个节点都需要配置好静态ip地址以及设置好主机名，并将主机名写入hosts文件中。以及设置防火墙，或者直接关闭防火墙。一、
转载
2023-07-25 18:45:26
86阅读
黑马程序员–Java之网络编程11一、网络通信IP地址:网络中设备的标识，可以通过主机名获取，本地回路：127.0.0.1，未与网上绑定，可实现本地网络程序之间通讯 端口号：用于标识进程的逻辑地址，即标识不同的进程，有效端口 0~65535，其中 0~1023是系统使用或者知名网络应用和服务 传输协议：通信规则，分TCP和UDP两种协议。二、UDP面向无连接，将数据和源及目的地址封装在数据包之中是
集群安装配置Hadoop集群节点：node4、node5、node6、node7、node8。详细架构：node4Namenode,secondnamenode,jobtrackernode5Datanode,tasktrackernode6Datanode,tasktrackernode7Data...
转载
2016-01-07 20:20:00
101阅读
2评论
本集群由6台虚拟机组成，全部安装centos6.4的32位系统。一、前期工作1、修改Linux主机名2、修改IP3、修改主机名和IP的映射关系4、关闭防火墙5、ssh免登陆 6、安装JDK，配置环境变量等二、集群规划主机名ip安装的软件运行的进程hadoop01192.168.8.201jdk、hadoop、hbase、sqoopNameN
原创
2015-12-29 23:40:22
1131阅读
集群安装前置条件已掌握Hadoop单机伪分布式安装配置，否则先查看Hadoop伪分布式安装与配置。环境Ubuntu 18.04 + JDK 1.8 + Hadoop 2.10 + SSH本教程简单的使用两个节点作为集群环境：一个Master节点，一个Slave节点。准备工作Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 节点上配置 hadoop
原创
2022-06-21 11:42:06
936阅读
前言接Zookeeper 安装配置，本文继续总结 Hadoop HA 集群安装配置。版本ZooKeeper 3.9.3Hadoop 3.4.1 、3.1.4 （只装过这两个版本，但 3.x 应该都一样）下载 Hadoop下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.t
Hive目前底层还是用MapReduce，以后可能会用Spark,Tez。Hive差不多是一个查询接口，你的SQL语句还是会翻译成MapReduce任务的，你用explain就可以看到这些任务的执行计划。下面介绍下hive的基础安装过程以及简单的使用。环境信息：虚拟机数量：3台
操作系统：Ubuntu 14.04
实验环境及版本：
Hadoop：Hadoop 2.2.0
Java：java ver
转载
2023-07-24 10:59:56
104阅读
Hadoop集群系列:Hadoop安装配置1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群
原创
2013-12-17 14:28:50
1711阅读
4、Hadoop集群安装所有的机器上都要安装hadoop，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。4.1 安装hadoop首先用root用户登录"Master.Hadoop"机器，查看我们之前用FTP上传至"/home/Hadoop"上传的"hadoop-1.0.0.tar.gz"。接着把"hadoop-1.0.0.
原创
2013-12-17 15:00:44
2800阅读
点赞
前面说过了NameNode，DataNode的配置方法，这次说Secondary的配置方法。hadoop为实现高可用，支持配置失效备份的Namenode，这样当主的Namenode挂掉了之后，可以从Secondary把数据恢复回去。可以理解为Mysql的Master和Slave，但是不同的是，hadoop的Secondary不能直接当Namenode使用，更多的时候是用它当namenode的数据恢
原创
2012-03-14 16:43:41
1329阅读
本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。 http://blog.csdn.net/aquester/article/details/24621005 1. 规划 1.1.
转载
2016-08-14 14:06:00
109阅读
2评论
先给自己做个广告：开源Hive管理工具phpHiveAdmin今日更新0.05 beta2ChangeLog：1. sql查询页全部重写，复杂查询现在可以用异步非阻塞的方式实时的查看map/reduce进度，简单的带limit查询，仍然采用thrift方式。2. 改变查询结果获取方式，为防止大数据导致的php内存溢出，非limit结果的数据集将直接下载，仅提供30条预览，全部数据可通过下载链接获取
推荐
原创
2012-03-09 19:26:06
2602阅读
点赞
1评论
接以前hadoop安装的文章，Hive是什么就不介绍了，网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。
Hive在FreeBSD的安装配置上，跟Linux的差别不是很大，主要要注意一个shell的问题，FreeBSD下默认是没有bash的，所以需要先安装一个bash上去才可以正常的使用Hive。
推荐
原创
2012-03-30 19:58:03
4060阅读
点赞
2评论
