简述
hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。 HA模式的集群里面会部署两台NN(最多也只能两台),以形成主备NN节点,达到高可用的目的。两台NN之间同步数据有两种方法:QJM和NFC。本文选择QJM方式,下文中出现的 journalnode 即为QJM模式下的进程。 另外还可以配置两台ResourceManager,形成主备RM节点,从而达到yarn集群的高可用。 该模式下的集群配置是在完全分布式模式的基础上做了部分调整。
所有四种模式的部署指南见:
Hadoop 伪分布式搭建指南
Hadoop 完全分布式搭建指南
Hadoop HA高可用集群模式搭建指南
Hadoop HA+Federation(联邦)模式搭建指南
搭建过程
系统环境
Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机,内存都为2G
节点角色
IP
主机名
角色描述
192.168.100.201
h01.vm.com
主节点 NameNode, job-history-server
192.168.100.202
h02.vm.com
主节点 NameNode, (yarn)ResourceManager
192.168.100.203
h03.vm.com
-
另,以上所有节点都同时是 zookeeper、zkfc、journalnode 和 datanode。运行Namenode和ResourceManager的节点即为主节点。
更新软件源索引
- 分别在 h01 h02 h03 操作
sudo apt-get update
安装基础软件
- 分别在 h01 h02 h03 操作
sudo apt-get install ssh
sudo apt-get install rsync
配置主机域名
- 分别在 h01 h02 h03 操作
sudo vim /etc/hostname # centos系统可能没有该文件,创建即可
h01.vm.com # 该节点主机名
将该文件内容修改为对应的主机名,例如 h01.vm.com
域名解析
- 搭建内网DNS服务器(可选,但推荐),可阅读vincent的博文 http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
- 配置 /etc/hosts,将以下代码追加到文件末尾即可(如搭建了DNS服务器,则跳过此步骤)
- 分别在 h01 h02 h03 操作
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03
!!! Ubuntu系统,须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn’t an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must remove
不然可能会引起 hadoop、zookeeper 节点间通信的问题
时间同步(可选)
在内网中搭建 ntp 服务器,可阅读vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
准备jdk、hadoop和zookeeper软件包
- 须到官方网站下载stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz zookeeper-3.4.8.tar.gz
- 所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下,其中 vagrant 是linux系统的用户名,由于我是使用 vagrant 虚拟的主机,所以默认是 vagrant
- 在 h01 操作
先在其中一台机子操作,后面会使用 scp 命令或者其他方法同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置软连接,方便以后升级版本
- 在 h01 操作,后面通过 scp 同步到其他主机
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置环境变量
- 分别在 h01 h02 h03 操作
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=HADOOP_HOME/bin:$PATH
source /etc/profile
配置免密码ssh登录
hadoop主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。
- 分别在 h01 h02 ,即两个主节点上操作
ssh-keygen -t rsa -C “youremail@xx.com”
注意在接下来的命令行交互中,直接按回车跳过输入密码
- 以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/)
ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h03.vm.com - 在 h01 h02 上测试无密码 ssh 登录到 h01 h02 h03
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com
!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!
配置从节点
在 slaves 文件中配置的主机即为从节点,将自动运行datanode服务
- 在 h01 操作,后面通过 scp 同步到其他主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com
h02.vm.com
h03.vm.com
建立存储数据的相应目录
- 在 h01 操作,后面通过 scp 同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop参数
在 h01 操作,后面通过 scp 同步到其他主机
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid - vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
安装配置zookeeper
- 在 h01 操作,后面通过 scp 同步到其他主机
cd /home/vagrant/VMBigData/zookeeper/default/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
对该文件做出以下修改
dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
如果无法启动zookeeper,可将以下代码对应的行改为 0.0.0.0:2888:3888
注意zookeeper解析该文件很死板,不要输入多余的空格和空行
server.1=h01.vm.com:2888:3888
server.2=h02.vm.com:2888:3888
server.3=h03.vm.com:2888:3888
mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
在此文件中输入节点编号,比如h01节点就输入1,h02节点就输入2
将hadoop所需文件同步到其他主机
- 在 h01 上操作
scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
!!! 注意:default 软连接需要重建 !!!
- 修改各节点的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件,内容为各节点编号,本例中为 1,2,3
启动zookeeper
- 在 h01 h02 h03 操作
cd /home/vagrant/VMBigData/zookeeper/default
bin/zkServer.sh start
启动JournalNode
- 在任一配置了journalnode的节点操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh start journalnode
格式化namenode
- 在 h01 namenode 上执行
hdfs namenode -format
!!! 注意仅在首次启动时执行,因为此命令会删除hadoop集群所有的数据 !!!
同步两个namenode数据(方法一:推荐)
- 在 h01 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode - 在 h02 执行同步
cd /home/vagrant/VMBigData/hadoop/default
bin/hdfs namenode -bootstrapStandby - 在 h02 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode
同步两个namenode数据(方法二:不推荐,可能引起复制后的文件的权限问题)
- 在 h01 操作
scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
格式化zkfc
- 在 h01 或 h02 (任一namenode) 上操作
hdfs zkfc -formatZK
!!! 注意仅在首次启动时执行 !!!
启动zkfc
- 在 h01 h02 h03 等计划运行zkfc的节点上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start zkfc
sbin/hadoop-daemon.sh stop zkfc # 停止
启动hadoop集群:
启动hdfs
- 可在任意主节点执行
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
sbin/stop-dfs.sh # 停止
启动Yarn
- 在 h02 ResourceManager 上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
sbin/stop-yarn.sh# 停止
启动 job history server(可选)
- 在 h01 上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
浏览服务启动情况
NameNode1 http://192.168.100.201:50070
NameNode2 http://192.168.100.202:50070
ResourceManager http://192.168.100.202:8088
MapReduce JobHistory Server http://192.168.100.201:19888
Datanode http://192.168.100.201:50075 http://192.168.100.202:50075 http://192.168.100.203:50075
zookeeper bin/zkServer.sh status
zookeeper命令行 zkCli.sh -server 127.0.0.1:2181
集群状态 bin/hdfs dfsadmin -report
hadoop进程 jps
参考链接
HDFS High Availability Using the Quorum Journal Manager
ResourceManager High Availability