搭建 Hadoop集群
配置名字hadoop1、hadoop2、hadoop3
hostnamectl set-hostname hadoop1
hostnamectl set-hostname hadoop2
hostnamectl set-hostname hadoop3
修 改 /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4
localhost4.localdomain4
::1 localhost localhost.localdomain localhost6
localhost6.localdomain6
192.168.253.128 hadoop1
192.168.253.129 hadoop2
192.168.253.130 hadoop3
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
hadoop1输入以下命令
做ssh 公私钥 无秘;中途直接回车
ssh-keygen -t rsa -P ''
copy公钥到hadoop2,hadoop3;输入yes,再输入密码
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
hadoop2,hadoop3分别输入以下命令
cd .ssh/
ls
#出现authorized_keys就是没问题
在hadoop1中分别输入命名,测试看能否进入
ssh hadoop2
ssh hadoop3
#exit 退出
hadoop2和hadoop3同上一样做ssh 公私钥,无秘
对hadoop1、hadoop2、hadoop3安装chrony
yum -y install chrony
安装wget
yum install -y gcc vim wget
配置chrony
vim /etc/chrony.conf
文件添加如下内容,注释server0.centos.pool.ntp.org iburst
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com
启动chrony
systemctl start chronyd
安装psmisc
yum install -y psmisc
备份原始源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
下载源
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
清除缓存
yum clean all
yum makecache
安装jdk
将jdk放入/usr/local目录下
cd /usr/local #在此目录下放入jdk
#解压
tar -zxf jdk-8u111-linux-x64.tar.gz
#重命名
mv jdk1.8.0_111 jdk
配置环境变量
vi /etc/profile
#配置如下内容
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
重新加载配置文件
source /etc/profile
验证jdk
java -version
安装zookeeper
将zookeeper放入/usr/local目录下
#在此目录下放入zookeeper
cd /usr/local
#解压
tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
#重命名
mv zookeeper-3.4.5-cdh5.14.2 zookeeper
修改zookeeper配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改dataDir=/usr/local/zookeeper/datas:
文件末尾加上以下内容:
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888
创建datas文件夹
cd /usr/local/zookeeper
mkdir datas
在hadoop1中运行
cd /usr/local/zookeeper/datas
echo "1"> myid
在hadoop2中运行
cd /usr/local/zookeeper/datas
echo "2"> myid
在hadoop3中运行
cd /usr/local/zookeeper/datas
echo "3"> myid
配置hadoop1、hadoop2、hadoop3运行环境
vi /etc/profile
#Zookeeper env
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
重新加载配置文件
source /etc/profile
启动zookeeper集群
zkServer.sh start
jps命令查看,必须要有进程QuorumPeerMain
jps
如果端口被占用
#查看端口号2181是否被占用
netstat -nltp | grep 2181
#如果没有netstat指令,可以执行如下指令安装后再去查看:
netstat -ano | findstr "2181"
#杀死进
kill -9 进程pid
安装hadoop
将Hadoop安装包分别拖到hadoop1、hadoop2、hadoop3的/usr/local/目录下
#在此目录下放入Hadoop
cd /usr/local
#解压
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
#重命名
mv hadoop-2.6.0-cdh5.14.2 hadoop
添加对应各个文件夹
mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/dfs/journalnode_data
mkdir -p /usr/local/hadoop/dfs/edits
mkdir -p /usr/local/hadoop/dfs/datanode_data
mkdir -p /usr/local/hadoop/dfs/namenode_data
配置hadoop-env.sh
cd /usr/local/hadoop/etc/hadoop
vim hadoop-env.sh
修改JAVA_HOME和HADOOP_CONF_DIR的值如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
配置core-site.xml
vim core-site.xml
<configuration>
<!--指定hadoop集群在zookeeper上注册的节点名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<!--指定hadoop运行时产生的临时文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///usr/local/hadoop/tmp</value>
</property>
<!--设置缓存大小 默认4KB--> <property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper的存放地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<!--配置允许root代理访问主机节点-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--配置该节点允许root用户所属的组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
配置hdfs-site.xml
vim hdfs-site.xml
<configuration>
<property>
<!--数据块默认大小128M-->
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<!--副本数量 不配置默认为3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点数据(元数据)的存放位置-->
<name>dfs.name.dir</name>
<value>file:///usr/local/hadoop/dfs/namenode_data</value>
</property>
<property>
<!--datanode节点数据(元数据)的存放位置-->
<name>dfs.data.dir</name>
<value>file:///usr/local/hadoop/dfs/datanode_data</value>
</property>
<property>
<!--开启hdfs的webui界面-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<!--datanode上负责进行文件操作的线程数-->
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value> </property>
<property>
<!--指定hadoop集群在zookeeper上的注册名-->
<name>dfs.nameservices</name>
<value>hacluster</value>
</property>
<property>
<!--hacluster集群下有两个namenode分别是nn1,nn2-->
<name>dfs.ha.namenodes.hacluster</name>
<value>nn1,nn2</value>
</property>
<!--nn1的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn1</name>
<value>hadoop1:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn1</name>
<value>hadoop1:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn1</name>
<value>hadoop1:50070</value>
</property>
<!--nn2的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn2</name>
<value>hadoop2:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
<value>hadoop2:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn2</name>
<value>hadoop2:50070</value>
</property>
<property>
<!--指定Namenode的元数据在JournalNode上存放的位置-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/hacluster</value>
</property>
<property>
<!--指定JournalNode在本地磁盘的存储位置-->
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/dfs/journalnode_data</value>
</property>
<property>
<!--指定namenode操作日志存储位置-->
<name>dfs.namenode.edits.dir</name>
<value>/usr/local/hadoop/dfs/edits</value>
</property>
<property>
<!--开启namenode故障转移自动切换-->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<!--配置失败自动切换实现方式-->
<name>dfs.client.failover.proxy.provider.hacluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!--配置隔离机制-->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<!--配置隔离机制需要SSH免密登录-->
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<!--hdfs文件操作权限 false为不验证-->
<name>dfs.premissions</name>
<value>false</value>
</property>
</configuration>
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<!--指定mapreduce在yarn上运行-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--配置历史服务器地址-->
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<!--配置历史服务器webUI地址-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
<property>
<!--开启uber模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>
配置yarn-site.xml
vim yarn-site.xml
<configuration>
<property>
<!--开启yarn高可用-->
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<!-- 指定Yarn集群在zookeeper上注册的节点名-->
<name>yarn.resourcemanager.cluster-id</name>
<value>hayarn</value>
</property>
<property>
<!--指定两个resourcemanager的名称-->
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<!--指定rm1的主机-->
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop2</value>
</property>
<property>
<!--指定rm2的主机-->
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop3</value>
</property>
<property>
<!--配置zookeeper的地址-->
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property> <property>
<!--开启yarn恢复机制-->
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<!--配置执行resourcemanager恢复机制实现类-->
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<!--指定主resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<!--nodemanager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<!--配置日志保留7天-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
配置slaves
vim slaves
快捷键dd删除localhost,添加如下内容
hadoop1
hadoop2
hadoop3
配置hadoop环境变量
vim /etc/profile
#hadoop env
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
source /etc/profile
启动Hadoop集群
hadoop-daemon.sh start journalnode
输入jps命令,会发现多了一个进程JournalNode
jps
格式化namenode(只在hadoop1主机上)(hadoop2和hadoop3的窗口状态改成ON)
hdfs namenode -format
将hadoop1上的Namenode的元数据复制到hadoop2相同位置
scp -r /usr/local/hadoop/dfs/namenode_data/current/ root@hadoop2:/usr/local/hadoop/dfs/namenode_data
在hadoop1上格式化故障转移控制器zkfc
hdfs zkfc -formatZK
在hadoop1上启动dfs服务,再输入jps查看进程
start-dfs.sh
jps
#jps结果如下:
DataNode
QuorumPeerMain
JournalNode
NameNode
DFSZKFailoverController
jps
在hadoop3上启动yarn服务,再输入jps查看进程
start-yarn.sh
jps
#jps结果如下:
ResourceManager
NodeManager
JournalNode
DataNode
QuorumPeerMain
jps
在hadoop2上输入jps查看进程
jps
#jps结果如下:
JournalNode
DFSZKFailoverController
NodeManager
Jps
DataNode
QuorumPeerMain
NameNode
在hadoop1上启动history服务器,jps则会多了一个JobHistoryServer的进程
mr-jobhistory-daemon.sh start historyserver
jps
检查集群情况
在hadoop1上查看服务状态,hdfs haadmin -getServiceState nn1则会对应显示active,nn2则显示standby
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
浏览器输入IP地址:50070,对比以下图片
hadoop1的IP地址,注意查看是否为“active”
hadoop2的IP地址,注意查看是否为“standby”
最后选择上方的Datanodes,查看是否是三个节点,如何是,则高可用hadoop集群搭建成功!!!