本文介绍如何搭建四节点的Oracle Linux 7集群以及oozie的High Availability。环境如下图: 一、创建HA集群 1、安装集群软件包 分别在4个节点上安装,如下:
[root@hdp01 ~]# yum install pcs fence-agents-all -y
[root@hdp02 ~]# yum install pcs fence-agents-all -y
[root@hdp03 ~]# yum install pcs fence-agents-all -y
[root@hdp04 ~]# yum install pcs fence-agents-all -y
2、设置集群用户密码 集群软件包安装完成后,会在系统中创建一个hacluster用户,默认是没有密码的,需要单独设置,否则后续节点认证会失败。
[root@hdp01 ~]# for id in {1..4};do ssh hdp0$id "echo redhat|passwd --stdin hacluster";done
Changing password for user hacluster.
passwd: all authentication tokens updated successfully.
Changing password for user hacluster.
passwd: all authentication tokens updated successfully.
Changing password for user hacluster.
passwd: all authentication tokens updated successfully.
Changing password for user hacluster.
passwd: all authentication tokens updated successfully.
3、启用集群服务 安装完成后,集群服务默认是禁用状态,使用下面的命令启用:
[root@hdp01 ~]# for id in {1..4};do ssh hdp0$id "systemctl enable pcsd.service;systemctl start pcsd.service";done
Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.
[root@hdp01 ~]# for id in {1..4};do ssh hdp0$id "systemctl status pcsd.service";done
4、集群节点认证 通过下面的命令进行集群节点认证:
[root@hdp01 ~]# pcs cluster auth hdp01 hdp02 hdp03 hdp04
5、创建集群
[root@hdp01 ~]# pcs cluster setup --start --name hcluster hdp01 hdp02 hdp03 hdp04
6、配置集群服务自启动
[root@hdp01 ~]# pcs cluster enable --all
7、验证集群状态
[root@hdp01 ~]# pcs cluster status
8、禁用fence服务 这里的4个几点都是虚拟机,所以不需要启用fence服务,但如果是物理机就需要启用,具体参考官方文档。
[root@hdp01 ~]# pcs property set stonith-enabled=false
[root@hdp01 ~]# pcs property set no-quorum-policy=ignore
[root@hdp01 ~]# pcs resource defaults migration-threshold=1
9、创建资源组 这里只针对hadoop提供虚拟IP服务,所以只创建一个虚拟IP的资源,如下:
[root@hdp01 ~]# pcs resource create vip_res IPaddr2 ip=192.168.120.101 cidr_netmask=24 nic=eth0 op monitor interval=30s --group hadoop
Assumed agent name 'ocf:heartbeat:IPaddr2' (deduced from 'IPaddr2')
[root@hdp01 ~]# pcs status
10、启用资源组
[root@hdp01 ~]# pcs cluster start --all && pcs status
二、配置Oozie HA 4个节点上都运行oozie服务,而且使用的是同一个mysql作为metastore database。对外服务的IP是一个虚拟IP。(这里先在hdp01上做完所有配置,然后再拷贝到其他机器)。在做以下配置之前,确保每个节点的oozie服务未运行。 1、编辑oozie-site.xml文件 加入以下内容:
oozie.services.ext=org.apache.oozie.service.ZKLocksService,org.apache.oozie.service.ZKXLogStreamingService,org.apache.oozie.service.ZKJobsConcurrencyService,org.apache.oozie.service.ZKUUIDService
--如果zookeeper是多个服务器则之间使用逗号隔开
oozie.zookeeper.connection.string=hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181
oozie.zookeeper.namespac=oozie
oozie.base.url=http://192.168.120.101:11000/oozie
--其他节点的instance.id改成对应的主机名即可
oozie.instance.id=hdp01
2、同步oozie至其他节点
[hadoop@hdp01 ~]$ for i in {2..4};do scp -r /u01/oozie hdp0$i:/u01;done
注意: 同步完成后,将oozie存放pid文件夹下的pid文件删除,另外还需要更改oozie-site.xml的instance.id为本机主机名。 3、启动每个节点的oozie服务
[hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;oozied.sh start";done
--在任意一台节点通过虚拟IP测试是否可以访问
[hadoop@hdp03 ~]$ oozie admin -oozie http://192.168.120.101:11000/oozie -status
System mode: NORMAL
4、Zookeeper检查是否已注册oozie服务
参考文献: 1、Configuring Oozie for High Availability 2、Configure High-Avaliablity Cluster on CentOS 7 / RHEL 7