CDP集成ranger和hive cdp集群

转载

mob64ca140d2323 2024-01-31 01:37:43

文章标签 CDP集成ranger和hive 盘符 IP 主机名 文章分类 Hive 大数据

一、前期准备

1）实验环境：

VMware Workstation 10

2）搭建SQL群集必须具有：

活动目录、DNS服务器、两台节点服务器、CDP储存服务器。

3）IP地址的规划：

主机LAN规划

主机名	IP地址	角色	网络	备注
qqdc1.qq.local	172.16.1.32	域控制器、DNS	桥接
qqnode1.qq.local	172.16.1.33	群集节点1	桥接
qqnode2.qq.local	172.16.1.34	群集节点2	桥接
qqcluster1.qq.local	172.16.1.35	Cluster
qqdtc1.qq.local	172.16.1.36	MSTDC
qqdb1.qq.local	172.16.1.37	SQL Server

存储SAN规划

主机名	IP地址	角色	网络	备注
qqcdp1.qq.lcal	192.168.188.10	共享存储	NAT
qqnode1.qq.local	192.168.188.32	群集节点1	NAT
qqnode2.qq.local	192.168.188.33	群集节点1	NAT

心跳HeartBeat规划

主机名	IP地址	角色	网络	备注
qqnode1.qq.local	192.168.181.32	群集节点1	Host Only
qqnode2.qq.local	192.168.181.33	群集节点1	Host Only

二、实施操作

1)CDP储存配置

这里需要首先将CDP虚拟机的网卡设置为NET模式，在真实机使用IPStor Console连接，在console上修改自己需要的IP地址（这里建议自己修改IP的时候是在console上进行修改，不要直接在系统内修改）。然后添加一块磁盘，这里我添加了一块100G的磁盘，然后重启系统在console上进行虚拟化磁盘。

右键点击新添加磁盘的属性，然后设置为虚拟磁盘，如下图

成功后会在磁盘的图标上有一个小“v”形的标志

然后将磁盘添加到默认存储池

最后创建三个SAN资源

下边选择有意义的SAN Resource Name，以方便以后的管理

分配完以后先不进行SAN资源的分配操作

然后重复以上的步骤，再创建SANDisk-MSDTC、SANDisk-DATA两个SAN资源。

最终解过如下图所示

2）构建活动目录和DNS服务器

我是用的是Windows server 2003搭建活动目录，安装完系统之后将网络模式修改为桥接模式，然后修改主机名和IP 地址

运行dcpromo进入域控制器安装向导并根据提示来安装域控制器

在域中创建两个域账户，在后续操作中，指定这些账户来启动群集及数据库服务。并且

在用户属性的账户选项卡中，选中密码为永不过期及用户不能修改密码两个检查框。

在命令提示符利用命令

net user clusteradmin qwe~123 /add

net user sqladmin qwe~123 /add

设置属性

最后通过ntbackup.exe来备份系统状态，域控制器的系统状态包括活动目录数据库等信息。

3）构建群集节点

先安装操作系统，这里我用的是两台Windows server 2008 R2，进入系统后修改主机名和IP。结果如下图

然后打开“计算机”-“属性”-“计算机名”-“更改”来加入域

加入域成功后需要重启系统，然后以域名形式登录

登录成功后将clusteradmin、sqladmin两个用户加入本地管理员组中

与以上操作相同，将节点2也加入域并添加clusteradmin、sqladmin两个用户到本地管理员组中

4）配置群集服务器网络

主机名	LAN	SAN	HEARTBEAT
qqnode1.tom.local	172.16.1.32	192.168.188.32	192.168.181.32
qqnode2.tom.local	172.16.1.33	192.168.188.33	192.168.181.33

在两个节点上分别添加两块网卡，设置为NET和host only模式。然后修改网络连接的名称为LAN、HEARTBEAT、SAN，要注意名称全部为大写且两个节点要一致。

然后在每个节点上把SAN和HEARTBEAT修改网络属性中的绑定项目，改为仅绑定IPv4

CDP集成ranger和hive cdp集群_CDP集成ranger和hive_21

再在网络连接窗口中“高级”选项中选择“高级设置”，修改连接次序为LAN、HEARTBEAT、SAN

CDP集成ranger和hive cdp集群_盘符_23

最后检查以下节点之间的连通性，在每个节点上ping对方的相应的IP

5）群集节点储存配置

储存规划

Name	Allocation Type	Sectors	Total Size	用途	盘符
SANDisk-quorum	Virtual Device	4,194,304	2,048	仲裁	X:
SANDisk-MSDTC	Virtual Device	6,291,456	3,072	MSDTC	Y:
SANDisk-DATA	Virtual Device	41,943,040	20,480	数据存储	Z:
Total: 3			25,600

一定要按以下次序来配置存储

步骤	节点1	节点2	状态
1	启动	关闭	分配LUN，格式化，设置盘符，创建测试文件，然后重新启动
2	启动	关闭	查看盘符分配，读写测试文件，然后关闭
3	关闭	启动	分配LUN，设置盘符，读写测试文件，然后重新启动
4	关闭	启动	查看盘符分配，读写测试文件，然后关闭
5	启动	启动	节点1启动完毕后，再启动节点2，安装群集