Scm-Server迁移

日期​	版本​	修订说明​	修改人​
2020-07-05​	V1.0.0​	创建文档​	王昱翔​

目 录​

1. 引言 3​

1.1 背景介绍 3​

1.2 编写目的 3​

1.3 适用范围 3​

1.4 角色职责 3​

1.5 其他 4​

2. 当前环境概述 4​

2.1离线数仓线上边缘节点使用情况 4​

2.2 节点迁移方案 5​

2.3 角色迁移操作过程 6​

2.3.1迁移Alert Publisher 6​

2.3.2迁移Event Server角色 11​

1. 引言

1. 背景介绍​
2. 承接了离线计算的主要任务，已有表数目接近800张，单日任务数量接近3万，单表最大数据规模超过8亿+;集群目前处于亚健康状态，为了继续承接后续的业务，需要对CDH集群服务器scm-server节点进行迁移。
3. 编写目的​
4. 指导本次CDH平台主机扩容。
5. 适用范围

• 甲方leader​
• 运维开发人员​
• 数据开发人员​

6. 角色职责

角色	职责	备注
PD	需求提出者，发起需求评审，制定需求优先级，参与系分、测试评审；	核心
设计人员	细分设计，制定开发计划，参与需求、测试评审	核心
运维人员	负责发布的执行；负责通知下游关联影响。	核心

1. 其他​其他需要说明的内容。​

1. 当前环境概述​

驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接近800+张，单日任务数量接近3万，单表最大数据规模超过11亿+集群目前处于亚健康状态，为了继续承接后续的业务，需要对CDH集群的scm-server的节点进行迁移。

2.1离线数仓线上边缘节点使用情况

Dwtool边缘节点共5台，其中dwtools01-02机器每个节点16核，64G内存，OS磁盘500G。Dwtool303-05每个节点8核，32G，OS磁盘500G

Dwtools03边缘节点放的是CDH的（Cloudera Management Service Activity Monitor,Cloudera Management Service Alert Publisher,Cloudera Management Service Event Server,Cloudera Management Service Host Monitor​

Cloudera Management Service Service Monitor）五个核心进程，随着业务的不断扩大，现在dwtools03节点经常出现内存及CPU告警，dwtools03边缘节点内存使用率高达50%以上，dwtools01,dwtools02,dwtools04,dwtools05节点内存的利用率不足10%，需要所dwtools03节点的角色迁移到以上dwtools的其他四个节点，以保证集群的稳定性。​

2.2 节点迁移方案

角色名称​	作用​	角色节点​	迁移节点​	备注​
Activity Monitor​	活动检测,收集MapReduce运行活动信息，默认情况下没有添加这个角色。​	Dwtools03​
Alert Publisher​	警告通知,生成相关类型警告通知事件并提供SNMP服务供第三方收集信息。​	Dwtools03​	Dwtools04​
Event Server​	事件服务,收集hadoop相关事件并据此生成警告信息。​	Dwtools03​	Dwtools05​
Host Monitor​	主机检测，收集主机运行健康指标信息。​	Dwtools03​	Dwtools04​
Service Monitor​	服务检测,收集有关服务的运行状况和指标信息以及YARN和Impala服务中的活动信息。​	Dwtools03​

2.3 角色迁移操作过程​

2.3.1迁移Alert Publisher

1. 选择Alert Publisher角色，停止Alert Publisher角色​
   
2. 选中已停止Alert Publisher角色，选择删除​

3.5个角色还有4个​

4.点击添加实例角色​

5.选择Alert Publisher,选择一个主机​

6.选择一个边缘节点dwtools04节点，点击确定。​

1. 点击继续​
2. 在点击继续​

9.Alert Publisher角色已迁移到dwtools04节点，服务显示已停止​

10.选中重启该服务即可。​

2.3.2迁移Event Server角色

1.1.选择Event Server角色，停止Event Server角色​

2.选中已停止Event Server角色，选择删除​

3.5个角色还有4个
​

4.点击添加实例角色​

5.选择Event Server,选择一个主机​

6.选择一个边缘节点dwtools05节点，点击确定。​

7.点击继续​

10.选中重启该服务即可。​

2.3.2迁移Host Monitor

1.选择Host Monitor角色，停止Host Monitor角色​

2.选中已停止Host Monitor角色，选择删除​

3.5个角色还有4个​

4.点击添加实例角色​

5.选择Host Monitor,选择一个主机​

6.选择一个边缘节点dwtools04节点，点击确定。​

7.点击继续​

8.在点击继续​

9.Host Monitor角色已迁移到dwtools04节点，服务显示已停止​

10.选中重启该服务即可。​