1 文档编写目的
在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
注意：不支持直接从Cloudera Manager嵌入式PostgreSQL迁移到MySQL / Oracle数据库。您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。
只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。
内容概述
1.安装Mariadb服务
2.数据库迁移
3.验证
4.总结
测试环境
1.CM和CDH版本均为5.10.2
2.采用root用户
2 迁移前集群环境确认
1.CM元数据库类型为postgresql
cat /etc/cloudera-scm-server/db.properties
2.Hue用户及用户组
Hue的数据库类型为PostgreSQL
用户信息
用户组信息
管理员信息
3.Hive数据库及表信息
Hive的数据库类型为PostgreSQL
如下所示，当前hive中有default和test两个数据库；default数据库中有mytest（分区表）和mytest_no_partitions两个表。
查看mytest表的数据
4.Sentry授权信息
Sentry的数据库类型为PostgreSQL
Sentry的授权信息如下
3 安装MySQL
1.选一台节点安装MariaDB服务
yum -y install mariadb mariadb-server
2.启动mariadb服务并设置为开机自启动
systemctl start mariadb
systemctl enable mariadb
systemctl status mariadb | grep Active
3.初始化MariaDB数据库
/usr/bin/mysql_secure_installation
使用root用户登录查看当前数据库
4.安装MySQL JDBC驱动
将mysql驱动上传至/usr/share/java目录，并以软链接的方式去掉驱动版本号
4 迁移CM元数据库
1.导出Cloudera Manager配置文件
获取当前支持的API版本
curl -u admin:admin "http://192.168.0.173:7180/api/version"
导出json格式配置文件
curl -u admin:admin "http://192.168.0.173:7180/api/v15/cm/deployment" > /root/cm/cm-deployment.json
2.执行如下命令，保留Cloudera Manager的GUID号
sudo -u postgres psql -qtAX scm -c "select GUID from CM_VERSION" > /etc/cloudera-scm-server/uuid
3.停止集群和Cloudera Management Service服务
4.在CM节点上执行如下命令停止cloudera-scm-server服务
systemctl stop cloudera-scm-server
systemctl status cloudera-scm-server | grep Active
5.登录MySQL执行如下SQL语句创建scm数据库及用户并授权
create database scm default character set utf8;
CREATE USER 'scm'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';
FLUSH PRIVILEGES;
执行如下命令，初始化Cloudera Manager数据库配置
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm password
6.清空所有节点的/var/run/cloudera-scm-agent/process/目录
a.使用批量命令，停止集群所有节点的agent和supervisor服务batch_cmd.sh node.list " service cloudera-scm-agent next_stop_hard"
batch_cmd.sh node.list "service cloudera-scm-agent stop"
查看进程是否已被停止
ps -ef | grep cmf-agent
ps -ef | grep supervisord
b.使用批量命令，使用mv命令将集群所有节点的agent目录备份
batch_cmd.sh node.list "mv /var/run/cloudera-scm-agent /var/run/cloudera-scm-agent-BU"
batch_cmd.sh node.list "ls /var/run | grep cloudera-scm-agent*"
使用批量命令，启动集群所有节点的cloudera-scm-agent服务
batch_cmd.sh node.list "systemctl start cloudera-scm-agent"
batch_cmd.sh node.list "systemctl status cloudera-scm-agent | grep Active"
7.启动Cloudera Manager Server
systemctl start cloudera-scm-server
netstat -lnpt | grep 7180
使用超级管理员用户登录CM
接收许可条款，【继续】
如果有许可证，上传许可证，没有许可证选择企业试用版，【继续】
注意：必须要上传许可证或者选择试用版继续之后再返回主页，否则会导致使用curl导入集群配置时失败。
单击左上角返回CM主页
当前CM主页状态如下：
8.执行如下命令调用CM API接口，恢复Cloudera Manager配置
curl -H "Content-Type: application/json" --upload-file /root/cm/cm-deployment.json -u admin:admin "http://192.168.0.173:7180/api/v15/cm/deployment?deleteCurrentDeployment=true"
再次查看CM主页，CM配置已导入成功
9.启动服务
启动Cloudera Mangement Service
Cloudera Management Service启动成功后，等待parcel分发完成，然后启动集群服务并分发客户端配置。
查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL
cat /etc/cloudera-scm-server/db.properties
5 迁移集群其他服务元数据库
此时只有CM的数据库scm迁移到了MySQL，集群其他服务的元数据库（Hive、Sentry、Hue、Oozie等）任然配置的为PostgreSQL，接下来主要介绍通过使用工具将PostgreSQL数据库迁移至MySQL数据库，如下示例以迁移Hive元数据库为例。
1.下载安装数据库转换工具 DBConvert for MySQL & PostgreSQL，下载地址如下：
https://dbconvert.com/downloads/dbconvert_mysql_postgresql.zip下载完成之后解压，执行dbconvert_mysql_postgresql文件夹下的setup.exe进行安装
2.安装完成后打开该软件，选择【Try】使用版
3.这里以hive元数据库转换为例，配置PostgreSQL数据库连接信息
测试连接成功，单击下一步
此时会显示数据库中的所有表，全部勾选；然后单击【OK】
配置目标数据库连接信息（即我们要迁移的MySQL信息）
测试连接成功后单击【Next】
自定义要转换的表，然后单击【Next】
单击【commit】开始进行转换
转换成功后显示如下
然后依次转换其他数据库即可
注意：转换hue数据库时，有些表因为外键的原因不能被转换，根据提示取消相关外键即可
4.数据库迁移完成后，登录mysql查看数据库如下：
创建用户并授予数据库上的权限
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;
CREATE USER 'sentry'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%';
FLUSH PRIVILEGES;
CREATE USER 'rman'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%';
FLUSH PRIVILEGES;
CREATE USER 'hue'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%';
FLUSH PRIVILEGES;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%';
FLUSH PRIVILEGES;
更换数据库服务器
5.进入Hive配置页面，修改Hive的Metastore数据库类型为MySQL，然后修改其在 MySQL中的数据库名称
6.完成上述修改后，然后回到CM主页，根据提示重启相关服务
服务重启完成后，此时数据库已迁移至MySQL数据库服务器。
6 迁移后验证
6.1 Hue验证
1.查看Hue当前数据库类型为MySQL
2.使用管理员账号hive登录Hue验证数据是否完整
hive用户的管理员权限与迁移前一致
迁移后的用户信息与迁移前数据一致
用户组信息与迁移前信息一致
6.2 Hive验证
1.查看Hive当前数据库类型为MySQL
2.通过Hue查看Hive数据库以及表信息如下：
3.查看mytest表数据如下：
查看mytest表结构如下：
由上图可知，数据库迁移完成后Hive的数据库、表、表结构以及表数据均迁移成功。
6.3 Sentry验证
1.查看Sentry当前数据库类型为MySQL
2.通过Hue查看Sentry的授权信息如下：
3.使用hive用户进行建表测试
建表成功
向表中插入数据，数据插入成功
执行查询操作，查询成功
4.使用ldapuser1用户登录Hue，进行建表测试
建表失败，报错如下：
Error while compiling statement: FAILED: SemanticException No valid privileges User ldapuser1 does not have privileges for SWITCHDATABASE The required privileges: Server=server1->Db=*->Table=+->Column=*->action=select;Server=server1->Db=*->Table=+->Column=*->action=insert;
执行数据插入操作，操作失败，报错如下：
Error while compiling statement: FAILED: SemanticException No valid privileges User ldapuser1 does not have privileges for SWITCHDATABASE The required privileges: Server=server1->Db=*->Table=+->Column=*->action=select;Server=server1->Db=*->Table=+->Column=*->action=insert;
执行查询操作，操作失败，报错如下：
Error while compiling statement: FAILED: SemanticException No valid privileges User ldapuser1 does not have privileges for SWITCHDATABASE The required privileges: Server=server1->Db=*->Table=+->Column=*->action=select;Server=server1->Db=*->Table=+->Column=*->action=insert;
由上可知，sentry数据库迁移后，授权信息也迁移成功。
7 总结
1.将Cloudera Manager服务使用的PostgreSQL迁移至MySQL时，主要通过CM API接口导出集群配置信息json文件，再通过CM API接口导入完成数据库的迁移。
2.集群其它服务（Hive、Sentry、Oozie、Hue等）在迁移时并未相应的API接口实现，主要是通过DBConvert for MySQL & PostgreSQL工具将PostgreSQL数据的数据转换为MySQL数据库的方式解决。
3.在进行Hue数据库转换的过程中由于部分表外键的问题，导致转换失败，需要将报错的外键取消勾选。
4.Oozie服务重启失败，报错如下：
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'oozie.VALIDATE_CONN' doesn't exist
解决方式：为oozie服务创建数据库
