postgresql主备搭建归档日志作用

转载

技术领航舵手 2024-11-04 12:01:37

DM学习之路2之DM数据库实时主备环境的搭建

一、环境说明
1.1主备库的实例名采用“组名_守护环境_序号”的方式命名。
1.2注意：总长度不能超过16。此次示例组名为“GRP1”配置为实时主备，主库命名为“GRP1_DM_01”，备库命名为“GRP1_DM_02”。
1.3配置环境说明
主机类型IP地址
主库：192.168.3.77 实例名：GRP1_DM_01 操作系统：linux
备库：192.168.3.66 实例名：GRP1_DM_02 操作系统：linux
二、安装DM数据库并初始化实例
2.1 安装DM数据库软件
2.2 安装前数据同步说明
在配置主备环境之前，要必须先同步实例数据，确保主备库保持一致：主库可以是最新初始化的数据，也可以是正在生产、使用中的数据。DM提供了两种方式初始化同步实例数据，数据文件拷贝以及备份还原方式。
2.2.1为什么不可以分别初始化数据库：
（1）每个库都有一个永久魔数（permenant_magic），一经生成，永远不会改变，主
库传送日志时会判断这个值是否一样，确保是来自同一个数据守护环境中的库，否则传送不
了日志。
（2）由于 dminit 初始化数据库时，会生成随机密钥用于加密，每次生成的密钥都不
相同，备库无法解析采用主库密钥加密的数据。
（3）每个库都有一个数据库魔数（DB_MAGIC），每经过一次还原、恢复操作，DB_MAGIC就会产生变化，需要通过这种方式来区分同一个数据守护环境中各个不同的库。
注释：
如果需要使用 Huge 表，在初始化库时需要将建库参数 HUGE_WITH_DELTA 和RLOG_GEN_FOR_HUGE 都配置为 1。对于新初始化的库，首次启动不允许使用 Mount 方式，需要先正常启动并正常退出，然后才允许 Mount 方式启动。
准备数据时，如果主库是新初始化的库，先正常启动并正常退出，然后再使用
备份还原方式准备备库数据。
2.3数据准备
2.3.1配置dm.ini，打开ARCH_INI参数
vi /data/dmdbms/DAMENGdm.ini
ARCH_INI = 1 #打开归档配置

2.3.2 配置dmarch.ini
Vi /data/dmdbms/DAMENG/dmarch.ini
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /data/dmdbms/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~4294967294M

2.3.3 进行脱机备份、还原
（1）正常关闭数据库
（2）进行脱机备份
./dmrman CTLSTMT=“BACKUP DATABASE ‘/data/dmdbms/DAMENG/dm.ini’ FULL TO BACKUP_FILE1
BACKUPSET ‘/data/dmdbms/BACKUP_FILE_01’”

（3）拷贝文件到备库
scp -r /data/dmdbms/BACKUP_FILE_01 192.168.3.99:/data/dmdbms
（4）脱机数据库还原与恢复
/dmrman CTLSTMT=“RESTORE DATABASE ‘/data/dmdbms/DAMENG/dm.ini’ FROM BACKUPSET ‘/data/dmdbms/BACKUP_FILE_01’”

./dmrman CTLSTMT=“RECOVER DATABASE ‘/data/dmdbms/DAMENG/dm.ini’ FROM BACKUPSET ‘/data/dmdbms/BACKUP_FILE_01’”

./dmrman CTLSTMT=“RECOVER DATABASE ‘/data/dmdbms/DAMENG/dm.ini’ UPDATE DB_MAGIC”

注意：备份文件中会记录原备份库的模式和 OGUID 信息，使用备份文件还原成功后，需要再根据实际配置情况修改数据库的模式和 OGUID 值。如果执行备
份时，待备份的库是 Normal 模式，并且不能确定这个库一定作为主库使
用，则对 Normal 模式的库必须使用脱机备份，不能使用联机备份方式，
避免备份完成后，Normal 模式的库 LSN 有增长，又将其修改为 Standby
模式，而使用备份集还原后的库修改为 Primary 模式，备库数据比主库数
据多，导致主备数据不一致的情况出现。因此，对执行联机备份的库，建议
是已经修改为 Primary 模式的库。
2.4 检查数据的一致性
2.4.1在主备库上，切换到 $postgresql主备搭建归档日志作用_数据$ rlog;
2.4.3检查实例的永久魔数是否一致
SQL>select permanent_magic;
2.4.4确保 LSN 和永久魔数都一致的情况下，正常关闭各个实例，继续配置数据守护。
三、配置实时主备（主库）
3.1数据准备
初始化库至目录 /data
/dminit path=/data
3.2 配置主库 GRP1_RT_01
3.2.1 配置dm.ini
vi /data/dmdbms/DAMENG/dm.ini

#实例名，建议使用―组名_守护环境_序号‖的命名方式，总长度不能超过 16
INSTANCE_NAME = GRP1_RT_01
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
3.2.2 配置dmmal.ini
配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致，MAL_HOST 使用内部网络 IP，MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值，MAL_DW_PORT 是各实例对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下：
vi /data/dmdbms/DAMENG/dmmal.ini

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 192.168.3.77 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.3.77 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 192.168.3.66
MAL_PORT = 61142
MAL_INST_HOST = 192.168.3.66
MAL_INST_PORT = 5236
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
3.2.3 配置dmarch.ini
修改 dmarch.ini，配置本地归档和实时归档。
除了本地归档外，其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时，需
要同步归档数据的目标实例名。
当前实例 GRP1_RT_01 是主库，需要向 GRP1_RT_02（实时备库）同步数据，因此实
时归档的 ARCH_DEST 配置为 GRP1_RT_02。
vi /data/dmdbms/DAMENG/dmarch.ini

[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_02 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /data/dmdbms/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~4294967

3.2.4 配置dmwatcher.ini
vi /data/dmdbms/DAMENG/dmwatcher.ini

3.2.6 设置OUID
启动./disql 登录主库设置OUID值
SQL>SP_SET_PARA_VALUE(1, ‘ALTER_MODE_STATUS’, 1);
SQL>sp_set_oguid(453331);
SQL>SP_SET_PARA_VALUE(1, ‘ALTER_MODE_STATUS’, 0);
注释：系统通过 OGUID 值确定一个守护进程组，由用户保证 OGUID 值的唯一性，并确保数据守护系统中，数据库、守护进程和监视器配置相同的 OGUID 值。
3.2.7 修改数据库模式
SQL>alter database primary；
四、配置实时主备（备库）
4.1 配置dm.ini
vi /data/dmdbms/DAMENG/dm.ini

#实例名，建议使用―组名_守护环境_序号‖的命名方式，总长度不能超过 16
INSTANCE_NAME = GRP1_RT_02
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
4.2配置 dmmal.ini
配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致，MAL_HOST 使用内部网络 IP，MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值，MAL_DW_PORT 是各实例对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下：
vi /data/dmdbms/DAMENG/dmmal.ini

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1]
MAL_INST_NAME = GRP1_RT_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 192.168.3.77 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 192.168.3.77 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口
[MAL_INST2]
MAL_INST_NAME = GRP1_RT_02
MAL_HOST = 192.168.3.66
MAL_PORT = 61142
MAL_INST_HOST = 192.168.3.66
MAL_INST_PORT = 5236
MAL_DW_PORT = 52142
MAL_INST_DW_PORT = 33142
4.3配置 dmarch.ini
修改 dmarch.ini，配置本地归档和实时归档。
除了本地归档外，其他归档配置项中的 ARCH_DEST 表示实例是 Primary 模式时，需要同步归档数据的目标实例名。当前实例 GRP1_RT_02 是备库，守护系统配置完成后，可能在各种故障处理中，GRP1_RT_02 切换为新的主库，正常情况下，GRP1_RT_01 会切换为新的备库，需要向GRP1_RT_01 同步数据，因此实时归档的 ARCH_DEST 配置为 GRP1_RT_01。
vi /data/dmdbms/DAMENG/dmarch.ini

[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_01#实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /data/dmdbms/DAMENG/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb，0 表示无限制，范围 1024~4294967

4.4配置dmwatcher.ini
修改 dmwatcher.ini 配置守护进程，配置为全局守护类型，使用自动切换模式。
vi /data/dmdbms/DAMENG/dmwatcher.ini

[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /data/dmdbms/DAMENG/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm/bin/dmserver #命令行方式启动
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值，默认关闭
4.5 启动备库以mount 方式
./dmserver /data/dmdbms/DAMENG/dm.ini mount
注意：一定要以 Mount 方式启动数据库实例，否则系统启动时会重构回滚表空间，生成 Redo 日志；并且，启动后应用可能连接到数据库实例进行操作，破坏主备库的数据一致性。数据守护配置结束后，守护进程会自动 Open 数据库。
4.6设置ODUID
SQL>SP_SET_PARA_VALUE(1, ‘ALTER_MODE_STATUS’, 1);
SQL>sp_set_oguid(453331);
SQL>SP_SET_PARA_VALUE(1, ‘ALTER_MODE_STATUS’, 0);
4.7修改数据库模式
启动命令行工具 DIsql，登录备库修改数据库为 Standby 模式
SQL>alter database standby;
4.8配置监听器
由于主库和实时备库的守护进程配置为自动切换模式，因此这里选择配置确认监视器。和普通监视器相比，确认监视器除了相同的命令支持外，在主库发生故障时，能够自动通知实时备库接管为新的主库，具有自动故障处理的功能。
注释：故障自动切换模式下，必须配置确认监视器，且确认监视器最多只能配置一个。
vi dmmonitor.ini

MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = /dm/data/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值
#以下配置为监视器到组 GRP1 的守护进程的连接信息，以―IP:PORT‖的形式配置
#IP 对应 dmmal.ini 中的 MAL_HOST，PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 192.168.3.77:52141
MON_DW_IP = 192.168.3.66：52142
4.9启动守护进程
启动各个主备库上的守护进程：
./dmwatcher /data/dmdbma/DAMENG/dmwatcher.ini
4.10启动监视器
./dmmonitor /data/dmdbms/DAMENG/dmmonitor.ini
五、注册服务
5.1 注册服务

cd /dm/dmdbms/script/root

./dm_service_installer.sh -help
主库：
./dm_service_installer.sh -t dmserver -p _PRI -dm_ini /data/dmdbms/DAMENG/dm.ini -m mount
备库：./dm_service_installer.sh -t dmserver -p _PRI -dm_ini /data/dmdbms/DAMENG/dm.ini -m mount

5.2 注册守护进程
主库：
#cd /home/dmdba/dmdbms/script/root

守护进程./dm_service_installer.sh -t dmwatcher -watcher_ini /data/dmdbms/DAMENG/dmwatcher.ini -p dmwatcher
备库：
#cd /home/dmdba/dmdbms/script/root

守护进程./dm_service_installer.sh -t dmwatcher -watcher_ini /data/dmdbms/DAMENG/dmwatcher.ini -p dmwatcher

5.3 注册监视器（备库）
注册监视器：./dm_service_installer.sh -t dmmonitor -monitor_ini /data/dmdbms/DAMENG/dmmonitor.ini -p dmmonitor

ps -ef |grep dmmonitor

监视器提供一系列命令，支持当前守护系统状态查看以及故障处理，可输入 help 命令，
查看各种命令说明使用，结合实际情况选择使用。
至此一主一备的实时数据守护系统搭建完毕，在搭建步骤和各项配置都正确的情况下，
在监视器上执行 show 命令，可以监控到所有实例都处于 Open 状态，所有守护进程也都处
于 Open 状态，即为正常运行状态。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。