postgres pg_rman 排除表

转载

mob64ca141834d3 2024-07-22 16:57:26

文章标签 增量备份 PostgreSQL 初始化 文章分类 云原生云计算

前言

安装

前期准备

　　创建备份和归档目录

　　修改PG归档配置

　　初始化

设置备份策略

　　全库备份策略

　　增量备份策略　　

还原操作

后续操作

操作指令大全

exitcode

概念和配置参数

FAQ

前言

　　PG_RMAN是Postgresql的一款插件，用于备份和还原PostgreSQL数据库；它需要对整个数据库集群，存档WAL和服务器日志进行物理在线备份。

pg_rman支持使用PostgreSQL 9.0之后从备用站点获取备份，还支持存储快照备份。

pg_rman具有以下功能：

仅使用一个命令即可对整个数据库（包括表空间）进行备份。
只需一个命令即可从备份中恢复。
支持增量备份和备份文件压缩，以便占用更少的磁盘空间。
管理备份版本并显示备份目录。
支持存储快照。

pg_rman支持以下命令：

init --初始化备份目录。
backup --进行在线备份。
restore --还原。
show --显示备份历史记录。详细信息选项显示每个备份的附加信息。
validate --验证备份文件。未经验证的备份不能用于还原和增量备份。
delete --删除备份文件。
purge --从备份目录中删除已删除的备份。

安装

可以从以下链接下载对应版本的pg_rman；

https://github.com/ossc-db/pg_rman/releases

安装方法1：

--从源码编译安装，缺包编译报错需要下载对应包任何重试
$ cd pg_rman
$ make
$ make install
--将生成的pg_rman拷贝到/opt/pgsql/12/bin、/usr/bin

安装方法2：

--RPM包安装
# rpm -ivh pg_rman-x.x.xx-x.pgxx.rhelx.x86_64.rpm
--默认生成在/usr/pgxxx下面
--将生成的pg_rman拷贝到/opt/pgsql/12/bin、/usr/bin

前期准备

创建备份和归档目录

备份和归档的目录需要单独挂盘，不能跟数据目录放一起，因为会影响在线系统IO，推荐挂NFS远程盘进行远程备份。

--创建备份目录
mkdir /pg_basebackup
--创建wal归档目录
mkdir /pg_arch
--配置环境变量
echo 'export BACKUP_PATH=/pg_basebackup'>>~/.bash_profile
echo 'export ARCLOG_PATH=/pg_arch'>>~/.bash_profile

修改PG归档配置

为了对归档进行保存，修改归档相关配置

--在$PGDATA目录下创建arch.sh,保留30天归档
test ! -f /pg_arch/$1 && cp --preserve=timestamp $2 /pg_arch/$1 ; find /pg_arch/ -type -f mtime +30 -exec rm -f {} \;
--修改postgresql.conf配置
archive_mode=on   #开启归档
archive_command= 'arch.sh %f %p' #shell脚本
archive_timeout=900 #强制wal日志切换时间
--重启PG
pgrestart

初始化

--初始化
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v init
--修改/pg_basebackup/pg_rman.ini配置文件,配置备份、归档保存天数
ARCLOG_PATH='/pg_arch'
SRVLOG_PATH='/pgsql/12/data/pg_log'
#配置压缩参数
COMPRESS_DATA=YES
#归档日志保留天数
KEEP_ARCLOG_DAYS=14
#KEEP_ARCLOG_FILES=1000 --归档保留个数
#备份保留天数
KEEP_DATA_DAYS=30

设置备份策略

全库备份策略

整个数据库备份和存档备份

--可以配置到crontab中每周日晚上执行一次
0 1 * * 0 root sh fullback.sh
--脚本fullback.sh，备份完必须执行validate，否则备份不能用于还原
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b full backup
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

增量备份策略

增量备份和存档备份

--可以配置到crontab中每周日晚上执行一次
0 23 * * * root sh inrback.sh

--脚本inrback.sh
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b incremental backup
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

--查看备份情况
pg_rman -a show
$ pg_rman show

=====================================================================
 StartTime           EndTime              Mode    Size   TLI  Status
=====================================================================

2015-07-30 13:31:08  2015-07-30 13:31:10  FULL    14MB    15  OK
2015-07-30 13:30:37  2015-07-30 13:30:38  ARCH    53kB    15  OK
2015-07-30 13:30:32  2015-07-30 13:30:33  ARCH    26kB    15  OK
2015-07-30 13:30:11  2015-07-30 13:30:13  FULL    14MB    15  OK
2015-07-30 13:28:10  2015-07-30 13:28:11  INCR   120kB    14  OK
2015-07-30 13:27:45  2015-07-30 13:27:46  INCR    54kB    14  OK
2015-07-30 13:27:32  2015-07-30 13:27:33  INCR    54kB    14  OK
2015-07-30 13:27:25  2015-07-30 13:27:26  INCR    54kB    14  OK
2015-07-30 13:24:02  2015-07-30 13:24:04  FULL    14MB    14  OK

还原操作

任何数据库恢复操作，操作前都需要对原$PGDATA目录进行备份；

--确认实例已经停掉
pgstop

--备份
cp -r $PGDATA /pgsql/12/data_bak
mkdir -p /pg_arch/arch_bak
cp -r /pg_arch/* /pg_arch/arch_bak

--还原到指定时间点or最新
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v restore --recovery-target-time '2020-12-02 03:04:54'
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v restore --recovery-target-timeline 'latest'

后续操作

--修改权限
chmod 700 $PGDATA
chown -R postgres:postgres $PGDATA

--启动PG
pgstart

--启动完后注释掉postgres.conf最后还原配置
#restore_command='xxx'
#recovery-target-timeline='xxx'

--确认没问题后干掉arch的备份目录,不删除会导致下次整库备份报错
rm -rf /pg_arch/arch_bak

--找时间重新做一份整库备份

操作指令大全

1、初始化指令
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P init

2、全库备份指令（用于还原需要在执行验证指令）
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b full backup

3、增量备份策略（用于还原需要在执行验证指令）
PGPASSWORD=XXX $PGHOME/bin/pg_rman -D $PGDATA -B /pg_basebackup -A /pg_arch -P -v -b incremental backup

4、standby节点全库备份
pg_rman backup -D /home/postgres/pgdata_sby（备节点） -b full --host=masterIP --standby-host=standbyIP --standby-port=5432

5、验证备份文件。未经验证的备份不能用于还原和增量备份。
PGPASSWORD=XXX $PGHOME/bin/pg_rman  -B /pg_basebackup validate

6、备份查看指令
$PGHOME/bin/pg_rman -a show

7、备份删除指令
pg_rman delete 2020-11-30 13:30:30

8、删除已删除的备份，尽管该delete命令从文件系统中删除了实际数据，但是仍然保留一些已删除备份的目录信息
pg_rman purge

exitcode

Code	Name	Description
0	SUCCESS	Succeeded.
1	HELP	Print a help, then exit.
2	ERROR	Generic error.
3	FATAL	Exit because of repeated errors
4	PANIC	Unknown critical condition.
10	ERROR_SYSTEM	I/O or system error.
11	ERROR_NOMEM	Out of memory.
12	ERROR_ARGS	Invalid input parameters.
13	ERROR_INTERRUPTED	Interrupted by user. (Ctrl+C etc.)
14	ERROR_PG_COMMAND	SQL error.
15	ERROR_PG_CONNECT	Cannot connect to PostgreSQL server.
20	ERROR_ARCHIVE_FAILED	Cannot archive WAL files.
21	ERROR_NO_BACKUP	Backup file not found.
22	ERROR_CORRUPTED	Backup file is broken.
23	ERROR_ALREADY_RUNNING	Cannot start because another pg_rman is running.
24	ERROR_PG_INCOMPATIBLE	Version conflicted with PostgreSQL server.
25	ERROR_PG_RUNNING	Cannot restore because PostgreSQL server is running.
26	ERROR_PID_BROKEN	postmaster.pid file is broken.

概念和配置参数

时间线：

参考下面链接文章

http://mysql.taobao.org/monthly/2015/07/03/

归档恢复设置
restore_command：用于获取一个已归档段的XLOG日志文件的命令
archive_cleanup_command：清除不在需要的XLOG日志文件的命令
recovery_end_command：归档恢复结束后执行的命令

恢复目标设置（默认情况下，数据库将会一直恢复到 WAL 日志的末尾）
recovery_target = ’immediate’：在从一个在线备 份中恢复时，这意味着备份结束的那个点
recovery_target_name (string)：这个参数指定(pg_create_restore_point()所创建)的已命名的恢复点,将恢复到该恢复点
recovery_target_time (timestamp)：这个参数指定恢复到的时间戳
recovery_target_xid (string)：这个参数指定恢复到的事务 ID
recovery_target_inclusive (boolean)：指定是否在指定的恢复目标之后停止(true)，或者在恢复目标之前停止 (false)；适用于recovery_target_time或者recovery_target_xid被指定的情况；这个设置分别控制事务是否有准确的目标提交时间或 ID 是否将被包括在该恢复中；默认值为 true
recovery_target_timeline (string)：指定恢复到一个特定的时间线
recovery_target_action (enum)：指定在达到恢复目标时服务器应该立刻采取的动作，包括pause（暂停）、promote（接受连接）、shutdown（停止服务器），其中pause为默认动作

备库参数设置
standby_mode(boolean)：为on表示作为一个备库，否则不为备库
primary_conninfo (string)：指定备库连接主库的连接字符串
primary_slot_name (string)：通过流复制指定主库的一个复制槽来复制主库数据，如果没有设置primary_conninfo，则此参数无效
trigger_file (string)：指定一个触发器文件，该文件存在可以结束备库的恢复，即升级备库为一个独立的主库
recovery_min_apply_delay (integer)：这个参数允许将恢复延迟一段固定的时间，如果没有指定单位则以毫秒为单位。
如果recovery.conf中同时指定了recoveryTargetXid、recoveryTargetName、recoveryTargetTime时，PostgreSQL会按照RECOVERY_TARGET_XID> RECOVERY_TARGET_NAME > RECOVERY_TARGET_TIME的优先级来获取最终的目标恢复位点。

如果在recovery.conf指定recovery_targetTimeLine为latest，则可以基于当前TimeLineID为起点寻找最新时间线：

寻找当前TimeLineID的时间线历史文件“XXX.history”，如果存在则继续寻找，否则错误退出
TimeLineID是线性增长的，将当前TimeLineID自增1寻找是否存在时间线历史文件，直到不存在对应的时间线历史文件为止，即可找到最新的时间线。

FAQ

1. 还原启动时报错，“invalid checkpoint record”
　　查看backup_label文件，发现WAL检查点所在归档文件是存在的，在postgresql.conf中restore_command是一个cp指令，试试该指令，发现报错权限不足，将路径下目录赋予权限后，正常启动。

2. full backup时报错，归档文件不存在
　　pg_rman备份指令加-v 显示详细信息，发现是/pg_arch/bak报错，bak目录是之前还原时归档的备份，删除后full backup正常。

3.还原到指定时间点后，数据库处于只读状态
　　pg还原到指定时间点默认动作recovery_target_action='pause',暂停；此时可以用超户执行select pg_wal_replay_resume(); 或者在启动数据库实例前在postgresql.conf中添加recovery_target_action='promote'
4.关于能否前滚，现在有个问题假如星期一到星期五的归档都在，星期三做了一份全量备份，星期一之前无备份，那么能否回到星期二？

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：mysql 怎么将联表查出的字段做条件 mysql如何联表查询

下一篇：unity打图集设置 unity图集作用

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

postgres pg_rman 排除表

postgres pg_rman 排除表

前言

安装

前期准备

创建备份和归档目录

修改PG归档配置

初始化

设置备份策略

全库备份策略

增量备份策略

还原操作

后续操作

操作指令大全

exitcode

概念和配置参数

FAQ

前言

安装

前期准备

创建备份和归档目录

修改PG归档配置

初始化

设置备份策略

全库备份策略

增量备份策略

还原操作

后续操作

操作指令大全

exitcode

概念和配置参数

FAQ

51CTO博客

　　创建备份和归档目录

　　修改PG归档配置

　　初始化

　　全库备份策略

　　增量备份策略　　