PostgreSQL数据库——pg_basebackup原理解析

转载

mb62de8abf75c00 2022-07-28 17:52:17

介绍

pg_basebackup提供一个全量备份。常用来搭建流复制环境。属于物理备份。逻辑备份工具时pg_dump。参数说明：
-D：–pgdata=DIRECTORRY，接收备份的目录
-F：–format=p | t，指定输出格式，支持p（原样输出）或者t(tar格式输出)
-r：–max-rate=RATE，最大传输率（kB/s，或用前缀 k,M）
-R，–write-recovery-conf，备份后写recovery.conf文件
-s,–slot=SLOTNAME，使用的复制槽
-T：–tablespace-mapping=OLDDIR=NEWDIR，使用NEWDIR替代OLDDIR
-x：–xlog,备份开始后，启动另一个流复制连接从主库接收WAL
-X:–xlog-method=fetch| stream
–xlogdir=XLOGDIR
-z：–gzip
-Z：–compress=0-9
–target-gp-dbid：根据给定的dbid创建表空间子目录
-C,–checkpoint=fast| spread
-l,–label=LABLE：设置backup label
-E，–exclude
–exclude-from=FILE

流程

1、上层流程
1）先对传入的参数进行互斥检测，必须指定备份路径-D，format指定t模式时才可以使用压缩级别compresslevel。仅includewal为流复制模式时才可以使用复制槽。no_slot下不使用复制槽和temp_replication_slot。create_slot即指定-C时必须使用复制槽。xlog_dir下必须使用format为p即plain模式，且必须使用绝对路径。
2）通过GetConnection函数连接主，返回连接conn
3）format为p模式下，如果-D指定的目录不存在则创建该目录，若存在，则这个目录必须为空
4）通过RetrieveWalSegSize函数得到远程WAL文件大小WalSegSz，通过执行SHOWwal_segment_size得到：

postgres=# show wal_segment_size;
-------------------------------
16MB
(1 row)

5）调用函数BaseBackup进行全量备份。

PostgreSQL数据库——pg_basebackup原理解析_调用函数

2、BaseBackup

1）如果指定-R创建recovery.conf文件，那么先在内存中产生内容：

standby_mode=’on’

primary_cnotallow=’replicatinotallow= dbname= fallback_application_name=’

primary_slot_name=’’

在备份完成后，写入recovery.conf文件WriteRecoveryConf();

2）调用RunIdentifySystem向主发送IDENTIFY_SYSTEM命令，获取系统标识及时间线，例如：

psql “dbname=postgres replication=database”-c “IDENTIFY_SYSTEM;”
systemid    timeline   xlogpos  dbname
------------------+--------+----------+--------
69516718657589179 |       1| 0/80000D8| postgres
(1 row)

主接收到命令后由函数exec_replication_command进行处理：IdentifySystem();时间线为主机的ThisTimeLineID。（这个值主上怎么更新？）
3）生成BASE BACKUP命令，并向主发送。得到wal起始位置xlogstart和起始时间线starttli，表空间个数tablespacecount和循环计算得到文件总数totalsize？
4）如果时流复制拉取，那么调用函数StartLogStreamer初始化后台进程用于接收WAL，会启动一个进程。
这里请求的开始时间线9.3及之后版本为BASE_BACKUP获取的时间线值，否则为IDENTIFY_SYSTEM获取主上当前时间线值。

StartLogStreamer(xlogstart, starttli, sysidentifier),注册流复制结构：

typedef struct
{
    PGconn    *bgconn;
    XLogRecPtr  startptr;
    char       xlog[MAXPGPATH];/* directory or tarfiledepending on mode */
    char      *sysidentifier;
    int        timeline;
} logstreamer_param;

param->timeline = timeline;
param->sysidentifier = sysidentifier;
param->startptr = ((uint64) hi) << 32 | lo;//xlogstart转换
//对齐文件头
param->startptr -=XLogSegmentOffset(param->startptr, WalSegSz);
param->bgconn = GetConnection();//另连接master server
replication_slot//创建复制槽
format为p模式创建archive_status目录
bgchild = fork();
if (bgchild == 0){//子进程
        /* in childprocess */
        exit(LogStreamerMain(param));
}
atexit(kill_bgchild_atexit);//父进程