介绍: barman是postgresql备份还原的管理工具。 本文环境: 系统: centos6.6 PostgreSQL 9.3.9 barman-1.4.1-1.rhel6.noarch.rpm 主机如下: ? 1 <span style="font-size: 12px;">192.168.
转载
2019-09-19 10:25:00
259阅读
2评论
简介在一些大容量得数据库应用中，采用全量备份得方式，会带来大量时间浪费和开销，此时定期的增量备份可以使得数据存储周期变长。本文讲解几个增量备份工具pg_basebackup + pg_receivewal（异地归档模式）使用pg_basebackup进行全量备份，并创建复制槽receivewal_slot，在使用pg_receivewal通过复制槽receivewal_slot对wal的定位进行
一、概述bsdiff 是一个差量更新算法，算法原理是尽可能多的利用 old 文件中已有的内容，尽可能少的加入新的内容来构建 new 文件。通常的做法是对 old 文件和 new 文件做子字符串匹配或使用 hash 技术，提取公共部分，将 new 文件中剩余的部分打包成 patch 包。在 Patch 阶段，用 copying 和 insertion 两个基本操作即可将 old 文件和 patch
转载
2024-04-24 16:25:10
260阅读
在线热备份有免费开源的,也收费的产品,在这里我们值讨论免费的产品，支持热备的的软件mysqlLVM以及接下来的这款
Xtrabackup;Xtrabackup是由percona开发的一个开源软件，它是innodb热备工具ibbackup（收费的商业软件）的一个
开源替代品。Xtrabackup由个部分组成:xtrabackup和innobackupex，其中xtrabackup工具用于备份inno
# 实现 "seatunnel 增量同步 PostgreSQL" 的步骤
## 1. 简介
在开始之前，让我们先了解一下 "seatunnel 增量同步 PostgreSQL" 的概念。Seatunnel 是一种用于实时同步数据的工具，它可以将源数据库中的变更操作应用到目标数据库，实现数据的增量同步。在本文中，我们将重点讨论如何使用 seatunnel 工具来实现 PostgreSQL 数据库的
原创
2024-01-09 20:55:02
2498阅读
docker 部署docker run --name canal-server -e canal.instance.maste
转载
2022-04-05 15:06:25
68阅读
服务器数据安全一直都是每个企业最为重视的点，如何保证服务器数据的安全呢？除了各种防护措施和硬件保护之外，定时的自动备份也是必不可少的，那么服务器数据自动备份怎么设置呢？下面小编就从两个方向跟大家分享下数据自动备份的方法。一、通过windows计划任务设置。1@echo offxcopy "C:Downloads" "D:dsz" /e/I/d/h/r/yExit这段代码的意思是把位于C盘的文件夹D
转载
2024-04-25 14:10:17
111阅读
我在ops日志中使用了Redis pub-sub和Mongodb可裁剪游标(这是一个capped集合，请参见http://denormalised.com/home/mongodb-pub-sub-using-the-replication-oplog.html和http://blog.mongodb.org/post/29495793738/pubsub-with-mongodb)来创建我自己的
转载
2024-02-18 15:50:06
59阅读
在实际生产环境中，数据库的数据守护是一个极关重的任务。对于PostgreSQL，完全备份和增量备份是常见的备份方式。增量备份具有效率高，存储体积小的优势，适合应用于数据量很大和备份需求高的场景。本文将详细解释如何实现PostgreSQL的增量备份，包括原理解释和实现步骤，并提供相关应用场景和最佳实践。一、增量备份概念增量备份是指在对数据库进行完全备份后，只备份对比上一次备份时以来发生改变的部分数据
逻辑订阅是PostgreSQL10.0开始支持的新功能,PostgreSQL的物理流复制功能十分强大,在容灾、读写分离、HA等场景中都有广泛的使用,那么为什么还需要逻辑订 ...
转载
2021-07-27 11:04:00
677阅读
2评论
今天遇到一个需求，需要对两个数据库做数据同步，由于两个数据分别处于内网和外网，无法直接连通。由于数据量较大，同事建议用EXP做增量备份。我的观点是EXP的增量备份没有意义，因为增量备份最小的差异单元是表，也就是说只要一个表的数据有变动，那么这个表就要被全表导出。同事的观点是EXP的增量是只导出新增的数据行，并说以前做过测试验证过。目前我们的数据库版本是9204。后来我做了一个试验，证明他的观点是错
转载
2024-04-24 08:56:00
110阅读
#################################### 地址：https://github.com/alibaba/canal.git ##################################
原创
2022-08-02 17:39:16
94阅读
Postgresql增量备份
转载
2020-11-17 10:11:45
3735阅读
PostgreSQL 没有类似MySQL 的二进制日志， 但是有和MySQL 类似的REDO LOG，并且有MySQL 没有的REDO 归档功能。当然REDO 的归档已经MariaDB 和Percona-MySQL 已经实现。 那我们就利用PGSQL的REDO 归档，也叫WAL来实现增量备份。 假设
转载
2019-09-19 10:19:00
222阅读
2评论
Point-in-Time Recovery (PITR) 基于时间点的备份（恢复）。归档对于PITR（增量备份与恢复）至关重要，如果归档不一致，会产生各种各样的问题。以下的测试截图中，我将归档清零，重新生成，再做相关PITR的操作。这里是简单的操作过程，详情查看相关的官方文档说明 26.3. Continuous Archiving and Point-in-Time Recovery
原创
2023-08-01 16:18:22
597阅读
我这里总结了PGSQL 增量备份的要点以及相关演示
推荐
原创
2014-01-07 18:14:37
4195阅读
字数 4062，阅读大约需 21 分钟已经很久没有发文章了，主要是最近工作上的内容都不适合发文章公开。可能往后文章发表也不这么频繁了，不过大家有问题我们可以交流。之前有写过PG增量备份的其他工具使用方法，pg_probackup也是应用比较多的PG备份工具。一. pg_probackuppg_probackup 是一个用于管理 PostgreSQL 数据库集群备份与恢复的实用工具，截止2.5.15
1.订阅端 pg_subscription_rel 查看订阅的每个表的复制状态。是多对多的映射。其中： srrelid：表示表的pg_class.oid srsubstate：状态码；i=初始化，d=正在复制数据，s=已同步，r =准备好(常规复制) srsublsn： s和r状态时的结束LSN。
转载
2020-06-28 23:14:00
1413阅读
2评论
【实验目的】1.利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新。2.熟练掌握“JavaScript代码”，“表输入”，“表输入出”组件的使用，实现数据全量更新。【实验原理】通过“表输入”对MySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到MySQL数据库。【实验环境】操作系统：Windows
转载
2024-04-05 07:59:18
408阅读
原创
2021-09-08 11:13:25
1682阅读
