pt-archiver是一个十分高效的表数据归档工具，归档数据可以分批进行事务处理，减少性能消耗；如果实例开启了GTID，因为GTID不支持CTAS创建表的语法，可以使用pt-archiver处理；对于跨实例或者跨服务器的表数据归档，pt-archiver可以运行在目标端服务器，因为生成的临时文件是在工具执行所在的服务器。对于大表的过期数据的批量删除也可以通过pt-archiver指定选项--pu
转载
2023-09-14 16:44:35
45阅读
MySQL 中的日志比较重要的有 binlog（归档日志）、redo log（重做日志）以及 undo log，那么跟我们本文相关的主要是 binlog，另外两个日志松哥将来有空了再和大家详细介绍。1. binlogbinlog 我们中文一般称作归档日志，如果大家看过松哥之前发的 MySQL 主从搭建，应该对这个日志有印象，当我们搭建 MySQL 主 从 的时候就离不开 binlog（传送门：My
转载
2023-08-12 21:10:57
163阅读
1.达梦数据库中归档文件配置。
生产环境必须开启归档日志，且必须限制归档日志保留量，限制方法：
设置归档空间大小限制即指定 SPACE_LIMIT 参数（单位是 MB）。
定期删除归档日志（设置定时作业）。
例如开启归档并限制归档空间为 100 GB，如下所示：
联机配置归档日志
alter database mount;
alter database add archivelog
转载
2024-06-19 05:28:28
28阅读
直接如题查看当前数据库模式连接进入数据库，键入以下命令：复制代码 代码如下:SQL> archive log list;可查看当前数据库的模式，若“数据库日志模式 非存档模式”则有必要进行以下的切换流程。在切换之前，请确保以下参数的设置log_archive_dest_n 参数设置归档日志目标，其中n用数字替换。在Oracle9i中n的范围是1~5，在Or
转载
2024-04-21 15:47:06
59阅读
在MySQL中，可以通过查询参数变量来查看是否设置了归档模式。归档模式是MySQL数据库的一种特殊模式，用于将数据归档到存档表中，以减少主要存储表的数据量，提高数据库性能。
首先，我们可以通过查看参数变量 `innodb_file_per_table` 的值来确定是否启用了归档模式。该参数用于指定每个InnoDB表是否有独立的表空间，当该参数值为 `1` 时，表示启用了归档模式；当值为 `0`
原创
2024-03-31 06:16:09
137阅读
MySQL 常用 OLTP 业务环境，一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中，数据有较强的生命周期，在线一段时间后，可能就是失去业务意义，如：某个业务下线业务数据超过服务周期，例如某个业务只需要近 3 个月的数据业务操作的日志类型的数据进行归档分库分表的数据库需要合并到同一个地方，提供统计查询及分析能力定期的备份归档
转载
2023-10-27 11:26:03
197阅读
介绍oracle online redo log与归档日志的理解一、oracle online redo log（1）oracle online redo log是oracle数据库中核心文件之一。在数据库操作中，只要有任何的数据块变化，都会生成相应的redo entry。redo entry首先保存在log buffer中，最后由l
转载
2024-10-08 21:31:04
41阅读
简介：mysql 日志slow log和 error log归档，发现还挺麻烦的。因为如果是大文件的话，比如大于200g，如果直接copy的话，就会把IO打满，影响mysql的生产业务。一 、安全清理mysql 日志文件脚本首先处理掉大的日志文件，因为logrotate轮转时是先copy，然后再清理日志文件，会打满磁盘IO。1、把日志文件slow log和error log重命名；2、然后进入my
转载
2024-02-09 22:01:10
81阅读
show dbs:显示数据库列表
show collections：显示当前数据库中的集合（类似关系数据库中的表）
show users：显示用户
use ：切换当前数据库，这和MS-SQL里面的意思一样
db.help()：显示数据库操作命令，里面有很多的命令
db.foo.
转载
2024-08-13 16:31:28
50阅读
近年来，网络数据量呈爆炸式增长，然而这些数据很快就会由“热”变“冷”。以Facebook为例，经测试分析，其数据产生24小时内访问的频率非常高，而此后访问频率就越来越低，逐渐变为冷数据。Facebook自身的数据中心有89%的数据都是冷数据。华中科技大学信息存储系统教育部重点实验室主任谢长生表示，这些冷数据同样重要，许多大数据分析都要基于冷数据来进行，而且许多数据要求保存的时间非常长，例如银行、社
1 #登录数据库
2 mysql -hlocalhost -uroot -p;
3 #修改密码
4 mysqladmin -uroot -pold password new;
5
6
7 #显示数据库
8 show databases;
9 #显示数据表
10 show tables;
11 #选择数据库
12 use examples;
13 #创建数
归档模式在归档模式下时，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程(ARCH/ARCn)就会将原来的重做日志文件的信息复制到归档日志文件中。可以把归档日志文件堪称是重做日志文件的克隆；要使归档的操作自动化，首先必须将数据库设置为归档模式，其次要启动归档后台进程(ARCn)，还要有足够的硬盘空间以存储持续产生的归档日志文件；将数据库设置为归档模式意味：1)当
转载
2023-10-26 16:21:34
86阅读
一.主要概述MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。pt-archiver是Percona-Toolkit工具集中的一
转载
2023-08-13 23:05:45
341阅读
前言随着业务量的增长，存储在 MySQL 中的数据日益剧增达到千万及上亿数据量，这就导致跟其 Join 的表的 SQL 变得很慢，对应用接口的 response time 也变长了，影响了用户体验。一般常见增长量巨大的表都是一些记录、日志类型数据，只需要保留 2 到 3 月。此时需要对表做数据清理实现瘦身。那么这么大的数据如何进行删除，而不影响数据库的正常使用呢？如何进行删除？都有哪些方案？根据前
转载
2023-12-02 20:03:30
81阅读
oracle运行的时候至少需要两组联机日志，每当一组日志写满后会发生日志切换，继续向下一组联机日志写入。 如果是归档模式，则会触发ARCn进程，把切换后的重做日志文件复制到归档日志文件。 如果是非归档模式，重做日志就会被覆盖。 那么归档模式和非归档模式。我们如何选择呢？归档模式的优点：1、可以进行完全、不完全恢复：对于数据库所作的全部改动 都记录在日志文件中，如果发生磁盘故障等导致数据
转载
2023-10-27 06:11:54
86阅读
什么是数据库归档模式在归档模式下，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程就会将原来的重做日志文件中的信息复制到归档日志文件中。数据库运行在归档模式中的优缺点优点：使数据库能够实现完全恢复，而且能够在数据库开启状态下对数据库进行联机备份和恢复缺点：当数据库处在归档模式，而没有启动归档日志写进程时，重做日志写进程因为要等待归档日志写进程将重做日志文件中的内
转载
2023-10-26 17:41:21
125阅读
一、引言前段时间，在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了~生产环境需要做归档的任务有十几个，如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据，就得手工逐个查看日志，非常枯燥的重复劳动，那是否有办法可以统一管理呢？于是用python倒腾了一个小工具—mysql_archiver
转载
2024-08-30 20:59:31
61阅读
说明：下文中没有特殊说明的话，达梦数据库指的是DM8版本，会用DM8代替。一、什么是归档实际上，在DM8中没有“归档”这个独立的词，一般是跟其他词组合在一起形成专有名词，如归档模式、归档日志文件。单独出现的时候往往指代的是将重做日志（REDO 日志）写入到归档文件的过程。下面就介绍一下与归档模式相关的概念。1、归档模式归档模式是与非归档模式对应的，这两种模式是DM8数据库的两种运行状态。 非归档模
转载
2023-12-19 20:26:21
86阅读
归档，在 MySQL 中，是一个相对高频的操作。它通常涉及以下两个动作：迁移。将数据从业务实例迁移到归档实例。删除。从业务实例中删除已迁移的数据。在处理类似需求时，都是开发童鞋提单给 DBA，由 DBA 来处理。于是，很多开发童鞋就好奇，DBA 都是怎么执行归档操作的？归档条件没有索引会缩表吗？安全吗，会不会数据删了，却又没归档成功？针对这些疑问，下面介绍 MySQL 中的数据归档神器 - pt-
转载
2023-08-29 17:44:25
327阅读
前言MySQL 日志 主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。其中，比较重要的还要属二进制日志 binlog（归档日志）和事务日志 redo log（重做日志）和 undo log（回滚日志）。今天就来聊聊 redo log（重做日志）、binlog（归档日志）、两阶段提交、undo log （回滚日志）。re
转载
2023-11-23 15:00:16
27阅读
