归档模式在归档模式下时，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程(ARCH/ARCn)就会将原来的重做日志文件的信息复制到归档日志文件中。可以把归档日志文件堪称是重做日志文件的克隆；要使归档的操作自动化，首先必须将数据库设置为归档模式，其次要启动归档后台进程(ARCn)，还要有足够的硬盘空间以存储持续产生的归档日志文件；将数据库设置为归档模式意味：1)当
转载
2023-10-26 16:21:34
86阅读
# 使用 MySQL 进行数据归档指南
数据归档是数据库管理中重要的一环，目的在于将历史数据从活跃数据库中迁移到归档数据库，以提高数据库性能并降低存储成本。本文将向你详细介绍如何在 MySQL 中进行数据归档。
## 数据归档流程
首先，我们来看看数据归档的全过程。以下是每个步骤的列表：
| 步骤 | 描述 |
| ---
如果您的日常工作中需要对数据库进行管理，那您肯定已经或即将遭遇这样的困惑：随着业务的蓬勃发展，数据库文件的大小逐渐增大，您需要为在线业务提供越来越大的高性能磁盘容量，但数据库的工作性能却日渐变差。如何解决这样的问题呢？一种新兴的技术——数据库归档也许能够帮您的忙。数据库归档技术是一种保持在线数据库规模大体不变却有能够为用户应用提供稳定的数据库性能的方法。其工作原理是，将数据库中不经常使用的数据迁移
一.主要概述MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。pt-archiver是Percona-Toolkit工具集中的一
转载
2023-08-22 21:07:18
151阅读
文章目录前言一、开启归档：二、自动启动归档后台进程：三、ARCn进程设置：四、设置所有归档日志文件路径：只有启用一份归档日志文件，其他都为无效（默认）更改归档文件路径（log_archive_dest_1~3）：五、重做日志切换：六、归档文件管理维护：七、关闭/开启归档日志功能： 前言开启归档模式，我们可以进行实现rman的数据备份以及xtts等数据恢复。 开启归档需要停库操作：建议提前断掉应用
转载
2023-08-17 18:30:23
764阅读
# MySQL历史数据归档的实践与示例
在数据管理中，历史数据的归档是一个不可忽视的重要环节。随着时间的推移，数据库中的历史数据会逐渐增多，占用大量存储空间，并且可能会影响查询性能，因此合理地进行历史数据归档是非常必要的。
## 1. 什么是历史数据归档
历史数据归档指的是将不再经常使用的旧数据从活跃数据库中移除，并将其存储在另一个长期存储的地方，这样可以提高活跃数据库的性能并减少存储成本。
原创
2024-09-16 03:34:01
193阅读
目录 文章目录目录1. 引言2. 工具说明2.1 使用方式2.2 选项说明3. 工作流程4. 实例4.1 表归档到表(逐行进行)4.2 表归档到表(批量进行)4.2.1 归档到当前实例，并删除数据4.2.2 归档到远程实例，不删除数据4.3 仅清除表数据4.4 表自增字段处理5. 总结 1. 引言2. 工具说明2.1 使用方式2.2 选项说明选项说明–analyze指定工具执行完成后对表的优化，如
转载
2023-08-02 18:07:24
143阅读
应用场景在mysql数据库运维过程中，总会碰到一些比较棘手的事情，历史数据归档绝对算的上一个。由于一些历史原因，有些业务表当初被设计成单表，而且没有分区，业务跑了一段时间，发现越来越慢了。一排查，发现这些单表的数据太多了，导致查询效率变低，这个时候，需要将一些业务用不到的历史数据归档，减少表的数据量，提升查询效率。可是要丝滑的将这些历史数据进行归档，可不是一件容易的事情。注意是丝滑，不能停业务，不
转载
2023-12-26 19:56:09
43阅读
简介：mysql 日志slow log和 error log归档，发现还挺麻烦的。因为如果是大文件的话，比如大于200g，如果直接copy的话，就会把IO打满，影响mysql的生产业务。一 、安全清理mysql 日志文件脚本首先处理掉大的日志文件，因为logrotate轮转时是先copy，然后再清理日志文件，会打满磁盘IO。1、把日志文件slow log和error log重命名；2、然后进入my
转载
2024-02-09 22:01:10
81阅读
当mysql中某张表数据量很大时，和客户沟通可以进行归档（将XX天之前的数据备份后删除）。可以使用此文档。
目录
一、PT工具安装
二、使用说明
三、file和purge使用：
四、其他参数
五、脚本例子
一、PT工具安装
#下载：
#wget https://downloads.percona.com/downloads/per
转载
2024-04-08 00:01:36
91阅读
# MySQL归档：将数据存档起来
随着互联网和数字化技术的飞速发展，数据量的增长速度越来越快。对于数据库管理员来说，如何有效地管理数据库中的海量数据成为了一项重要的任务。MySQL归档是一种常用的数据管理方法，它可以帮助数据库管理员将不常用的数据存档起来，从而减少数据库的负担，提高查询性能。
## MySQL归档的原理
MySQL归档的原理很简单：将不常用的数据从数据库表中移动到归档表中，
原创
2024-03-03 06:49:56
29阅读
由于线上的MySQL实时表数据量太大，即使建了索引查询速度也不理想，上周下班前经理让我对线上MySQL的七张源数据层面的实时表进行归档，现表仅保留近三天的数据，三天之前的数据全部归档到历史表中一、基本思想考虑到按照时间进行归档，因此MySQL按时间创建分区表，并且动态维护每张历史表的分区，将三天前的数据插入到历史表中，根据时间的不同会落到不同的分区中；校验数据量在没有丢失的情况下删除原表数据并记录
转载
2023-06-29 10:29:44
416阅读
一、引言前段时间，在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了~生产环境需要做归档的任务有十几个，如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据，就得手工逐个查看日志，非常枯燥的重复劳动，那是否有办法可以统一管理呢？于是用python倒腾了一个小工具—mysql_archiver
转载
2024-08-30 20:59:31
61阅读
# MySQL历史数据归档方案
在实际生产环境中，随着时间的推移，数据库中的历史数据量会不断增加，这会导致数据库性能下降和存储资源浪费。因此，对历史数据进行归档是非常必要的。本文将介绍如何使用MySQL实现历史数据的归档。
## 方案概述
我们可以通过创建一个归档数据库表，将历史数据从主数据库表中定期归档到归档表中。这样可以减轻主数据库的压力，提高查询效率。另外，我们还可以使用事件调度器来定
原创
2024-04-17 07:14:55
290阅读
归档是实现数据守护的重要技术手段，达梦数据库的归档主要分为5类：本地归档，远程归档，实时归档，即时归档，异步归档。本地归档和远程归档的内容与写入时机和数据库模式相关：主库redo日志写入联机日志文件后，再进行本地归档和远程归档；备库收到主库产生的redo日志后，直接进行本地归档和远程归档，同时启动red
转载
2023-12-25 09:25:21
89阅读
归档日志：bin-log。删库恢复的解决方案！主从复制的解决方案！
bin-log基本信息Binlog在MySQL的Server层实现（引擎共用）Binlog为逻辑日志,记录的是一条语句的原始逻辑Binlog不限大小,追加写入,不会覆盖以前的日志如果，我们误删了数据库,可以使用binlog进行归档!要使用binlog归档，首先我们得记录binlog，因此
转载
2023-08-08 11:38:48
99阅读
背景：在很多业务场景中，每过一段时间就需要对大表进行归档操作以保障系统对性能稳定，但是这种操作往往会留下很多表空间碎片，所以每隔一段时间也需要对表空间进行清理。mysql中optimize table 是比较常用的清理磁盘命令，但是这个命令对缓存区有大小要求，如果一次归档过多数据，往往耗时久还非常有可能无法成功。所以只剩下了alter table这个命令，但是这个命令也非常慢：因为原理是先复制表在
转载
2023-09-25 17:04:59
2阅读
归档对于DBA来说是一个非常严肃的话题，但是对于开发来说可能就没有那么的重视，最近我接到开发经理的需求说要归档两个月以前的短信日志；在开发和开发经理看来，短信下发了就下发了，超过60天的数据已经处于完全无用状态，属于可丢弃数据； 需求到我这里，我给了两个方案，1、做一个归档数据库，2、文本形式归档其中做归档数据库肯定是比较复杂的，原因有：1、考虑整个平台的通用性，可定要慎重的选型数据库2
转载
2023-10-15 22:25:11
75阅读
MySQL必备工具第九位: mk-archiver随着列表体积的日益增大，查询指令生效时间也每况愈“长”。响应时间不理想的干扰因素当然很多，但如果我们已经对各个角度实施了优化，那么最后仍然制约性能表现的瓶颈所在就是列表的规模了。将庞大列表中的各行内容进行归档操作能够有效缩短查询指令的响应时间。除非列表内容并不重要，否则大家千万不能贸然删除其中的内容行。归档也需要技巧，因为首先数据不能缺失、列表也不
转载
2024-04-16 14:07:34
30阅读
归档，在 MySQL 中，是一个相对高频的操作。它通常涉及以下两个动作：迁移。将数据从业务实例迁移到归档实例。删除。从业务实例中删除已迁移的数据。在处理类似需求时，都是开发童鞋提单给 DBA，由 DBA 来处理。于是，很多开发童鞋就好奇，DBA 都是怎么执行归档操作的？归档条件没有索引会缩表吗？安全吗，会不会数据删了，却又没归档成功？针对这些疑问，下面介绍 MySQL 中的数据归档神器 - pt-
转载
2023-08-29 17:44:25
327阅读
