MySQL 常用 OLTP 业务环境，一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中，数据有较强的生命周期，在线一段时间后，可能就是失去业务意义，如：某个业务下线业务数据超过服务周期，例如某个业务只需要近 3 个月的数据业务操作的日志类型的数据进行归档分库分表的数据库需要合并到同一个地方，提供统计查询及分析能力定期的备份归档
转载
2023-10-27 11:26:03
133阅读
简介：mysql 日志slow log和 error log归档，发现还挺麻烦的。因为如果是大文件的话，比如大于200g，如果直接copy的话，就会把IO打满，影响mysql的生产业务。一 、安全清理mysql 日志文件脚本首先处理掉大的日志文件，因为logrotate轮转时是先copy，然后再清理日志文件，会打满磁盘IO。1、把日志文件slow log和error log重命名；2、然后进入my
前言随着业务量的增长，存储在 MySQL 中的数据日益剧增达到千万及上亿数据量，这就导致跟其 Join 的表的 SQL 变得很慢，对应用接口的 response time 也变长了，影响了用户体验。一般常见增长量巨大的表都是一些记录、日志类型数据，只需要保留 2 到 3 月。此时需要对表做数据清理实现瘦身。那么这么大的数据如何进行删除，而不影响数据库的正常使用呢？如何进行删除？都有哪些方案？根据前
归档模式在归档模式下时，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程(ARCH/ARCn)就会将原来的重做日志文件的信息复制到归档日志文件中。可以把归档日志文件堪称是重做日志文件的克隆；要使归档的操作自动化，首先必须将数据库设置为归档模式，其次要启动归档后台进程(ARCn)，还要有足够的硬盘空间以存储持续产生的归档日志文件；将数据库设置为归档模式意味：1)当
转载
2023-10-26 16:21:34
75阅读
SQL Server 数据归档方案 目的本文旨在从数据库管理方面，提供将SQL Server大数据表归档的解决方案。可以作为新业务上线时进行方案设计的参考。 归档方案选型方案一：方案介绍BCP导出数据到本地目录目录后，遍历目录文件BCP导入到临时表，再循环删除源表数据。通过Insert into … Left Join …通过主键关联临时表和归档表排除存在的数据。（或通过200
一、引言前段时间，在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了~生产环境需要做归档的任务有十几个，如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据，就得手工逐个查看日志，非常枯燥的重复劳动，那是否有办法可以统一管理呢？于是用python倒腾了一个小工具—mysql_archiver
导读MySQL 8.0.17开始支持的redo log归档能干嘛用呢，好吃吗今天，MySQL 8.0.17发布了，看了下release note，发现果真如之前预期的那样，恢复了redo log归档（redo log archiving）功能。之所以说是“恢复”，那是因为在InnoDB非常古老的版本（MySQL 4.0.6之前的版本）才存在，之后就取消了，当时还支持redo log mi
归档，在 MySQL 中，是一个相对高频的操作。它通常涉及以下两个动作：迁移。将数据从业务实例迁移到归档实例。删除。从业务实例中删除已迁移的数据。在处理类似需求时，都是开发童鞋提单给 DBA，由 DBA 来处理。于是，很多开发童鞋就好奇，DBA 都是怎么执行归档操作的？归档条件没有索引会缩表吗？安全吗，会不会数据删了，却又没归档成功？针对这些疑问，下面介绍 MySQL 中的数据归档神器 - pt-
转载
2023-08-29 17:44:25
257阅读
若干套 MySQL 环境，只有一套：∘ 行为异常，怀疑触发 bug∘ 性能异常，比其他环境都要低在这种场景下，我们一般的做法是首先控制变量，查看软硬件配置，以及 MySQL 的参数配置。关于 MySQL 的参数配置对比，如果我们人工对比的话只会关注某些重点参数，而缺少了整体细节上的的对比。在这里我们推荐给大家 Percona Toolkit 中的一个工具 pt-config-d
转载
2023-10-19 08:49:36
62阅读
使用MySQL的过程，经常会遇到一个问题，比如说某张”log”表，用于保存某种记录，随着时间的不断的累积数据，但是只有最新的一段时间的数据是有用的；这个时候会遇到性能和容量的瓶颈，需要将表中的历史数据进行归档。下面描述一种典型的做法：比如说表结构如下： CREATE TABLE `history` (
`id` int(11) NOT NULL,
`value` text,
`add
转载
2023-07-07 19:38:20
147阅读
归档是实现数据守护系统的重要技术手段，根据功能与实现方式的不同，DM 数据库的 归档可以分为 5 类：本地归档、远程归档、实时归档、即时归档和异步归档。其中，本地 归档和远程归档日志的内容与写入时机与数据库模式相关；主库 Redo 日志写入联机日志文件后，再进行本地归档和远程归档；备库收到主库产生的 Redo 日志后，直接进行本地归档 和远程归档，同时启动 Redo 日志重演。1 本地归档 Red
一.主要概述MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。pt-archiver是Percona-Toolkit工具集中的一
转载
2023-10-16 16:34:09
2724阅读
1.归档模式与非归档模式介绍 1）归档模式：归档会在日志切换时，备份历史日志对于oltp系统都应该考虑归档模式，以便数据库支持热备，并提供数据库完全恢复和不完全恢复（基于时间点）。 2）非归档模式：非归档适用于莫衷静态库，测试库，或者可有远程提供数据恢复的数据库，非归档值能冷备，且仅能还原最后一次全备，归档可以恢复到最后一次commit。 注意：归档会启用ARCn的后台进程，也会占用磁盘空间。2.
在使用mysql的过程中，经常会听到mysql具有数据恢复能力，当我们在业务开发中误删了某些数据后，可以将数据库恢复到误删之前的状态。同时还具有故障恢复能力，当数据库所在的机器突然掉电停机后，mysql也可以保证数据一致性。同时对数据库中事务比较了解的小伙伴也知道，在可重复读的事务隔离级别下，可以支持快照读。在赞叹mysql这么强大的能力时，你可曾想过他是怎么实现的吗？其实上面这些功能实现的背后，
转载
2023-10-04 07:50:21
31阅读
一.主要概述MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。pt-archiver是Percona-Toolkit工具集中的一
转载
2023-08-13 23:05:45
299阅读
oracle运行的时候至少需要两组联机日志，每当一组日志写满后会发生日志切换，继续向下一组联机日志写入。 如果是归档模式，则会触发ARCn进程，把切换后的重做日志文件复制到归档日志文件。 如果是非归档模式，重做日志就会被覆盖。 那么归档模式和非归档模式。我们如何选择呢？归档模式的优点：1、可以进行完全、不完全恢复：对于数据库所作的全部改动 都记录在日志文件中，如果发生磁盘故障等导致数据
转载
2023-10-27 06:11:54
51阅读
1. 归档模式 在归档模式下时，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程（ARCH/ARCn）就会将原来的重做日志文件的信息复制到归档日志文件中。可以把归档日志文件堪称是重做日志文件的克隆； 要使归档的操作自动化，首先必须将数据库设置为归档模式，其次要启动归档后台进程（ARCn），还要有足够的硬盘空间以存储持续产生的归档日志文件；将数据库设置为归档模
# MySQL 数据归档方案
在当今数据驱动的时代，企业生成和存储的数据量持续增长，如何有效管理这些数据成为了一个重要的课题。数据归档是将不再频繁使用的数据转移到一个长期存储的位置，以减轻主数据库的负担，提高查询性能，并降低维护成本。本文将介绍 MySQL 数据归档的方案，并通过代码示例来说明具体操作。
## 一、数据归档的必要性
1. **提高性能**：随着数据量的增加，数据库查询会变慢，
# MySQL数据归档的实现指南
## 引言
数据归档是数据库管理中的一项重要任务。随着业务的发展，原始数据逐渐增多，不仅占用存储空间，还可能影响查询性能。因此，定期将不再需要频繁访问的数据移至归档表中是一个很好的选择。在这篇文章中，我将向你介绍如何在MySQL中实现数据归档的过程。
## 流程概述
在开始之前，让我们先概述一下数据归档的实施流程。以下是一个简单的步骤列表：
| 步骤 | 描
Oracle数据库能运行在2种模式下:归档模式(archivelog)和非归档模式(noarchivelog)。归档模式能提高Oracle数据库的可恢复性，生产数据库都应该运行在此模式下，归档模式应该和相应的备份策略相结合，只有归档模式没有相应的备份策略只会带来麻烦。检查归档模式命令： SQL> archive log list Database log mode No Archi
