摘要：二进制日志通常会占用大量的磁盘空间，从MySQL 8.0.20开始，可以对MySQL正在使用的二进制日志进行压缩。这篇文章将探讨这个新功能。 原文网址：https://mysql.wisborg.dk/2020/05/07/mysql-compressed-binary-logs/ 作者：Jesper Wisborg Krogh ，著有4本MySQL专著，参与sys schema的开发和4个
转载
2024-07-08 11:55:07
98阅读
MySQL 常用 OLTP 业务环境，一般会使用比较好的硬件资源来提供对外服务。现在 MySQL 数据对外提供的数据动不动好几个 T 也是正常的。在很多业务中，数据有较强的生命周期，在线一段时间后，可能就是失去业务意义，如：某个业务下线业务数据超过服务周期，例如某个业务只需要近 3 个月的数据业务操作的日志类型的数据进行归档分库分表的数据库需要合并到同一个地方，提供统计查询及分析能力定期的备份归档
转载
2023-10-27 11:26:03
204阅读
简介：mysql 日志slow log和 error log归档，发现还挺麻烦的。因为如果是大文件的话，比如大于200g，如果直接copy的话，就会把IO打满，影响mysql的生产业务。一 、安全清理mysql 日志文件脚本首先处理掉大的日志文件，因为logrotate轮转时是先copy，然后再清理日志文件，会打满磁盘IO。1、把日志文件slow log和error log重命名；2、然后进入my
转载
2024-02-09 22:01:10
81阅读
压缩、解压缩命令压缩格式：gz，bz2，xz，zip，z压缩算法：算法不同，压缩比也会不同gzip：.gz 压缩完成后会删除源文件-d：解压缩-#：1-9 设置压缩比，默认为6gunzip： 解压缩后会删除源文件zcat：在不解压的情况下，临时查看压缩文件内容bzip2：.bz2 比gzip有更大的压缩比，使用格式近似-d：-#：1-9 默认6-k：压缩时保留源文件bunz
原创
2015-07-21 21:51:47
562阅读
归档及压缩
原创
2017-11-24 15:57:38
377阅读
压缩、解压缩命令压缩格式：gz，bz2，xz，zip，z压缩算法：算法不同，压缩比也会不同gzip：.gz压缩完成后会删除源文件-d：解压缩-#：1-9设置压缩比，默认为6gunzip：解压缩后会删除源文件zcat：在不解压的情况下，临时查看压缩文件内容bzip2：.bz2比gzip有更大的压缩比，使用格式近似-d：-#：1-9默认6-k：压缩时保留源文件bunzip2：解压缩文件xz：.xz压缩
原创
2020-10-19 23:19:05
627阅读
5、文件的归档与压缩命令？
实验步骤：
# cd /tmp/
# cp /etc/passwd ./
# tar -zcvf passwd.tar.gz passwd 把passwd文件打
原创
2010-06-15 11:45:29
616阅读
一、压缩 压缩：根据一定算法将数据以更加节省空间的形式存放。下面来看一下Linux常见的压缩工具： 1、gzip/gunzip 后缀名：.gz  
原创
2015-06-26 07:58:00
450阅读
 压缩与归档，这是两种不同的概念，其用途也不一样，压缩是通过压缩算法对文件进行压缩，其体积会根据算法减少；归档则是将文件打包，相当与给文件加了个“盒子”，体积还有可能增大。 压缩工具只能压缩单个文件，不能压缩多个文件或文件夹，所以需要先归档文件再压缩。  常见的压缩工具有：gzip、bzip2、xz、zip、compress（比较古老了） &ems
原创
2018-01-08 15:42:33
1629阅读
compress uncompress 工具
gzip/bzip2/zip/compress/xz/7z 他们不同之处在于压缩比不同
1.gzip[options]文件名（只能压缩文件，如果后面跟上目录，则将目录下的文件分别压缩）
压缩之后以文件名加.gz存储并删除原文件
-c 将压缩文件显示到屏幕上来，而不创建压缩文件
原创
2012-02-26 07:56:50
304阅读
归档模式在归档模式下时，当LGWR后台进程的写操作从一个重做日志组切换到另一个重做日志组之后，归档写后台进程(ARCH/ARCn)就会将原来的重做日志文件的信息复制到归档日志文件中。可以把归档日志文件堪称是重做日志文件的克隆；要使归档的操作自动化，首先必须将数据库设置为归档模式，其次要启动归档后台进程(ARCn)，还要有足够的硬盘空间以存储持续产生的归档日志文件；将数据库设置为归档模式意味：1)当
转载
2023-10-26 16:21:34
86阅读
前言随着业务量的增长，存储在 MySQL 中的数据日益剧增达到千万及上亿数据量，这就导致跟其 Join 的表的 SQL 变得很慢，对应用接口的 response time 也变长了，影响了用户体验。一般常见增长量巨大的表都是一些记录、日志类型数据，只需要保留 2 到 3 月。此时需要对表做数据清理实现瘦身。那么这么大的数据如何进行删除，而不影响数据库的正常使用呢？如何进行删除？都有哪些方案？根据前
转载
2023-12-02 20:03:30
81阅读
一、引言前段时间，在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法，也将pt-archiver部署到了生产环境，这时候问题来了~生产环境需要做归档的任务有十几个，如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据，就得手工逐个查看日志，非常枯燥的重复劳动，那是否有办法可以统一管理呢？于是用python倒腾了一个小工具—mysql_archiver
转载
2024-08-30 20:59:31
61阅读
归档，在 MySQL 中，是一个相对高频的操作。它通常涉及以下两个动作：迁移。将数据从业务实例迁移到归档实例。删除。从业务实例中删除已迁移的数据。在处理类似需求时，都是开发童鞋提单给 DBA，由 DBA 来处理。于是，很多开发童鞋就好奇，DBA 都是怎么执行归档操作的？归档条件没有索引会缩表吗？安全吗，会不会数据删了，却又没归档成功？针对这些疑问，下面介绍 MySQL 中的数据归档神器 - pt-
转载
2023-08-29 17:44:25
327阅读
# MySQL 归档数据
随着数据量的不断增加，数据库的管理变得愈加复杂。MySQL 作为一个流行的关系数据库管理系统，提供了多种方式来处理大量数据，其中归档数据是一个重要的概念。本文将探讨 MySQL 中的数据归档，介绍其优势并提供代码示例，最后用甘特图展示归档流程。
## 什么是数据归档？
数据归档通常指的是将不再频繁使用的旧数据从主数据库迁移到另一个存储环境中。这可以帮助提高数据库的性
若干套 MySQL 环境，只有一套：∘ 行为异常，怀疑触发 bug∘ 性能异常，比其他环境都要低在这种场景下，我们一般的做法是首先控制变量，查看软硬件配置，以及 MySQL 的参数配置。关于 MySQL 的参数配置对比，如果我们人工对比的话只会关注某些重点参数，而缺少了整体细节上的的对比。在这里我们推荐给大家 Percona Toolkit 中的一个工具 pt-config-d
转载
2023-10-19 08:49:36
104阅读
# MySQL 数据归档的实现流程
逐步归档 MySQL 数据是保持数据库性能和可维护性的一个关键环节。本文将为刚入行的小白开发者提供一个简单明了的流程，帮助你实现数据归档。
## 数据归档流程
以下是归档数据的基本流程：
| 步骤 | 描述 |
|-------------|-------------------------
一、tar是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。
[root@linux ~]# tar [-cxtzjvfpPN] ：建立一个归档文件，他不带压缩
-x ：是否同时具有 gzip 表示
-j 压缩，通常以bz2：用于指定建立的归档文件名，请留意，在 f 』就是错误的写法，要写成 tar -zcvPf tfile sfile
原创
2009-07-13 12:45:18
638阅读
The ZIP file format is a common archive and compression standard. This module provides tools to create, read, write, append, and list a ZIP file. Any advanced use of this module will require an unders...
原创
2021-08-13 09:53:22
153阅读
The tarfile module makes it possible to read and write tar archives, including those using gzip, bz2 and lzma compression. Use the zipfile module to read or write .zip files, or the higher-level funct...
原创
2021-08-13 09:52:22
164阅读
