作者：魏新平，知数堂优秀校友。 在日常运维当中，经常会用到mysqldump。使用mysqldump导出数据的时候，我们最关心的问题之一就是表的一致性。简单的说就是所有表是不是同一时间的数据和结构。随着备份参数的不同，表的一致性和对数据库的影响也会不一样。测试的mysqldump版本mysqldump Ver 10.13 Distrib 5.7.22-22,
转载
2024-05-02 16:30:28
46阅读
## mysqldump导出大数据量的流程
为了教会小白如何处理“mysqldump导出大数据量”的问题，首先我们需要了解整个流程。下面是一个表格展示了该流程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 使用mysqldump命令导出数据库 |
| 2 | 将导出的数据分割成多个文件 |
| 3 | 压缩分割后的文件 |
| 4 | 将压缩后的文件传输到其他地方 |
原创
2023-11-08 06:46:02
79阅读
iPhone 的储存容量从一开始的 8GB 彪到现在最高 512 GB，大部分的人手机储存容量都是 64GB 以上吧，我们是再也不怕手机提示储存空间不足了。各种游戏、照片、视频都往里放，用着是很爽，可到了备份的时候就傻眼了，本来我们就不会为 C 盘留太大的空间，几十上百 GB 的备份文件，电脑 C 盘却先扛不住了。 就算你把 iTunes 安装到另外的盘里，默认的备份文件还是会
转载
2023-07-20 17:35:20
157阅读
电脑文件夹都是英文，占内存又不敢删，现在教你解决办法随着电脑使用年限的增加，电脑也会慢慢变卡顿，有些人会借助电脑工具进行清理，但是发现清理不干净，然后打开电脑磁盘查看，发现很多文件夹都是英文，占内存又不敢删，那么今天就来教你们解决办法。 可删除文件夹下面我所说的文件夹内容，不能删除整个文件夹，而是删除里面的文件。1、temp临时主要存放我们临时登录、临时浏览、临时存放文件的一个文件夹，
转载
2024-04-15 18:42:17
226阅读
# 深入理解Java Heap Dump文件及其大小问题
在Java应用程序的开发与调试过程中，Heap Dump是一种非常重要的诊断工具。它能帮助开发者了解应用程序在运行时的内存使用情况，然而，许多开发者会发现生成的Heap Dump文件异常庞大，这使得分析变得困难。本文将阐述Heap Dump的概念、生成方法、常见原因导致文件过大的因素，并提供解决方案，以及如何使用相关工具进行分析。
##
原创
2024-09-11 06:08:59
200阅读
新搭建数据库，应用连接上去后,抛如下异常：
120528 10:07:32 [ERROR] /usr/local/mysql/bin/mysqld: Can't open file: './ag4_1/raa4_1.frm' (errno: 24)刚开始没有仔细查看错误码！还以为是文件损坏，重新导入！仍旧抛上面的错误！用perror工具查看具体错误！
linu
## Docker Build 文件很大的原因及解决方案
在使用 Docker 进行应用程序的构建和部署过程中，有时候我们会遇到一个普遍的问题，那就是构建过程中的 Docker Build 文件非常庞大。这种情况下，构建过程会变得非常耗时和耗资源，对于软件开发和持续集成/持续部署流程来说是一个挑战。本文将探讨 Docker Build 文件变大的原因以及一些解决方案。
### Docker B
原创
2023-10-08 12:09:02
610阅读
1、 LVM介绍LVM 是 Logical Volume Manager 的简称，中文就是逻辑卷管理。物理卷（PV，Physical Volume）：就是真正的物理硬盘或分区。卷组（VG，Volume Group）：将多个物理卷合起来就组成了卷组，组成同一个卷组的物理卷 可以是同一个硬盘的不同分区，也可以是不同硬盘上的不同分区。我们可以把卷组想象为一 个逻辑硬盘逻辑卷（LV，Logical Vol
转载
2024-05-17 16:12:38
63阅读
# 如何处理 MySQL Undo 文件过大的问题
## 引言
在使用 MySQL 数据库时，遇到 Undo 文件过大的情况是一个常见问题。大文件不仅占用磁盘空间，还可能影响数据库的性能。在这篇文章中，我们将深入探讨如何处理 MySQL Undo 文件过大的问题，了解背后的原因，并逐步实现解决方案。
## 流程概览
处理 MySQL Undo 文件大小过大的问题，可以按照以下步骤进行：
原创
2024-07-31 04:00:30
282阅读
1、简介logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把这个过程叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行，比如系统每天的定时任务会执行一次logrotate操作来完成系统日志的转储。logrotate 的默认配置文件是 /etc/logrotate.conf，一般自定义一个新的配置文件
转载
2024-09-17 20:05:57
77阅读
最近统一处理了一大堆db备份失败的案例，针对mysqldump的失败的现象和处理措施总结如下mysqldump: Error 2020: Got packet bigger than 'max_allowed_packet' bytes when dumping table `blt_bulletinannex` at row: 626 报错条件：一般是存在blob，text等字段，单条记录超过默
转载
2023-07-16 19:45:32
51阅读
背景前几天碰到一个问题，现场并发很高，数据量很大(6T),主备库经常出现临时文件过多。临时文件概念：当私有进程buffer不够用时，会将buffer内容dump到tempfile供数据库正常sql使用。常见的几个功能场景：ExecSorts、ExecHashJoin、ExecMergejoin、tempTable、CTE等，当work_mem或者是temp_buffers不足以容纳sql中间功能环
转载
2024-08-06 20:46:47
92阅读
错误日志 错误日志不用多说，记录了mysql运行过程中的错误信息，当出现问题时，我们可以通过错误日志查找线索。慢查询日志 可以通过参数long_query_time来设置时间，当sql语句执行超过指定的时间，
转载
2024-09-28 14:05:14
34阅读
# mysqldump分割文件的科普与实践
在数据库管理中，数据备份是一项至关重要的工作。`mysqldump`是MySQL提供的一种备份工具，可以将数据库转储为SQL文件。然而，当数据库非常大时，直接导出为一个单一文件可能会导致文件过于庞大，不便于存储和管理。为此，我们可以使用`mysqldump`的分割文件功能，将大型备份文件划分成多个小文件。本文将详细介绍`mysqldump`分割文件的原
# Docker镜像文件很大是如何造成的？
在使用Docker构建容器镜像时，我们可能会遇到一个普遍的问题，那就是镜像文件很大。镜像文件过大会导致镜像拉取、推送和运行时的耗时增加，占用更多的存储空间，甚至影响整个应用程序的性能。那么，究竟是什么原因造成Docker镜像文件很大呢？
## 1. 应用层面的原因
首先，一个常见的原因是在构建镜像时将不必要的依赖或文件打包进去。比如，在编译应用程序
原创
2024-06-25 03:27:20
448阅读
1.文件打包与压缩1.什么是文件压缩?将多个文件或目录合并成为一个特殊的文件。比如: 搬家…脑补画面 img.2.为什么要对文件进行压缩？当我们在传输大量的文件时，通常都会选择将该文件进行压缩，然后在进行传输。 首先：压缩后的文件会比压缩前的文件小。一个28G的文件夹压缩后能达到6G 其次：多个文件传输很慢，但单个文件传输会很快，同时还能节省网络的消耗。 （比如: 搬家时，单行李往外拿和打包后往外
转载
2024-10-24 19:24:06
21阅读
# 如何处理 MySQL 的 err 文件过大问题
在数据库管理中，MySQL 的错误日志文件（通常称作 err 文件）可能会因为记录了大量的错误信息而变得非常大。处理这个问题不仅可以节省存储空间，还可以提高数据库的运行效率。本文将详细指导你如何检测、分析并解决 MySQL err 文件过大的问题。
## 整体流程
以下是处理 MySQL err 文件过大的整体流程：
| 步骤 | 描述
原创
2024-10-21 03:34:57
594阅读
一、前言 最近在做离线数据导入HBase项目，涉及将存储在Mysql中的历史数据通过bulkload的方式导入HBase。由于源数据已经不在DB中，而是以文件形式存储在机器磁盘，此文件是mysqldump导出的格式。如何将mysqldump格式的文件转换成实际的数据文件提供给bulkload作转换，是需要考虑的一个问题。 二、思路我们知道mysqldump导出的文件主要是Insert，数
转载
2023-10-27 08:11:18
49阅读
文本格式的备份+二进制备份文本格式：mysqldump二进制格式：mysqlhotcopy、cp、rsync mysqldump导出的文件只能用mysql命令来导入。如果使用了--tab选项，则会生成两个文件，创建语句被放置到一个文件，数据被放置到另一个文件，mysqldump有以下三种运行方式： mysqldump [OPTIONS] database
转载
2023-11-28 16:48:23
117阅读
## 如何使用Spark读取大文件
### 1. 简介
Apache Spark 是一个开源的分布式计算系统，提供了强大的数据处理和分析功能。它的数据处理速度很快，特别适合处理大规模数据集。在处理大文件时，Spark 提供了多种方式来读取和处理数据，本文将介绍如何使用 Spark 读取大文件的方法和步骤。
### 2. 读取大文件的流程
下面是使用 Spark 读取大文件的整个流程，可以用表格
原创
2023-11-26 09:47:00
105阅读
