1、下载zip安装包：MySQL8.0 For Windows zip包下载地址：，进入页面后可以不用登录。后点击底部“No thanks, just start my download.”即可开始下载。2、安装2.1 解压zip包到安装目录我的解压在了 E:\SQL\MySQL\mysql-8.0.16-winx64ps：解压后的文件目录，缺失data文件夹和my.ini配置
转载
2023-08-02 22:27:20
16阅读
压缩协议属于mysql通讯协议的一部分，要启用压缩协议传输功能，前提条件客户端和服务端都必须要支持zlib算法，那么，现在有个问题，假如服务端已经默认开启压缩功能，那原生客户端在连接的时候要如何才可启用该功能呢？答案很简单只需要加上-C（注意是大写C)或者--compress=true选项即可，事情看似简单，但是背后的设计却值得大家深入挖掘，启动后到底发生
转载
2024-01-30 00:11:10
80阅读
摘要：二进制日志通常会占用大量的磁盘空间，从MySQL 8.0.20开始，可以对MySQL正在使用的二进制日志进行压缩。这篇文章将探讨这个新功能。 原文网址：https://mysql.wisborg.dk/2020/05/07/mysql-compressed-binary-logs/ 作者：Jesper Wisborg Krogh ，著有4本MySQL专著，参与sys schema的开发和4个
转载
2024-07-08 11:55:07
98阅读
# MySQL Binlog 外部日志查看实现教程
## 概述
在MySQL数据库中，binlog是一种二进制日志文件，记录了数据库的所有操作，包括数据的增删改。通过查看binlog文件，我们可以了解数据库的变更历史，进行数据恢复、备份等操作。
本教程将教会刚入行的小白如何实现"mysql binlog 外部日志查看"，并通过以下步骤详细指导每一步需要做什么。
## 步骤
| 步骤 |
原创
2024-01-03 08:44:20
203阅读
windows安装mysql5.7有两种方式1.下载.msi安装文件直接根据界面提示进行安装2.下载.biz或.zip压缩包注：本次在win10系统下使用压缩包进行安装mysql5.7 mysql5.7下载路径https://dev.mysql.com/downloads/mysql/5.7.html#downloads 下载后的zip安装包解压至某一位置，记住文件路径，以便配
转载
2024-07-22 15:16:03
60阅读
# 如何实现"Docker binlog 压缩"
## 概述
作为一名经验丰富的开发者，你需要教会一位刚入行的小白如何实现"Docker binlog 压缩"。这个过程需要经过一系列步骤，下面将详细介绍每个步骤需要做什么以及使用的代码。
## 流程
首先，让我们通过下面的表格展示整个过程的步骤：
```mermaid
journey
title Docker binlog 压缩流
原创
2024-02-24 08:08:16
42阅读
二进制日志（binlog）是 MySQL 日志结构中重要的部分；记录了数据的更改操作，用于数据恢复、数据复制以及审计。然而在众多实际场景中经常发生高并发引起 binlog 暴涨的问题将挂载点空间占满以及主从网络带宽成为瓶颈时主从延时过大。8.0.20 版本推出 binlog 压缩功能，有效缓解甚至解决此类问题。一、特性描述MySQL 从 8.0.20 开始集成 ZSTD 算法，开启压缩功能后；以事
原创
2021-01-24 19:30:24
295阅读
作者：王福祥爱可生 DBA 团队成员，负责客户的数据库故障处理以及调优。擅长故
原创
2022-12-20 14:49:17
203阅读
作者：王向爱可生 DBA 团队成员，负责公司 DMP 产品的运维和客户 MySQL 问题的处理。擅长数据库故障处理。对数据库技术和 python 有着浓厚的兴趣。前言现在使用 MySQL 时 binlog 格式都是基于 ROW ，binlog 文件大小一直是一个比较大的问题。在传输到从库时会耗费一定量的网络资源，假如有大事务把一个 binlog 搞到10个G复制到从库，几乎让主库网络累的嗷嗷叫。下
原创
2022-12-20 15:10:34
213阅读
## Hive外部表压缩
在Hadoop生态系统中，Hive是一种开源的数据仓库工具，它提供了一种类似于SQL的查询语言，用于在大规模数据集上进行数据分析。Hive支持管理和查询大型数据集，可以将数据存储在HDFS（Hadoop分布式文件系统）中。
在Hive中，表是数据的逻辑分组，它由一系列列和行组成。Hive提供了两种类型的表：管理表和外部表。管理表是由Hive管理其数据和元数据的表，而外
原创
2023-12-26 05:09:26
62阅读
# Hive压缩外部表
Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于对大数据集进行分析。
Hive支持外部表，这些表指向存在于Hadoop文件系统（HDFS）或其他支持Hadoop的文件系统中的数据。在实际应用中，我们通常需要对这些表进行压缩，以减小存储空间并提高查询性能。本文将介绍如何在Hive中创建和压缩外部表，并提供相应示例代码
原创
2023-12-26 05:08:17
87阅读
有没有掌握hive调优，是判断一个数据工程师是否合格的重要指标1.数据的压缩与存储格式MR支持的压缩编码性能比较 ①bzip2的压缩率高，但是压缩/解压速度慢 ②LZO的压缩率相对低一些，但是压缩/解压速度很快 ③注:LZO是供Hadoop压缩数据用的通用压缩编解码器。其设计目标是达到与硬盘读取速度相当的压缩速度，因此速度是优先考虑的因素,而不是压缩率。与Gzip编解码器相比，它的压缩速度是Gzi
转载
2023-08-16 19:40:17
102阅读
MySQL的Redo log与binlogRedo logbinlog总结参考文献 Redo log 又称为重做日志。我们知道数据库中更新数据需要访问磁盘IO并精确找到所在的行进行操作，这一过程耗时较长，对于用户来说体验很差，MySQL采用Redo log的方式对此进行了优化，将更新操作先记录在Redo log中，然后等到合适的时机再将操作刷到磁盘中去。这种优化又称为WLA：Write-Ahe
转载
2023-07-04 18:19:10
111阅读
最近项目上装的mysql服务，分配的磁盘空间太小了，导致binlog两天时间就能打满，这里记录下处理方式mysql的binlog日志是一个很重要的日志，以事件形式记录了所有的DDL和DML(除了数据查询语句)语句，还包含执行的消耗的时间，在数据丢失的紧急情况下，我们可以利用binlog日志功能进行数据恢复。1、问题上面说了，默认情况下binlog日志默认在/var/spool/mail/root路
转载
2023-08-18 13:45:22
173阅读
前言只要是接触过MySQL的程序员，那么或多或少都有听过redo log（重做日志）和binlog（归档日志）。今天就来分享一下这两个日志的用处和区别。简单来说，redo log是InnoDB特有的日志，如果使用的是其他存储引擎，就没有redo log，只有binlog。binlog是MySQL的Server层的日志，不管使用什么存储引擎，都会有binlog的存在。那么，为什么要有redo log
转载
2023-10-14 14:07:13
97阅读
binlog 是 mysql 对操作日志的记录，本身为二进制文件，需要使用 mysqlbinlog 工具命令查看具体内容。包括三种模式：STATEMENT 记录每一条修改语句，无需记录每一条SQL 语句和每一行的数据变化，减少了日志量；但某些场景下会导致 master-slave 中的数据不一致，如 sleep 函数，last_insert_id(),user define function等。R
转载
2024-07-04 18:13:00
47阅读
MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)MySQL slave 重放 relay log 中事件，
转载
2023-07-06 14:18:35
126阅读
需求：某业务 MySQL 迁移，但是迁移前需要做如下准备工作。统计各个业务表的 DML 操作情况。统计各个业务表的最后访问时间。条件：60 min 一个 1GB 的 Binlog。Binlog 保留一个月。如果你遇到这么个需求，你该如何着手分析呢？反正我面对这个需求的时候第一个想到的就是写脚本，让脚本自动分析。今天我们就来讲讲如何用 analysis_binlog 来快速进行 MySQL 的 Bi
转载
2023-08-23 15:02:19
88阅读
mysql的binlog日志是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录(对数据库的改动)，对数据库的查询select或show等不会被binlog日志记录。主要用于数据库的主从复制以及增量恢复。mysqlbinlog是mysql自带的binlog解析工具，可以将mysql的binlog日志转换成Mysql语句，默认情况下binlog日志是二进制文件，无法直接查看。mys
转载
2023-08-18 13:57:16
115阅读
redo log简介**redo log（重做日志）**是InnoDB存储引擎独有的，它让MySQL拥有了崩溃恢复能力。 比如 MySQL 实例挂了或宕机了，重启时，InnoDB存储引擎会使用redo log恢复数据，保证数据的持久性与完整性。注意：redo log是为了恢复buffer pool的数据，防止未刷盘的脏页数据的丢失。写入时机mysql更新表数据的时候，也是如此，发现 Buffer
转载
2023-09-10 22:05:35
91阅读
