一、MySQL的逻辑架构MySQL的最大特点是其插件式的存储引擎架构将查询处理和其他的系统任务以及数据的存储，提取相分离。这种架构可以根据业务的需求和实际需求选择合适的存储引擎。正因为插件式引擎的特点它的架构可以在多种不同的场景中应用并发挥良好的性能。1. 连接层：为请求做连接处理，授权认证，安全等。处理流程： 每个连接的查询都在一个进程中的线程完成。服务器负责缓存线程，所以服务层不需要为每个连接
转载
2024-01-19 23:35:40
62阅读
一、什么是逻辑备份逻辑备份是将数据的每次变化记录在了备份文件中，查看备份文件可以看出备份的过程其实是把SQL语句给导出来了，然后再导入备份文件到数据库中进行还原。逻辑备份的优点是可跨平台迁移，但是效率较低，通常适合对一些数据量不大的业务进行备份，当数据量达到上百G就不再推荐使用逻辑备份。MySQL官方提供了2个逻辑备份工具，分别是mysqldump和mysqlpump，两者命令格式基本一致，区别在
转载
2023-09-18 16:56:51
90阅读
通过LVM快照可以快速的备份数据，相比传统的复制粘贴数据到其他分区来讲，快照的优势除了速度快之外还可以不受磁盘数据动态变化的影响，它直接保存一个分区当时状态的元数据。但是有一个要求就是MySQL数据所在分区需要是逻辑卷分区，否则需要先将数据迁移到逻辑卷分区上再进行备份操作，下面是一个完整的迁移数据与备份流程：一、准备好磁盘并创建LVM快照：vgcreate mysql_vg /dev/sdb
lv
转载
2023-08-14 13:22:22
72阅读
数据库复制 replication 的实现原理
1:主服务器凡运行语句,都产生一个二进制日志 binlog2:从服务器不断读取主服务器的binlog3:从主服务读取到的binlog,转换为自身可执行的relaylog,4:执行relaylog 具体实施本人虚拟机下有两台linux,IP为199 2001: 200做从服务器2: 199mysql,做为主服务器.3: 保证主从3
转载
2024-07-21 22:05:15
103阅读
（一）备份类型（backup type）物理和逻辑备份（Physical Versus Logical Backup） 物理备份是指直接复制存储数据库内容的目录和文件，这种类型的备份适用于出现问题时需要快速恢复的大型重要数据库。 逻辑备份保存以逻辑数据库结构(create data
转载
2023-12-09 19:45:46
64阅读
文章目录Jenkins CI/CDNoSQL 非关系型数据库MongoDB开源数据库系统解释型语言 与 编译型语言 的区别 Jenkins CI/CDJenkins = git 、 jdk、tomcat、maven打包、测试 是一个开源的、提供友好操作界面的持续集成(CI)工具，主要负责将代码 编译 打包 上传 部署到Tomcat； 通过给定的代码地址URL（代码仓库地址）、将代码拉取到“宿主服
转载
2024-06-05 09:03:16
26阅读
一、同步阻塞每一个Java对象有一个锁。线程可以通过调用同步方法获得锁。还有另一个机制可以获得锁，通过进入同步阻塞。当线程进入如下形式的阻塞，将获得obj的锁。synchronized (obj) {
critical section
}有时会发现“特殊的”锁，如：private Object lock = new Object();
public void transfer(){
syn
转载
2024-10-28 14:05:53
20阅读
作者：光富
团队：零售技术
一、需求背景自有赞零售正式发布以来，已迭代百余个版本，业务的发展免不了带来工程代码的飞速增加，时至今日，有赞零售工程的业务代码数量已达24w行，所使用的的二方/三方 Pod 库的数量达到了100+，业务模块包括商品,交易，库存，会员等模块一共有15+;工程的急速膨胀给我们的日常开发中带来了诸多痛点:工程编译速度降低，clean-bu
Percona XtraBackup是世界上唯一一款开源的免费MySQL热备份软件，可以为InnoDB和XtraDB数据库执行非阻塞备份。 使用Percona XtraBackup，可以获得以下好处：快速可靠地完成备份备份期间不间断的事务处理节省磁盘空间和网络带宽自动备份验证由于恢复时间更快，正常运行时间更长 Percona XtraBackup对所有版本的Percona Server for M
转载
2023-12-14 15:17:56
84阅读
MySQL数据备份——全量，增量备份与恢复（实战）一.全量备份与恢复1.进入数据库，创建表，插入表数据2.对数据库进行物理的完全备份3.对单个数据库进行逻辑上的备份4.对多个数据库进行备份5.对数据库进行完全备份6.对数据库的表进行备份7.对数据库中的表的结构进行备份8.基于脚本恢复数据库9.基于外部MySQL命令恢复数据库二.增量备份及恢复1.开启二进制日志文件2.进行完全备份3.进入数据库，
转载
2023-09-02 14:30:58
40阅读
简介： MaxCompute（ODPS2.0） - 试用新的集合操作命令 EXCEPT & 增量识别ODPS 2.0 支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。增加的SQL语法包括：UNOIN ALL、UNION DISTINCT并集，INTERSECT ALL、INTERSECTDISTINCT交集，EXCEPT ALL、EXCEPT
转载
2020-08-13 17:46:05
303阅读
简介：MaxCompute（ODPS2.0）-试用新的集合操作命令EXCEPT&增量识别ODPS2.0支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。增加的SQL语法包括：UNOINALL、UNIONDISTINCT并集，INTERSECTALL、INTERSECTDISTINCT交集，EXCEPTALL、EXCEPTDISTINCT补集。语法
转载
2020-08-13 20:33:51
457阅读
之前我们提到过xtrbackup备份mysql的几种方式：完整备份、增量备份、部分备份等，但是在实际生产环境中用到最多的还是增量备份，下面我们就来写一个脚本。[html] view plain copy1. #!/bin/bash
2. #
3. #
4. #note:周日作完整备份,其它时间增量备份;每次增量备份后,都将incr_based
转载
2023-10-27 11:52:30
57阅读
一. 简介1. 增量备份增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件。这就意味着,第一次增量
备份的对象是进行全备后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件，如此类推。
这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短。但增量备份的数据恢复是比较麻
转载
2024-03-02 10:41:52
271阅读
1 增加数据 1 import java.sql.*;
2 public class JDBC {
3 public static void main(String[] args) {
4 //private static final String URL="jdbc:mysql://localhost:3306/数据库名";//jdbc:mysql//
转载
2023-08-04 12:29:23
40阅读
在现代的软件开发与数据库管理中，数据的安全性和可恢复性至关重要。尤其是在使用MySQL等关系型数据库时，备份的方式多种多样，其中增量备份（Incremental Backup）因其节省存储资源和提高效率而备受欢迎。本文将详细记录“ MySQL增量备份 增量恢复”中的问题背景、错误现象、根因分析、解决方案、验证测试和预防优化的过程。
## 问题背景
对于一名业务系统的数据库管理员（DBA）来说，
现状 项目已部署在生产环境的WebSphere服务器集群下，但公司并没有在生产环境下集成项目自动构建工具Jenkins。 但是，由于项目稳定性的需要，又不能进行全量部署或增量部署。注：如果随意进行全量部署，可能会将线上已经稳定的代码替换掉，变成测试环境中未经严格检验的代码。傻瓜式部署所以，当有业务逻辑发生变更时，为了谨慎起见，只能替换发生变动的字节码文件或jsp文件。 其中，假设我们需要替换的文件
转载
2024-05-16 11:54:41
96阅读
最近有一个将 mysql 数据导入到 MongoDB 中的需求，打算使用 Kettle 工具实现。本文章记录了数据导入从0到1的过程，最终实现了每秒钟快速导入约 1200 条数据。一起来看吧~
一、Kettle 连接图
简单说下该转换流程，增量导入数据：
1）根据 source 和 db 字段来获取 MongoDB 集合内 business_time 最大值。
2）设置 mysql 语句
转载
2023-06-24 23:42:36
350阅读
适合对象 本文是在linux下,mysql 4.1.14版本下测试的,经过适当修改可能适合mysql 4.0,5.0及其其他版本. 本文适合于没有启动复制功能的mysql,如果启动了复制,可能不需要采取这种备份策略或者需要修改相关参数. 每个人的备份策略都可能不同,所以请根据实际情况修改,做到举一反三,不要照搬照抄,可能会造成不必要的损失. 希望你明白这个脚本要干什么工作! 脚
转载
2023-10-24 14:38:07
68阅读
增量备份增量备份的特点：优点：没有重复数据，备份量不大，时间短。 缺点：需要上次完全备份及完全备份之后所有的增量备份才能恢复， MySQL没有提供直接的增量备份方法，但是可以通过mysql的二进制文件（binarylogs）间接实现增量备份。二进制日志对备份的意义如下： （1）二进制日志文件保存了所有更新或者可能更新数据库的操作。 （2）二进制日志在启动MySQL服务器后开始记录，并在文件达到ma
转载
2023-11-19 17:21:13
250阅读
