027ryan的博客_MySQL数据库

Percona XtraBackup热备份实践

实验环境及操作步骤:一、操作系统[root@DB-SERVER ~]# cat /etc/redhat-release CentOS release 6.8 (Final) [root@DB-SERVER ~]# uname -a Linux DB-SERVER 2.6.32-

系统

操作

原创推荐 2016-09-17 19:48:53 2052 阅读 1点赞 6收藏

MySQL备份之分库分表备份脚本

1、分库备份:#!/bin/shMYUSER=rootMYPASS=123456SOCKET=/usr/local/mysql/data/mysql.sockMYLOGIN="mysql -u$MYUSER -p$MYPASS -S $SOCKET"MYDUMP="mysqldump -u$MYUSER -p$MYPASS -S$SOCKET -B"DATABASE="$($MYLOGIN -e

MySQL

备份脚本

原创 2016-07-28 11:36:45 889 阅读 1收藏

centos6.7 64位环境下部署MySQL-5.7.13

系统环境:[root@localhost ~]# cat /etc/redhat-release CentOS release 6.7 (Final)[root@localhost tools]# uname -aLinux localhost 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23 03:35:39 UTC 2016 x86_64 x8

mysql

原创 2016-07-25 11:43:54 949 阅读

线上MySQL备份脚本

最近在研究数据库备份，定时执行备份任务，这里直接把备份脚本设置为crontab命令定时执行，脚本内容如下:[root@mysql-db ~]# cat mysql-backup.sh#!/bin/bashdbpwd='possw0rd123'dbuser=roothost=127.0.0.1port=3306dbarg=" -u$dbuser -p$dbpwd -h$host -P$po

备份

mysql

数据库

原创 2016-06-28 20:49:55 712 阅读

mysql命令行下执行shell命令方法

[root@application-server ~]# mysql -uroot -p -P3300 Enter password: Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 1Server version: 5.5.45-l

Copyright

registered

trademarks

原创 2016-06-24 10:15:18 4542 阅读

MySQL · 引擎特性 · InnoDB 文件系统之文件物理结构

综述从上层的角度来看，InnoDB层的文件，除了redo日志外，基本上具有相当统一的结构，都是固定block大小，普遍使用的btree结构来管理数据。只是针对不同的block的应用场景会分配不同的页类型。通常默认情况下，每个block的大小为 UNIV_PAGE_SIZE，在不做任何配置时值为16kb，你还可以选择在安装实例时指定一个块的block大小。对于压缩表，可以在建表时指定block si

空间

用户

记录

转载精选 2016-04-08 10:08:35 1098 阅读

MySQL · 物理备份 · Percona XtraBackup 备份原理

前言Percona XtraBackup（简称PXB）是 Percona 公司开发的一个用于 MySQL 数据库物理热备的备份工具，支持 MySQl（Oracle）、Percona Server 和 MariaDB，并且全部开源，真可谓是业界良心。我们 RDS MySQL 的物理备份就是基于这个工具做的。项目的 blueprint 和 bug 讨论放在 Launchpad，代码之前也放在

Oracle

server

数据库

工作原理

执行文件

转载精选 2016-04-08 09:14:08 879 阅读

企业场景一主多从宕机从库宕机解决

解决思路:1、登录从库mysql -uroot -p123456 -S /application/mysql-5.6.20/mysql.sock2、停止slave 服务mysql>stop slave;3、在其他从库或者主库上完全备份同步的数据,并确定同步文件和同步位置mysqldump -uroot -p123456 -S /application/mysql-5.

mysql

events

master

原创 2016-03-03 11:54:15 1657 阅读

MySQL主从复制之主库宕机处理

主库宕机 Master DOWN机-企业场景一主多从宕机从库切换主继续和从同步过程详解登陆从库，show processlist;查看两个线程的更新状态；查看所有从库中，查看/application/mysql-5.6.20/data/mysql.info确保更新完毕，看看两个从库中哪个库最快，经过测试没有延迟的情况POS差距很小，甚至一致的然后选取其中POS最大的作为主库1、确保所有

MySQL

主从复制

原创 2016-03-03 11:41:26 7015 阅读

MySQL主从同步实验

MySQL的主从复制方案，是数据的传输。只不过MySQL无需借助第三方工具，而是其自身同步复制的功能，另外一点，MySQL的主从复制并不是磁盘上直接同步，而是逻辑binlog日志同步到本地再应用执行的过程。一、MySQL主从同步的简要操作过程:1)从库开启两个线程，分别是IO线程和SQL线程，而主库只开启有一个IO线程2）在从库上配置连接主库的IP地址、端口号、用同步的用

用户名

服务器

IP地址

change

master

原创 2016-03-02 22:26:25 1692 阅读 1点赞

MySQL分库分表分库后的查询(8th)

前言这边我们以使用python程序要展示一下再分库分表后，我们需要如何对数据库进行操作。python操作数据库我们这边还是沿用之前的那5中:场景1：购买者下订单#!/usr/bin/env python # -*- coding:utf-8 -*- # Program: 客户下订单 # Author :&

程序

数据库

password

python

import

转载精选 2016-02-29 15:29:01 2205 阅读

MySQL分库分表python实现分库(7th)

理清思路现在我们分为两大个步骤：1、创建分库，并在分库中创建分表。2、能指定用户的数据到特定的库和表。现在我们有两个数据库了：1、test库：里面存放了公共访问的数据表，因此在python我们需要有一个公共数据源。2、test_1分库：里面存放的是需要分表的表和数据，因此我们需要一个用户原数据所在的数据源。3、test_n分库：此库是用户的数据需要迁移到其他库的库，因此我们需要一个数据

数据库

database

数据表

password

python

转载精选 2016-02-29 15:24:36 3454 阅读

MySQL分库分表分表后数据的查询(5th)

前言在分表完之后显然对于数据的查询会变的比较的复杂，特别是在表的关联方面，在有些情况下根本就不能使用JOIN。其实个人是比较鼓励将那些大的JOIN SQL拆分成几个小的SQL来查询数据。这样虽然总体的效率可能会稍稍下降（如果使用了连接池完全可以忽略），但是查询的语句变简单了，使得后续的维护带来的方便。同时也能带来比较便利的扩展。你可以感受一下有一个100行的SQL语句给你维护，和给你10个10行并

程序

数据库

如何

而且

门店

转载精选 2016-02-29 15:17:48 10000+阅读

MySQL分库分表单库分表和迁移数据(4th)

前奏因为在分表的时候我们需要知道我们分的是第几个表，所以我们先需要初始化我们的分表号我们的目标1、我们的目标是实现能手动指定创建多少张表，并且能手动指定哪些用户到哪些表中。2、最终能通过一定的算法，自动化这些分表迁移数据的工作。在这里我们来实现 '1' 手动指定, 以下可能比较枯燥都是代码了, 一般只要看主逻辑有一个思路，代码自己玩转它 ^_^程序流程图代码主逻辑展示在附件中有完整的代码上面我们指

流程图

程序

用户

python

转载精选 2016-02-29 15:13:24 3235 阅读

MySQL分库分表使用Snowflake全局ID生成器(3rd)

前言由于考虑到以后要动态切分数据，防止将不同表切分数据到同一个表中时出现主键相等的冲突情况，这里我们使用一个全局ID生存器。重要的是他是自增的。这边我使用Snowflake的python实现版（pysnowflake）。当然你也可以使用java实现版.具体详细信息：http://pysnowflake.readthedocs.org/en/latest/Snowflake的使用安装 request

IP地址

address

数据中心

localhost

详细信息

转载精选 2016-02-29 15:05:48 3355 阅读

MySQL分库分表创建新表结构(2nd)

前言在互联网时代大家都知道数据量是爆炸试的增加，从之前的表结构设计来看，我们很容易的知道商品表(goods)、订单表(orders)、订单商品表(order_goods)这几张表的数据量将会爆炸试的增加。因此，在数据量达到一定程度就算是建了索引，查询使用了索引，查询、修改速度也是会降下来的。为了额能较好的克服这样的问题，我们不得不重新整理并对大数据的表进行表切分。分表介绍当下有静态分表和动态分表两

互联网

数据库

动态

成本

后遗症

转载精选 2016-02-29 14:56:04 2144 阅读

MySQL分库分表基础表介绍(1st)

表基本模型结构这里我们模拟一个商城的基本的表结。此结构由（用户、门店、导购、门店商品、订单、订单对应的商品）。其中，导购也是一个用户，门店是只属于一个店主的，同时店主本身也是一个导购也是一个普通用户。结构图：对业务场景进行模拟场景1：购买者下订单。1、从session中获得客户ID。2、可以通过时间戳等拼凑一个订单ID（在创建表的时候为了方便我用自增的，在以下我们一直就吧订单ID看成不是自增的，是

分库分表

转载精选 2016-02-29 14:50:28 6318 阅读

MYSQL备份与恢复精华篇

数据备份原理图数据备份属于数据容灾保护中的内容，所有的数据备份系统设计都基于这五个元素，备份源、备份目标、传输网络、备份引擎和备份策略。用户按照需要制定备份策略，使用定时任务执行备份脚本，使用备份引擎将需要备份的的数据从备份源通过传输网络传送到备份目标。备份五元组：1、备份源需要备份的数据统一称为备份源，可以是文本数据，音视频数据

以太网

Internet

数据中心

在线的

数据库数据

原创 2016-01-15 09:25:05 905 阅读

MySQL5.7多实例自动化部署脚本

一、安装说明 mysql5.7.10_onekey_install.sh自动化部署脚本支持mysql5.7.10初始化安装，多实例创建，且使用经过优化后的my.cnf配置文件和mysql.server启动脚本，该SHELL脚本在CentOS6.5_x86_64操作系统测试通过。部署示意图如下： 1、安装方式需要准备的文件如下，放到同一个目录下，然后执行shell脚本

服务器

操作系统

配置文件

软件版本

示意图

原创 2016-01-15 09:01:36 851 阅读 1收藏

MySQL数据库优化之一配置文件

服务器物理硬件的优化在挑选硬件服务器时，我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化，也就是说将项目中的资金着重投入到如下几处： 1、磁盘寻道能力（磁盘I/O），我们现在用的都是SAS15000转的硬盘，用6快这样的硬盘作RAID1+0。MySQL每一秒钟都在进行大量、复杂的查询操作，对磁盘的读写量可想而知，所以，通常认为磁盘I/O是约制MySQL性能的最大因素之一。对于日均访问

服务器

数据库

配置文件

转载精选 2016-01-12 11:27:52 849 阅读

二进制方式安装MySQL数据库

对于一般用户而言喜欢编译安装或者yum安装，在本人工作中，一般都是用二进制快速安装，这里讲安装步骤记录如下:1.下载二进制文件到目录/home/www/tools下[root@Fabric-64 tools]# ll total 102 -rw-r--r-- 1 root root &nbs

数据库

二进制

用户

记录

原创 2015-12-04 14:00:23 561 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

平平淡淡才是真

Percona XtraBackup热备份实践

MySQL备份之分库分表备份脚本

centos6.7 64位环境下部署MySQL-5.7.13

线上MySQL备份脚本

mysql命令行下执行shell命令方法

MySQL · 引擎特性 · InnoDB 文件系统之文件物理结构

MySQL · 物理备份 · Percona XtraBackup 备份原理

企业场景一主多从宕机从库宕机解决

MySQL主从复制之主库宕机处理

MySQL主从同步实验

MySQL分库分表分库后的查询(8th)

MySQL分库分表python实现分库(7th)

MySQL分库分表分表后数据的查询(5th)

MySQL分库分表单库分表和迁移数据(4th)

MySQL分库分表使用Snowflake全局ID生成器(3rd)

MySQL分库分表创建新表结构(2nd)

MySQL分库分表基础表介绍(1st)

MYSQL备份与恢复精华篇

MySQL5.7多实例自动化部署脚本

MySQL数据库优化之一配置文件

二进制方式安装MySQL数据库

欢迎