DBAspace的博客_MySQL,MongoDB,MyCat原创(2)

事务和锁

Atomic，同一个事务里，要么都提交，要么都回滚 Consistency，即在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏 Isolation，并发事务间的数据是彼此隔离的，通过锁的方式来实现。 Durabiliy，事务提交后，所有结果务必被持久化REDO UNDOINNODB记录逻辑的操作。INNODB原理：

其他

事务

置顶原创 2017-02-13 14:46:30 793 阅读 2点赞

MONGODB的压力测试

根据业务的需求，对线上的服务器的压力测试，了解运行过程中的一个峰值。主要通过mongo-mload 工具使用对MONGODB的压力测试。http://down.51cto.com/data/2287216###工具包下载测试过程： 1、清理数据库： go run mload.go --host 127.0.0.1 --clean true 2、插入数据 go run mload.go --host

其他

mongodb

置顶原创 2017-02-10 16:42:23 3162 阅读 2点赞

RAID磁盘阵列的原理与搭建

RAID（Redundant Array of Independent Disks，独立磁盘冗余阵列）可以提供较普通磁盘更高的速度、安全性，所以服务器在安装时都会选择创建RAID。 RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）

RAID

其他

置顶原创精选 2017-02-10 11:38:15 2663 阅读 2点赞

MySQL水平分割案例

水平分割：根据一列或者多列的值把数据行放到多个独立的表里，水平分表方式可以通过多个低配置主机整合起来，实现高性能。根据公司的业务，两套重复的架构，部署在不同的IDC上，需要对数据进行合并操作，数据库采用水平方式实现业务数据的存储，如架构图：说明：路由表A作用：md5key作为分表策略的依据，对md5key值进行取模运算，需要把数据写入具体表位置。一般对于业务需求，可以对此字段进行做相应的处理，对数

MySQL

分表

置顶原创精选 2017-02-07 14:07:23 1302 阅读 2点赞

BLACKHOLE的BINLOG实现

BlackHole ：黑洞引擎，写入的任何数据都会消失，用于记录binlog做复制的中继存储！是否支持BLACKHOLE引擎，通过查看SHOW ENGINES进行查看。BlackHole的用途:用于binlog的备份线上MySQL的binlog一般会保留3-5天，但是对比较重要的业务，binlog可能需要保留一个月甚至半年。线上服务器可没有这么大的空间，最多保留10天就会被purge掉。此时bla

BLACKHOLE

置顶原创 2017-02-06 10:35:15 1064 阅读 4点赞

mysql 数据一致性校验

工作上需要把一个从库提升为主库，但对从库和主库的数据一致性不能保证一样，所以就利用pt-table-checksum 工作来检查主从的一致性，操作前需要注意的事项： (1)在有些情况下，recursion-method如果不设会报错：Diffs cannot be detected because no slaves were found. 其参数有四：pro

MySQL

pt

置顶原创精选 2017-01-16 17:02:18 1825 阅读 6点赞 1评论

gh-ost

1. gh-ost工作模式gh-ost有三种工作模式：a:连接到从库，在主库做迁移。b:连接到主库，迁移过程所有操作都在主上操作，包括读取binlog等等。c:在从库做迁移测试。三种方法各有优缺点，先说a的缺点，a会在从上面读取binlog,但数据库主从数据为什么会造成不一致，一个很重要的原因是主库的binlog没有完全在从库执行。所以感觉a方法有丢失数据的风险。b方法任何操作都会再主库操作，或多

其他

gh

置顶原创 2017-01-12 11:08:38 1324 阅读 1点赞

Grafana基础配置文件

官方是怎么解释Grafana的： grafana是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。 grafana最常用于因特网基础设施和应用分析，但在其他领域也有机会用到，比如：工业传感器、家庭自动化、过程控制等

其他

grafana

置顶原创 2017-01-12 09:47:41 3611 阅读 2点赞

gearman实现redis缓存mysql

Gearman简介： Gearman是一个支持分布式的任务分发框架。设计简洁，获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分：1、Gearman Job Server：Gearman核心程序，以守护进程形式运行在后台2、Gearman Client：可以理解为任务的收件员，比如我要在后

其他

gearmand

置顶原创 2016-12-30 13:07:03 1288 阅读 3点赞

MySQL到CSV

把MySQL数据导出为CSV格式，实现快速的导入导出，分为本地和远程两种方式 MySQL自带的数据导出的命令（本地导出）导出：select * from tableA into outfile '/tmp/aa.csv' fields terminated

MySQL

csv

置顶原创 2016-12-27 12:03:53 679 阅读 6点赞 1评论

redis的基础配置

Redis的ms主从集群作用：1、主从备份防止宕机2、读写分离，分担master的任务3、任务分离Redis的MS同步原理：MS自动连接，S发起同步，M开始DUMP出RDB，S接收到M的RDB存放到自己的内存，在M做DUMP的过程，又有新的数据产生，M会把新的数据缓冲到AOF中，当M做DUMP结束后，也把AOF发给SLAVE，完成一次同步结束。Redis的持久化有2种方式：RDB、AOFRdb快照

RDB

AOF

置顶原创精选 2016-12-25 20:00:10 615 阅读 3点赞 2评论

Redis事务的应用

redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。由于redis是单线程来处理所有client的请求的所以做到这点是很容易的。一般情况下redis在接受到一个client发来的命令后会立即处理并返回处理结果，但是当一个client在一个连接中发出mult

redis

tr

wathc

置顶原创精选 2016-12-24 21:01:59 697 阅读 2点赞

Infobright列式存储数据库

Infobright 是一个非常强大的列式存储数据库，基于MySQL的高效数据仓库。之所以使用数据仓库，是因为目前MySQL数据库中的数据增长很快，定期会对一些历史记录表进行清除，但后期的统计分析还会用到这些历史数据，随着数据量的增大，查询也越来越慢，而数据库仓库特有的存储格式能够减小磁盘空间内的占用，同时列式的特点使得查询速度大为改观。选择Infobright是因为它锁支持的数据类型更

infobright

置顶原创精选 2016-12-23 23:02:01 1680 阅读 3点赞

类的基础操作

使用面向对象编程，使程序结构化，基础学习下，类的简单实例过程：#!/usr/bin/env python # _*_ coding:utf8 _*_ class Person: name="aaaa"#类变量 def __init__(self

class

置顶原创 2016-12-21 23:14:16 479 阅读 2点赞

了解高并发设计过程

1、HTML静态化　　其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简

高并发

置顶原创精选 2016-12-21 09:15:08 585 阅读 2点赞

mysqldump还原指定的库

从一个全备的数据恢复指定的数据，方法有很多，可以通过特殊方法从全备的数据文件取出数据数据库名和表名等等，还可以通过一个全备指定库名的方式恢复指定的数据，这个方法简单快速，这个方法会恢复不需要的库，但不会恢复数据.过程如下：1、查看数据库还没备份前的状况MariaDB [(none)]> show databases;+-------------

mysql

dump

备份还原

置顶原创 2016-12-20 17:43:30 1336 阅读 5点赞

MySQL5.7配置参数

MySQL5.7的参数调整配置，参考例子，某些具体参数的设置还需要根据实际来调整。[client] port = 3306socket &n

MySQL

5.7

置顶原创 2016-12-20 16:12:19 1097 阅读 2点赞

influxdb查询写入操作

influxdb的几种操作方法，有喜欢用http API的方式来写入数据，或者通过influxdb的终端来操作（我喜欢的类型），每种方式都适合的场景。介绍通过API接口和终端方式来操作：http://192.168.15.104:8086/write?db=mydb&cpu_load_short,host=server01,dc=mycat,region=us-west value=0.6

API

其他

置顶原创 2016-12-20 10:45:25 1700 阅读 3点赞

python监控主机磁盘

通过PYTHON实现主机磁盘的使用情况，使用influxdb+grafana来可是互展示#!/usr/bin/env python# _*_ coding:utf-8 _*_import osimport reimport jsonimport timefrom influxdb import InfluxDBClientdef getInfluxdb():

DISK

Python

置顶原创 2016-12-19 17:11:22 716 阅读 4点赞

MySQL版本升级

日常工作中，数据版本升级是常有的事，升级过程非常简单，但也容易忽视一些问题1、大版本号和小版本号，使用在什么位（32/64）的系统上2、或者5.1的默认使用区分大小写，若5.6使用不区分，这会导致APP找不到库的，所以需要注意3、就是5.1到5.6升级没问题，但到5.7，有时候会提示：ERROR 1031 (HY000) at line 833: Table storage engine for

MySQL

update

置顶原创 2016-12-19 14:49:48 1167 阅读 5点赞 6评论

mongodb复制集的实现

复制集（Replica Sets)，是一个基于主/从复制机制的复制功能，进行同一数据的异步同步，从而使多台机器拥有同一数据的都多个副本，由于有自动故障转移和恢复特性，当主库宕机时不需要用户干预的情况下自动切换到其他备份服务器上做主库，一个集群最多可以支持7个服务器，并且任意节点都可以是主节点。所有的写操作都被分发到主节点，而读操作可以在任何节点上进行，实现读写分离，提高

db

mongo

置顶原创精选 2016-12-17 12:46:34 1082 阅读 5点赞

MySQL的分表和分区介绍

在日常开发或维护中经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。一、什么是分表：

list

key

hash

range

置顶原创精选 2016-12-14 15:31:00 4968 阅读 9点赞 5评论

PYTHON 多线程信号量

实现同时运行多个线程工作，主要通过信号量的设置，但还是在一个CPU上执行,具体要实现的例子可以放在函数里执行，实现单核多并发,还等待什么...... #!/usr/bin/env python # -*- coding: utf-8 -*- import threading import time import ran

ON

PYTH

置顶原创 2016-12-13 23:44:46 1280 阅读 2点赞

MySQL分库分表备份

#!/usr/bin/env python # -*- coding: utf-8 -*- import MySQLdb import os import sys import time currentDate=time.strftime('%Y%m%d',time.localtime()) def

mysql

dump

置顶原创 2016-12-12 22:53:51 1174 阅读 2点赞 1评论

influxdb用户权限篇

设置TS的authorized,提高安全性，针对指定用户拥有权限才能访问数据库的数据，TS默认用户分为普通用户和管理员用户，权限分为read,write,all privileges三种权限添加用户可以通过终端或者WEB方式2种方式：开启一个用户权限的过程：1、在安装好数据库后，通过默认方式登陆数据库:[root@mycat ~]# influx 2、添加用户

grant

influxdb

置顶原创 2016-12-11 19:44:05 10000+阅读 2点赞 1评论

正则表达式语法

#!/usr/bin/env python # -*- coding: utf-8 -*- import re def re_pattern_syntax(): #dot，caret，$ # */+/？ &nbs

其他

re

置顶原创 2016-12-10 21:27:48 451 阅读 2点赞

认识正则表达式

Python里的正则表达式re: pattern:匹配模式，遵循正则表达式语法 method:匹配方法，search/match/split/findall/finditer/sub/subnre模块介绍 re.search:搜索字符串，找到匹配的第一个字符串

其他

re

置顶原创 2016-12-10 16:16:38 590 阅读 1点赞

influxdb+grafana可视化

了解数据库的TPS、QPS是作为一个运维DBA是非常必要的，那什么是TPS、QPS呢，简单的理解是：QPS:每秒查询数，即对数据库每秒的DML的操作数TPS：每秒事物处理，即对数据库每秒DDL操作数通过了解他们，可以掌握一个实例的基本工作运行状态如何对于对他们进行页面可视化，是DBA的一个装逼神器，本章主要介绍通过时序数据库(influxdb)+grafana+简单的python代码实现时时监控它

b

grafana

influx

置顶原创 2016-12-09 23:16:48 10000+阅读 4点赞

mysql审计插件设置

1、create database auditdbuse auditdb2、create table accesslog(ID int primary key auto_increment,ConnectionID int,ConnUser varchar(30),MatchUser varchar(30),LoginTime datetime)3、保证所有连接用户对此表有写入权限insert i

MySQL

审计

置顶原创 2016-12-09 10:27:52 917 阅读 6点赞 2评论

InfluxDB学习之InfluxDB的基本操作

InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性：1. Time Series （时间序列）：你可以使用与时间有关的相关函数（如最大，最小，求和等）2. Metrics（度量）：你可以实时对大量数据进行计算3. Eevents（事件）：它支持任意的事件数据特点schemaless(无结构)，可以是任意数

管理工具

数据库

Explorer

置顶原创 2016-12-08 22:30:30 5062 阅读 2点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

DBAspace