MongoDB慢日志查询

MongoDB system.profile前言Part1:写在最前    说到MongoDB的慢日志分析,就不得不提到profile分析器,profile分析器将记录的慢日志写到system.profile集合下,这个集合是一个固定集合。我们可以通过对这个集合的查询,来了解当前的慢日志,进而对数据库进行优化。Part2:整体环境MongoDB 3

原创 推荐 点赞3 阅读10000+ 收藏2 评论4 2017-03-23

SQLAdvisor美团SQL索引优化建议工具

SQLAdvisor美团SQL索引优化建议工具前言Part1:写在最前SQLAdvisor是美团开源的一款SQL索引优化建议工具,是由美团点评公司技术工程部DBA团队(北京)开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析,结合分析SQL中的where条件、聚合条件、多表Join关系 给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用,公司内部对SQLA

原创 推荐 点赞2 阅读8519 收藏3 评论2 2017-03-22

直面人生

    当黑暗将我们淹没,    所有光明都已逝去,    那不屈的嘶吼和永不低头的信仰使我们迎难而上,    无人可挡。    再无力,    愿以一点一滴,

原创 点赞3 阅读1782 收藏1 评论4 2017-03-17

MongoDB unique index

MongoDB unique index实战Part1:写在最前MongoDB的 unique index索引这里有个注意事项,主要体现在对NULL值的处理上,本文加以复现。整体环境:MongoDB 3.2.5Part2:集合内容PRIMARY> db.helei.find() { "_id" : ObjectId(&qu

原创 推荐 点赞4 阅读10000+ 收藏0 评论8 2017-03-03

人生模式

人生模式简介Part1:写在最前    王思聪这个人我是一向羡慕嫉妒的,不过有次看到一篇文章,剖析了下这个人。让我突然发现,不光是王思聪,周围身边的,条件越是比你好的人,他们反而对待生活越是正能量。    现在鸡汤被灌多了,我越发喜欢现实和成功学之类的东西。因为它能让我更加的冷静,尤其在人生的选择方面。 &n

原创 点赞9 阅读1397 收藏1 评论4 2017-01-05

数据仓库的未来 MariaDB ColumnStore

MariaDB ColumnStore简介Part1:写在最前MariaDB ColumnStore is the future of data warehousing. ColumnStore allows us to store more data and analyze it faster. Everyday, Pinger’s mobile applications process mil

原创 推荐 点赞6 阅读10000+ 收藏4 评论1 2016-12-27

OneProxy实现MySQL分库分表

OneProxy实现MySQL分库分表简介Part1:写在最前    随着网站的壮大,MySQL数据库架构一般会经历一个过程:当我们数据量比较小的时候,一台单实例数据库足矣。等我们数据量增大的时候,我们会采用一主多从的数据库架构来降低我们的读写io。当我们某张业务表达到几百万上千万甚至上亿时,就应该去进行分表处理。本文演示OneProxy对数据库实现分表处理

原创 点赞3 阅读10000+ 收藏0 评论1 2016-12-23

OneProxy实现MySQL读写分离与负载均衡

OneProxy实现MySQL读写分离与负载均衡简介Part1:写在最前    OneProxy平民软件完全自主开发的分布式数据访问层,帮助用户在MySQL/PostgreSQL集群上快速搭建支持分库分表的分布式数据库中间件,也是一款具有SQL白名单(防SQL注入)及IP白名单功能的SQL防火墙软件。采用与MySQL Proxy一致的反向协议输出模式,对应用

原创 推荐 点赞8 阅读7308 收藏5 评论9 2016-12-21

挫折和离别不过是生命中的点缀

TO自己: 周一,鸡血打起!~ 我的未来 在无尽的黑夜 所有都快要毁灭 至少我还有梦 也为你而感动 原来黎明的起点 就在我的心里面 只要我还有梦 就会看到彩虹 在我的天空 . 挫折和离别不过是生命中的点缀 过了多年我才读懂了家人的眼泪 发现原来自己没有说再见的勇气 离别的伤感感染了满城的空气 失去后才知道那些有多么的珍贵 亲爱的朋友们是否已经展翅纷飞 外面的世界散发着强大的磁场 诱惑着每一双

原创 点赞4 阅读2378 收藏0 评论9 2016-12-19

telegraf+influxdb+grafana环境初探

Telegraf+Influxdb+Grafana环境初探简介Part1:写在最前Grafana,一个非常好用的开源监控(应该说是出图)软件。各类个性化定制非常易用,像常见的cpu,mem,mysql常用监控项都已经内置。grafana并未被我用在生产,本着学习交流的原则,来写这篇文章吧。安装Part1:环境准备环境:HE3: mysql所在服务器,被监控机 ip 192.168.1.250mys

原创 推荐 点赞3 阅读7621 收藏1 评论5 2016-12-12

MySQL日志审计 帮你揪出内个干坏事儿的小子

MySQL日志审计 帮你揪出内个干坏事的小子简介Part1:写在最前MySQL本身并不像MariaDB和Percona一样提供审计功能,但如果我们想对数据库进行审计,去看是谁把我的数据库数据给删了,该怎么办呢?我们主要利用init-connect参数,让每个登录的用户都记录到我们的数据库中,并抓取其connection_id(),再根据binlog就能够找出谁干了那些破事儿。MariaDB如何审计

原创 推荐 点赞11 阅读10000+ 收藏10 评论6 2016-12-09

3分钟解决MySQL主从1594错误

3分钟解决MySQL主从1594错误简介Part1:写在最前1594这个错误看起来挺严重的,会提示你binlog文件或者Relay log损坏了,例如binary log is corrupted、relay log is corrupted之类的看起来很吓人是吧,多数是由于掉电引发的,这也说明了机房配备UPS的重要性。本文来自真实生产案例,感谢网友加内特提供,本人加

原创 推荐 点赞2 阅读10000+ 收藏4 评论1 2016-12-06

再谈MySQL全库备份

再谈MySQL全库备份简介Part1:写在最前在很早之前,我写过一个MySQL生产库全库备份脚本,今天有同事问我是不是要再加一个-R参数来备份存储过程,理由的话是由于mysqldump --help中 关于存储过程的默认备份是false。routines                     &n

原创 推荐 点赞5 阅读4233 收藏4 评论4 2016-12-05

MaxScale Binlog Server实践

MaxScale Binlog Server实践简介Part1:写在最前在之前的博文中有说到MaxScale,作为中间件,配合MHA使用或者主从使用可实现读写分离和负载均衡,今天简单介绍下MaxScale作为Binlog Server来减少主从延迟的问题;MySQL的主从架构中,链式拓扑的架构比较容易出现主从延迟的问题。本文着重介绍MaxScale作为Binlog Server是如何降低主从延迟的

原创 推荐 点赞6 阅读4314 收藏5 评论5 2016-12-02

1分钟利用mysqlreplicate快速搭建MySQL主从

利用mysqlreplicate快速搭建MySQL主从环境简介mysql-utilities工具集是一个集中了多种工具的合集,可以理解为是DBA的工具箱,本文介绍利用其中的mysqlreplicate工具来快速搭建MySQL主从环境。HE1:192.168.1.248 slaveHE3:192.168.1.250 master实战Part1:安装mysql-utilities[root@HE1 ~

原创 推荐 点赞11 阅读10000+ 收藏8 评论7 2016-12-01

51CTO WOT2016大数据峰会有感

51CTO WOT2016大数据峰会有感经历说起技术峰会,以前一直想着参与,这次,也是首次参与到了大会中,听了很多大拿的思路和见解。以后这种会议还是要多多参加,对自己的职业发展规划,和前沿性技术,有着非常好的指导性。最后要感谢51cto举办了一次这么精彩的峰会,希望这种峰会能继续下去,不断推广开源技术,技术成就梦想!

原创 点赞4 阅读1419 收藏2 评论2 2016-11-28

10分钟学会MySQL基础教程

10分钟学会MySQL基础操作1分钟安装Part1:写在最前MySQL安装的方式有三种:①rpm包安装②二进制包安装③源码安装这里我们推荐二进制包安装,无论从安装速度还是用于生产库安装环境来说,都是没问题的。现在生产库一般采用MySQL5.6,测试库采用MySQL5.7。MySQL5.6安装看这里http://suifu.blog.51cto.com/9167728/1846671 MySQL5.

原创 推荐 点赞18 阅读10000+ 收藏18 评论12 2016-11-09

MySQL5.7MHA+MaxScale2.0构建高可用环境

MySQL读写分离与负载均衡--MHA与MaxScale环境介绍Part1:写在最前看了某大牛的文章,讲述了一下MaxScale比LVS的好处多多,那您倒是放出来配置文件啊~~大牛说:需要的单独找我吧,太长了配置文件……看到这我心中久久不能平静啊。。。联系不上您呐 = =,于是各种资料各种找啊~各种坑各种血崩啊!~~~由于不知道大牛的配置文件是什么样子,本文仅以随笔的形式,记录下实施过程。也欢迎您

原创 推荐 点赞17 阅读10000+ 收藏19 评论29 2016-11-04

MySQL ERROR 1878 解决办法

MySQL ERROR 1878报错解决办法错误重现Part1:大表修改字段mysql> ALTER TABLE `erp`    -> ADD COLUMN `eas_status`  tinyint(3) unsigned  NOT NULL DEFAULT 0 ' AFTER `totalprice`;ERROR 1878 (HY

原创 推荐 点赞8 阅读10000+ 收藏5 评论11 2016-10-27

MySQL5.7在线开启/关闭GTID

MySQL5.7在线开启/关闭GTID环境介绍Part1:写在最前截止本文撰写当日,MySQL5.7.16是官网的最新稳定版,本文将用MySQL5.7.16来进行演示。从MySQL5.6开始,支持了GTID复制模式,这种模式其实是把双刃剑,虽然容易搭建主从复制了,但使用不当,就容易出现一些错误,例如error 1236。在MySQL5.6如果开启GTID模式,需要在my.cnf中加入以下几个参数:

原创 推荐 点赞3 阅读10000+ 收藏3 评论4 2016-10-25

MySQL5.6.25升级MySQL5.7.15

MySQL5.6升级MySQL5.7环境介绍Part1:写在最前提到MySQL升级,网上文章数之不尽,但大多数为老的版本,诸如5.1升级到5.5、5.5升级到5.6,今天给大家介绍下MySQL5.6升级到MySQL5.7版本的方法和注意事项。Part2:升级方法升级的方法一般有两类:1.利用mysqldump来直接导出sql文件,导入到新库中,这种方法是最省事儿的,也是最保险的,缺点的话,也显而易

原创 推荐 点赞14 阅读6512 收藏11 评论9 2016-10-20

5分钟了解MySQL/MariaDB新特性之索引下推优化

MySQL/MariaDB新特性之索引下推优化索引下推优化Part1:index_condition_pushdownindex_condition_pushdown(ICP)默认开启,可以通过命令:show variables like 'optimizer_switch'\G来查看,如下图所示:Part2:原理简述这一特性从MariaDB5.3/MySQL5.6起,开始生效,我们在执行查询计划

原创 点赞7 阅读7807 收藏3 评论6 2016-10-13

5分钟了解MySQL5.7union all用法的黑科技

MySQL5.7union all用法的黑科技union all在MySQL5.6下的表现Part1:MySQL5.6.25[root@HE1 ~]# mysql -uroot -p Enter password:  Welcome to the MySQL monitor.  

原创 推荐 点赞10 阅读10000+ 收藏6 评论9 2016-10-11

5分钟了解MySQL5.7对in用法有什么黑科技

MySQL5.7对in用法有什么黑科技构建测试环境Part1:创建测试数据库[root@HE1 ~]# mysql -uroot -p Enter password:  Welcome to the MySQL monitor.  Commands end w

原创 推荐 点赞12 阅读10000+ 收藏6 评论17 2016-10-10

一个参数引起的mysql从库宕机血案

一个参数引起的MySQL从库宕机血案Part1:max_binlog_cache_sizemax_binlog_cache_size 表示的是binlog 能够使用的最大cache 内存大小当我们执行多语句事务的时候 所有session的使用的内存超过max_binlog_cache_size的值时就会报错:“Multi-statement transaction required more th

原创 推荐 点赞31 阅读10000+ 收藏16 评论32 2016-10-08

5分钟了解MariaDB创建角色功能

5分钟了解MariaDB创建角色功能Part1:Grant Role?创建角色,oracle很早就支持创建角色的功能了,而MySQL5.7版本依然尚不支持。目前,只有MariaDB10.0/10.1版本里支持创建角色这项功能。Part2:为什么我们需要角色1.在实际工作中,有大量的用户其权限是一样的,比如只读权限。如果每次在创建完用户后,DBA再去对每个用户去分别授权,那会是一件非常麻烦的事情。2

原创 推荐 点赞10 阅读10000+ 收藏7 评论11 2016-09-30

MariaDB日志审计 帮你揪出内个干坏事儿的小子

MariaDB日志审计 帮你揪出内个干坏事的小子Part1:谁干的?做DBA的经常会遇到,一些表被误操作了,被truncate、被delete、甚至被drop。引起这方面的原因大多数都是因为人为+权限问题导致的。一些公共账户,例如ceshi账户,所有的人都可以进行操作,由这些公共账户引起的误操作,你在办公室大喊:谁把我的表删了?8成不会有人回应你。审计日志功能,该技术主要在MariaDB10.0/

原创 点赞7 阅读10000+ 收藏10 评论15 2016-09-29

10分钟了解MySQL5.7对原生JSON的支持与用法

Part1:JSON格式的支持MySQL5.7版本终于支持了原生的JSON格式,即将关系型数据库和文档型NO_SQL数据库集于一身。本文接下来将对这特性分别就MySQL5.7和MariaDB10.1各自实现的方法异同进行介绍和演示。Part2:创建相应表结构[root@HE3 ~]# mysql -Vmysql  Ver 14.14 Distrib 5.7.15, for linux-g

原创 推荐 点赞9 阅读10000+ 收藏8 评论7 2016-09-28

5分钟了解MySQL5.7的undo log在线收缩新特性

Part1:写在最前在MysQL5.6版本中,可以把undo log 回滚日志分离到一个单独的表空间里;其缺点是不能回收空间大小,until MysQL5.7,but MariadDB10.1暂不支持。本文介绍并演示MysQL5.7是如何在线收缩undo log的。undo log日志是保存在共享表空间ibdata1文件中的,随着数据库的运行时间的不断增长,ibdata1文件会越来越大,在以往的M

原创 推荐 点赞7 阅读10000+ 收藏7 评论3 2016-09-27

5分钟了解MySQL5.7的Online DDL雷区

Part1:写在最前Online DDL,当新手听到这个名字的时候,非常高兴,以为无论什么情况下,修改表结构都不会锁表,理想很丰满,现实很骨感!读完本文,教你如何避开这些雷区,安全的修改表结构。话不多说,我们分别来看下MySQL5.6和MySQL5.7在修改表结构上的相同和异同。Part2:5.6.25的表现①首先我们构造数据并进行测试mysql> create data

原创 推荐 点赞15 阅读10000+ 收藏14 评论13 2016-09-23
写文章