DBAspace的博客_MySQL,MongoDB,MyCat

DAX函数大全

针对PowerPivot的DAX函数参考一、筛选函数1、ALL函数：返回表中的所有行货返回列中的所有值，同时忽略可能已应用的任何筛选器，此函数可用于清除筛选器对表中的所有行创建计算，返回删除了筛选器的表或列的值语法:ALL({<table> | <column>[, <column>[, <column>[,…

DAX

置顶原创精选 2017-12-15 09:46:09 10000+阅读 6点赞 2收藏

Mongodb大数据语法大全

JSON和MONGODBJSON不止是一种交换数据的方式，也是一种存储数据的良好方式，实际上MONGODB并未使用JSON存储数据，而是使用由MONGODB团队开发的一种称为BSON的开放数据格式。面向文档存储BSON BSON是一个开放标准，BSON存储使用的空间比JSNO(CouchDB一个强大的面向文档数据库)多在相同版本情况下。 1、处理数据比JSON快，消耗一定的存储空间，简单说BSON

Mongodb

大数据

语法大全

置顶原创精选 2017-12-11 16:35:01 2994 阅读 7点赞 2收藏

DBA不等于全能

在激烈的职场竞争中，DBA需要的技能是越来越多的，如下图技能树:这些所有的技能并不是在工作中都会用到的，根据公司的发展以及业务，可以只能应用到部分的吧...然而对于在求职过程中，这些东西又是必不可少的，因为有《神级》的"面试官"问这样的题目，体现水平超级666，试想，这些问题，真的在工作中真的会有用吗？只有天知地知你知....

MySQL

置顶原创精选 2017-12-07 11:27:17 3714 阅读 9点赞 2收藏

3步启动PG

简介PostgreSQL 是一种非常复杂的对象-关系型数据库管理系统（ORDBMS），简称pgsql,它支持大部分 SQL 标准并且提供了许多其他现代特性：复杂查询外键触发器视图事务完整性多版本并发控制同样，PostgreSQL 可以用许多方法扩展，如通过增加新的：数据类型函数操作符聚集函数索引方法过程语言，同时也是一个开源免费的DB，号称--业界领先的开源关系数据库环境准备

PGSQL

3步

带你启动

置顶原创精选 2017-11-14 19:34:01 1555 阅读 3点赞 1收藏

Redis新特性GEOHASH

一、简言 Redis 的 GEO 特性将在 Redis 3.2 版本释出，这个功能可以将用户给定的地理位置信息储存起来，并对这些信息进行操作将指定的地理空间项目（纬度，经度，名称）添加到指定的键。数据作为排序集存储到密钥中，使得可以使用GEORADIUS或GEORADIUSBYMEMBER命令使

REDIS

GEOHASH

置顶原创精选 2017-11-13 16:35:09 2815 阅读 7点赞 2收藏 3评论

3分钟了解Mysql空间搜GeoHash

简单介绍： Mysql 内置函数方案，适合于已有业务，新增加LBS功能，增加经纬度字段方可，避免数据迁移，在5.7.5后实现更多功能实现INNODB的空间搜方法，之前版本主要是对MYISAM的支持。在此之前，InnoDB将几何数据存储为BLOB（二进制大对象）数据，在空间数据上只能创建前缀索引，当涉及空间搜索时非常低效，尤其是在涉及复杂的几何数据

GeoHash

置顶原创精选 2017-11-11 17:18:20 5727 阅读 9点赞 5收藏 6评论

MySQL 新特性应用JSON

MySQL5.7之JSON使用MySQL 支持原生的 JSON 数据类型，列不能设置默认值从MySQL 5.7.8 开始，MySQL支持原生的JSON格式，即有独立的json类型，用于存放 json格式的数据。JSON 格式的数据并不是以string格式存储于数据库而是以内部的binary 格式，以便于快速的定位到json 格式中值在插入和更新操作时MySQL会对JSON 类型做校验，已检查数据是

mysql

JSON

置顶原创精选 2017-11-02 09:44:10 2274 阅读 5点赞 1收藏 1评论

PinPoint分布式全链路监控

PinPoint分布式全链路监控安装需要的所有包下载路径:链接: https://pan.baidu.com/s/1sl9dP9r 密码: jsux介绍: PinPoint是一个开源的APM((Application Performance Management/应用性能管理)工具，基于JAVA的大规模分布式系统。仿照GOOLE DAPPER,Pi

pi'n

'point

置顶原创精选 2017-10-31 13:07:58 10000+阅读 5点赞 2收藏

MYSQL explain详解之range

explain显示了MySQL如何使用索引来处理DML语句以及连接表，explain显示的信息可以帮助选择更好的索引和写出更优化的查询语句 2.EXPLAIN列的解释：table：显示这一行的数据是关于哪张表的type：这是重要的列，显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、 indexhe和ALLpossible_keys

MySQL

myspl

置顶原创精选 2017-07-23 10:22:36 5845 阅读 6点赞 1收藏

pt-osc全解pt-online-schema-change

MySQL 大字段的DDL操作：加减字段、索引、修改字段属性等，在5.1之前都是非常耗时耗力的，特别是会对MySQL服务产生影响。在5.1之后随着Plugin Innodb的出现在线加索引的提高了很多，但是还会影响（时间缩短了），主要是出现了MDL锁。不过5.6可以避免上面的情况，但目前大部分在用的版本都是5.6之前的。工作原理：&nbs

pt

osc

置顶原创精选 2017-05-25 23:39:45 1271 阅读 4点赞

MySQL到CSV几种方法

数据的导出导入，最常用的方法：导出：省资源型：mysql -e "select * from aa" -s -s >aa.txt 导入：load data infile '/tmp/user_type_2017-08-21.txt' into table aa fields terminated by '\t' ##耗资源型：

CSV

置顶原创精选 2017-05-03 16:17:55 1325 阅读 4点赞 2评论

MHA架构搭建

MHA工作原理总结如下：1、配置文件检查阶段（整个集群的配置）2、宕机奔溃的master保存二进制日志事件且摘除VIP操作3、识别含有最新更新的slave4、复制dead master和slave相差的中继日志，保存到mha manager具体的目录下面5、提升一个slave为新的master6、使其他的slave

其他

MHA

置顶原创精选 2017-02-16 11:18:55 881 阅读 6点赞

数据的还原操作mixed和row的操作

MySQL备份策略：全备+增量备份主要包括以下几个步骤：1、开启BINLOG服务2、使用MYSQLDUMP对数据库进行完全备份3、使用flush logs指令刷新创建新的2进制日志4、使用mysqlbinlog logs-bin.[0-9]* |mysql进行增量备份的恢复一般的，假设我们周日下午3点进行了完全备份并生成备份文件full_backup_20170215.sql,周1周2中午1点进行

反转

BINLOG

备份策略

置顶原创精选 2017-02-15 16:18:06 1468 阅读 3点赞

RAID磁盘阵列的原理与搭建

RAID（Redundant Array of Independent Disks，独立磁盘冗余阵列）可以提供较普通磁盘更高的速度、安全性，所以服务器在安装时都会选择创建RAID。 RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）

RAID

其他

置顶原创精选 2017-02-10 11:38:15 2663 阅读 2点赞

MySQL水平分割案例

水平分割：根据一列或者多列的值把数据行放到多个独立的表里，水平分表方式可以通过多个低配置主机整合起来，实现高性能。根据公司的业务，两套重复的架构，部署在不同的IDC上，需要对数据进行合并操作，数据库采用水平方式实现业务数据的存储，如架构图：说明：路由表A作用：md5key作为分表策略的依据，对md5key值进行取模运算，需要把数据写入具体表位置。一般对于业务需求，可以对此字段进行做相应的处理，对数

MySQL

分表

置顶原创精选 2017-02-07 14:07:23 1302 阅读 2点赞

mysql 数据一致性校验

工作上需要把一个从库提升为主库，但对从库和主库的数据一致性不能保证一样，所以就利用pt-table-checksum 工作来检查主从的一致性，操作前需要注意的事项： (1)在有些情况下，recursion-method如果不设会报错：Diffs cannot be detected because no slaves were found. 其参数有四：pro

MySQL

pt

置顶原创精选 2017-01-16 17:02:18 1824 阅读 6点赞 1评论

redis的基础配置

Redis的ms主从集群作用：1、主从备份防止宕机2、读写分离，分担master的任务3、任务分离Redis的MS同步原理：MS自动连接，S发起同步，M开始DUMP出RDB，S接收到M的RDB存放到自己的内存，在M做DUMP的过程，又有新的数据产生，M会把新的数据缓冲到AOF中，当M做DUMP结束后，也把AOF发给SLAVE，完成一次同步结束。Redis的持久化有2种方式：RDB、AOFRdb快照

RDB

AOF

置顶原创精选 2016-12-25 20:00:10 615 阅读 3点赞 2评论

Redis事务的应用

redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。由于redis是单线程来处理所有client的请求的所以做到这点是很容易的。一般情况下redis在接受到一个client发来的命令后会立即处理并返回处理结果，但是当一个client在一个连接中发出mult

redis

tr

wathc

置顶原创精选 2016-12-24 21:01:59 697 阅读 2点赞

Infobright列式存储数据库

Infobright 是一个非常强大的列式存储数据库，基于MySQL的高效数据仓库。之所以使用数据仓库，是因为目前MySQL数据库中的数据增长很快，定期会对一些历史记录表进行清除，但后期的统计分析还会用到这些历史数据，随着数据量的增大，查询也越来越慢，而数据库仓库特有的存储格式能够减小磁盘空间内的占用，同时列式的特点使得查询速度大为改观。选择Infobright是因为它锁支持的数据类型更

infobright

置顶原创精选 2016-12-23 23:02:01 1680 阅读 3点赞

了解高并发设计过程

1、HTML静态化　　其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简

高并发

置顶原创精选 2016-12-21 09:15:08 585 阅读 2点赞

mongodb复制集的实现

复制集（Replica Sets)，是一个基于主/从复制机制的复制功能，进行同一数据的异步同步，从而使多台机器拥有同一数据的都多个副本，由于有自动故障转移和恢复特性，当主库宕机时不需要用户干预的情况下自动切换到其他备份服务器上做主库，一个集群最多可以支持7个服务器，并且任意节点都可以是主节点。所有的写操作都被分发到主节点，而读操作可以在任何节点上进行，实现读写分离，提高

db

mongo

置顶原创精选 2016-12-17 12:46:34 1082 阅读 5点赞

MySQL的分表和分区介绍

在日常开发或维护中经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。一、什么是分表：

list

key

hash

range

置顶原创精选 2016-12-14 15:31:00 4968 阅读 9点赞 5评论

swap分析及行溢出分析ml

swap out:把内存中暂时不用的数据交换出去，放在swap分钟swap in：把swap分区中的数据交换会物理内存中vmstat -S m 1[root@nod2 ~]# vmstat -S m 1procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b &nb

system

memory

置顶原创精选 2016-11-30 14:35:23 835 阅读 2点赞

Hive的安装与MySQL结合

#HIVE可以在任意节点搭建，实验在master链接：http://pan.baidu.com/s/1i4LCmAp 密码：302x hadoop+hive下载##原封不动的复制，必死无疑，请根据实际填写相关参数和路径1、 Hive的基础设施a、基于已经搭建好的hadoopb、下载hive版本，注意和hadoop对应起来2、安装hivea、下载好的包解压到/usr/loca

mysql

hive

置顶原创精选 2016-11-20 13:35:34 1701 阅读 3点赞 2评论

HDFS的基础组成部分及基础操作

HDFS组件结构图解说：1、如图所示中，NameNode充当master角色，职责包括：管理文档系统的命名空间(namespace)；调节客户端访问到需要的文件(存储在DateNode中的文件)2、DataNodes充当slaves角色，通常情况下，一台机器只部署一个Datenode，用来存储MapReduce程序需要的数据3、Namenode会定期从DataNodes那里收到Heartbeat和

原则

设计

master

置顶原创精选 2016-11-20 01:33:46 1312 阅读 1点赞

HADOOP之3节点集群

hadoop集群详细操作流程 1.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 2.本次搭建使用了2.7.1，hadoop2.7.1是稳定版。 3.节点包括了namenode的高可用，jobtracker的高可用，zookeeper高可用集群（后期更新）

jdk

hadoop

置顶原创精选 2016-11-19 15:55:31 1251 阅读 3点赞 3评论

MySQL5.7之后多了一个备份工具：mysqlpump

MySQL5.7之后多了一个备份工具：mysqlpump。它是mysqldump的一个衍生，mysqldump就不多说明了，现在看看mysqlpump到底有了哪些提升，可以查看官方文档，这里针对如何使用做下说明。mysqlpump和mysqldump一样，属于逻辑备份，备份以SQL形式的文本保存。逻辑备份相对物理备份的好处是不关心undo log的大小，直接备份数据即可。它最主要的特点

MySQL5.7之后多了一个备份工具：m

置顶转载精选 2016-11-17 23:29:48 604 阅读

Tidb 集群配置

架构图：准备前的工作：A、同步系统时间B、是否把刷屏日志写到一个文件里，可在启动命令后面追加到一个文件/tmp/sh-error1.log 2>&1 &C、不同版本需要的包glibcD、启动服务开启守护进程要加nohup，但实际没效果E、系统版本为CENTOS6F、包下载G、IPTABLES 设置，需要开通集群使用的端口或者直接关闭http://down.51cto.com/

配置文件

守护

启动命令

置顶原创精选 2016-11-17 12:15:49 10000+阅读 3点赞

TiDB 简介

TiDB 是 PingCAP 公司基于 Google Spanner / F1 论文实现的分布式 NewSQL 数据库。TiDB 具备如下 NewSQL 核心特性SQL支持（TiDB 是 MySQL 兼容的）水平线性弹性扩展（容量、并发、吞吐量）分布式事务，数据强一致性保证故障自恢复的高可用（auto failover）TiDB 是传统的数据库中间件、数据库分库分表等 Sharding 方案非

TIDB

置顶转载精选 2016-11-15 22:19:38 8232 阅读 1点赞

MySQL56+MHA+MAXSCALE构建高可用

需要的包下载：（MHA0.57+MAXSCALE1.43 2.0）http://down.51cto.com/data/2258543 http://down.51cto.com/data/2258544 http://down.51cto.com/data/2258545 架构图：要点： 1、安装配置MHA

MHA

MAXSCALE

KEEP

置顶原创精选 2016-11-12 17:05:06 2475 阅读 4点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

DBAspace