DBAspace的博客_MySQL,MongoDB,MyCat

gearman实现redis缓存mysql

Gearman简介： Gearman是一个支持分布式的任务分发框架。设计简洁，获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分：1、Gearman Job Server：Gearman核心程序，以守护进程形式运行在后台2、Gearman Client：可以理解为任务的收件员，比如我要在后

其他

gearmand

置顶原创 2016-12-30 13:07:03 1288 阅读 3点赞

MySQL到CSV

把MySQL数据导出为CSV格式，实现快速的导入导出，分为本地和远程两种方式 MySQL自带的数据导出的命令（本地导出）导出：select * from tableA into outfile '/tmp/aa.csv' fields terminated

MySQL

csv

置顶原创 2016-12-27 12:03:53 679 阅读 6点赞 1评论

redis的基础配置

Redis的ms主从集群作用：1、主从备份防止宕机2、读写分离，分担master的任务3、任务分离Redis的MS同步原理：MS自动连接，S发起同步，M开始DUMP出RDB，S接收到M的RDB存放到自己的内存，在M做DUMP的过程，又有新的数据产生，M会把新的数据缓冲到AOF中，当M做DUMP结束后，也把AOF发给SLAVE，完成一次同步结束。Redis的持久化有2种方式：RDB、AOFRdb快照

RDB

AOF

置顶原创精选 2016-12-25 20:00:10 615 阅读 3点赞 2评论

Redis事务的应用

redis对事务的支持目前还比较简单。redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。由于redis是单线程来处理所有client的请求的所以做到这点是很容易的。一般情况下redis在接受到一个client发来的命令后会立即处理并返回处理结果，但是当一个client在一个连接中发出mult

redis

tr

wathc

置顶原创精选 2016-12-24 21:01:59 697 阅读 2点赞

Infobright列式存储数据库

Infobright 是一个非常强大的列式存储数据库，基于MySQL的高效数据仓库。之所以使用数据仓库，是因为目前MySQL数据库中的数据增长很快，定期会对一些历史记录表进行清除，但后期的统计分析还会用到这些历史数据，随着数据量的增大，查询也越来越慢，而数据库仓库特有的存储格式能够减小磁盘空间内的占用，同时列式的特点使得查询速度大为改观。选择Infobright是因为它锁支持的数据类型更

infobright

置顶原创精选 2016-12-23 23:02:01 1680 阅读 3点赞

类的基础操作

使用面向对象编程，使程序结构化，基础学习下，类的简单实例过程：#!/usr/bin/env python # _*_ coding:utf8 _*_ class Person: name="aaaa"#类变量 def __init__(self

class

置顶原创 2016-12-21 23:14:16 479 阅读 2点赞

了解高并发设计过程

1、HTML静态化　　其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简

高并发

置顶原创精选 2016-12-21 09:15:08 585 阅读 2点赞

mysqldump还原指定的库

从一个全备的数据恢复指定的数据，方法有很多，可以通过特殊方法从全备的数据文件取出数据数据库名和表名等等，还可以通过一个全备指定库名的方式恢复指定的数据，这个方法简单快速，这个方法会恢复不需要的库，但不会恢复数据.过程如下：1、查看数据库还没备份前的状况MariaDB [(none)]> show databases;+-------------

mysql

dump

备份还原

置顶原创 2016-12-20 17:43:30 1336 阅读 5点赞

MySQL5.7配置参数

MySQL5.7的参数调整配置，参考例子，某些具体参数的设置还需要根据实际来调整。[client] port = 3306socket &n

MySQL

5.7

置顶原创 2016-12-20 16:12:19 1097 阅读 2点赞

influxdb查询写入操作

influxdb的几种操作方法，有喜欢用http API的方式来写入数据，或者通过influxdb的终端来操作（我喜欢的类型），每种方式都适合的场景。介绍通过API接口和终端方式来操作：http://192.168.15.104:8086/write?db=mydb&cpu_load_short,host=server01,dc=mycat,region=us-west value=0.6

API

其他

置顶原创 2016-12-20 10:45:25 1700 阅读 3点赞

python监控主机磁盘

通过PYTHON实现主机磁盘的使用情况，使用influxdb+grafana来可是互展示#!/usr/bin/env python# _*_ coding:utf-8 _*_import osimport reimport jsonimport timefrom influxdb import InfluxDBClientdef getInfluxdb():

DISK

Python

置顶原创 2016-12-19 17:11:22 716 阅读 4点赞

MySQL版本升级

日常工作中，数据版本升级是常有的事，升级过程非常简单，但也容易忽视一些问题1、大版本号和小版本号，使用在什么位（32/64）的系统上2、或者5.1的默认使用区分大小写，若5.6使用不区分，这会导致APP找不到库的，所以需要注意3、就是5.1到5.6升级没问题，但到5.7，有时候会提示：ERROR 1031 (HY000) at line 833: Table storage engine for

MySQL

update

置顶原创 2016-12-19 14:49:48 1167 阅读 5点赞 6评论

mongodb复制集的实现

复制集（Replica Sets)，是一个基于主/从复制机制的复制功能，进行同一数据的异步同步，从而使多台机器拥有同一数据的都多个副本，由于有自动故障转移和恢复特性，当主库宕机时不需要用户干预的情况下自动切换到其他备份服务器上做主库，一个集群最多可以支持7个服务器，并且任意节点都可以是主节点。所有的写操作都被分发到主节点，而读操作可以在任何节点上进行，实现读写分离，提高

db

mongo

置顶原创精选 2016-12-17 12:46:34 1082 阅读 5点赞

MySQL的分表和分区介绍

在日常开发或维护中经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。一、什么是分表：

list

key

hash

range

置顶原创精选 2016-12-14 15:31:00 4968 阅读 9点赞 5评论

PYTHON 多线程信号量

实现同时运行多个线程工作，主要通过信号量的设置，但还是在一个CPU上执行,具体要实现的例子可以放在函数里执行，实现单核多并发,还等待什么...... #!/usr/bin/env python # -*- coding: utf-8 -*- import threading import time import ran

ON

PYTH

置顶原创 2016-12-13 23:44:46 1280 阅读 2点赞

MySQL分库分表备份

#!/usr/bin/env python # -*- coding: utf-8 -*- import MySQLdb import os import sys import time currentDate=time.strftime('%Y%m%d',time.localtime()) def

mysql

dump

置顶原创 2016-12-12 22:53:51 1174 阅读 2点赞 1评论

influxdb用户权限篇

设置TS的authorized,提高安全性，针对指定用户拥有权限才能访问数据库的数据，TS默认用户分为普通用户和管理员用户，权限分为read,write,all privileges三种权限添加用户可以通过终端或者WEB方式2种方式：开启一个用户权限的过程：1、在安装好数据库后，通过默认方式登陆数据库:[root@mycat ~]# influx 2、添加用户

grant

influxdb

置顶原创 2016-12-11 19:44:05 10000+阅读 2点赞 1评论

正则表达式语法

#!/usr/bin/env python # -*- coding: utf-8 -*- import re def re_pattern_syntax(): #dot，caret，$ # */+/？ &nbs

其他

re

置顶原创 2016-12-10 21:27:48 451 阅读 2点赞

认识正则表达式

Python里的正则表达式re: pattern:匹配模式，遵循正则表达式语法 method:匹配方法，search/match/split/findall/finditer/sub/subnre模块介绍 re.search:搜索字符串，找到匹配的第一个字符串

其他

re

置顶原创 2016-12-10 16:16:38 590 阅读 1点赞

influxdb+grafana可视化

了解数据库的TPS、QPS是作为一个运维DBA是非常必要的，那什么是TPS、QPS呢，简单的理解是：QPS:每秒查询数，即对数据库每秒的DML的操作数TPS：每秒事物处理，即对数据库每秒DDL操作数通过了解他们，可以掌握一个实例的基本工作运行状态如何对于对他们进行页面可视化，是DBA的一个装逼神器，本章主要介绍通过时序数据库(influxdb)+grafana+简单的python代码实现时时监控它

b

grafana

influx

置顶原创 2016-12-09 23:16:48 10000+阅读 4点赞

mysql审计插件设置

1、create database auditdbuse auditdb2、create table accesslog(ID int primary key auto_increment,ConnectionID int,ConnUser varchar(30),MatchUser varchar(30),LoginTime datetime)3、保证所有连接用户对此表有写入权限insert i

MySQL

审计

置顶原创 2016-12-09 10:27:52 917 阅读 6点赞 2评论

InfluxDB学习之InfluxDB的基本操作

InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性：1. Time Series （时间序列）：你可以使用与时间有关的相关函数（如最大，最小，求和等）2. Metrics（度量）：你可以实时对大量数据进行计算3. Eevents（事件）：它支持任意的事件数据特点schemaless(无结构)，可以是任意数

管理工具

数据库

Explorer

置顶原创 2016-12-08 22:30:30 5062 阅读 2点赞

InfluxDB学习之InfluxDB常用函数（一）聚合类函数

1）count()函数返回一个（field）字段中的非空值的数量。语法：SELECT COUNT(<field_key>) FROM <measurement_name> [WHERE <stuff>] [GROUP BY <stuff>]示例：>SELECT&nb

sum

其他

置顶原创 2016-12-08 22:39:32 3277 阅读 1点赞

InfluxDB学习之InfluxDB常用函数（二）选择类函数

1）BOTTOM()函数作用：返回一个字段中最小的N个值。字段类型必须是长整型或float64类型。语法：SELECT BOTTOM(<field_key>[,<tag_keys>],<N>)[,<tag_keys>] FROM <measurement_name> [WHERE <

search

article

置顶原创 2016-12-08 22:41:25 1449 阅读 1点赞

InfluxDB学习之InfluxDB的基本概念

一、与传统数据库中的名词做比较nfluxDB中的名词传统数据库中的概念database数据库measurement数据库中的表points表里面的一行数据二、InfluxDB中独有的概念1）database--数据库，这个同传统数据库的数据库概念。2）measurement--数据表，在InfluxDB中，measurement即为表的作用，同传统数据库中的table作用一致。1）ta

标签

数据库

database

置顶原创 2016-12-08 22:29:42 1763 阅读 1点赞

InfluxDB学习之InfluxDB常用函数（三）变换类函数

1）DERIVATIVE()函数作用：返回一个字段在一个series中的变化率。InfluxDB会计算按照时间进行排序的字段值之间的差异，并将这些结果转化为单位变化率。其中，单位可以指定，默认为1s。语法：SELECT DERIVATIVE(<field_key>, [<unit>]) FROM <measurement_nam

search

article

置顶原创 2016-12-08 22:44:17 2627 阅读 1点赞

MySQL_tps

TPS(Transaction Per Second) 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。 MySQL-tps:每秒钟系统能够处理的

TPS

置顶原创 2016-12-06 23:32:14 1142 阅读 2点赞

MySQL_qps

#!/usr/bin/env python #_*_coding:utf8 _*_ import MySQLdb import datetime #qps #!/usr/bin/env python import MySQLdb import time from influxdb import In

QPS

置顶原创 2016-12-06 23:30:10 743 阅读 1点赞

MaxScale Binlog Server

MaxScale Binlog Server理想架构图要点提示：1、MX只能适合Mariadb自家的版本作为BINLOG ROUTER，其他DB都不适合2、开通IPTABLES,避免端口呗过滤3、使用MX服务收集BINLOG减少了M的IO压力4、MX到SLAVE的数据同步延迟5、Master到MX在大数据下写入有一定的延迟安装过程：1、已经有mariadb的MS架构2、安装maxscale&nbs

用户

配置文件

password

置顶原创 2016-12-06 15:44:41 672 阅读 3点赞 2评论

ELK+Redis日志流程展示

业务流程架构图：一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统架构图描述：日志收集系统：（数据来源）生产者产生的日志记录行为，通过被logstash收集、转发，然后传送给redis做序列话，最后通过ELK处理分析展示。 elasticSearch会对数据做存储，索引（基于Lunce），再kibana中建立

file

生产者

效果图

置顶原创 2016-12-03 22:12:09 1045 阅读 3点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

DBAspace