workming的博客_存储

Elasticsearch学习 -- 01（2.1.0 版本安装）

1、服务器信息主机名 IP地址内存大小 qc-hermes-es-1 192.1

elasticsearch

原创 2015-12-14 20:40:20 2856 阅读 1点赞 1收藏 1评论

分布式文件系统（FastDFS+Tengine+fastdfs-nginx-module）

FastDFS介绍FastDFS 服务有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）tracker server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳，T

fastdfs

tengine

分布式文件

原创 2015-05-28 22:45:39 10000+阅读 4点赞 2收藏 4评论

MongoDB集群部署（副本集模式）

一、需求背景1、现状描述(1)、针对近期出现的mongodb未授权的安全问题，导致mongodb数据会被非法访问。应安全平台部的要求，需要对所有mongodb进行鉴权设置，目前活动侧总共有4台，用于某XX产品；(2)、某XX产品用到4台mongodb，属于2015年机房裁撤的范围；(3)、早期的4台mongodb采用是的M1机型，同时在架构上采取了路由分片的模式。从目前来看，无论是数据量上，还是访

mongodb

集群部署

原创 2015-04-30 02:58:15 10000+阅读 2收藏

Redis集群初步设计

1、需求背景最近为满足业务推广活动的需求，需要对Redis集群做容灾，刚开始考虑采用最近比较火的开源方案codis。但考虑到可能会有很多坑，暂不推荐使用，作为后期预研方案。我们之前一直在采用Twemproxy做数据分片，也运行得比较稳定，所以本次出于容灾的考虑，我们又引入了Redis Sentinel来做主从切换。但问题又来了，Twemproxy本身不支持平滑重启（也就是所谓的reload）。正常

设计

集群

redis

原创 2015-04-24 23:58:26 3887 阅读 4点赞 1收藏 5评论

使用MySQL-MMM时遇到的一些问题（1）

我们线上DB的高可用部分采用的是官方原版的MySQL-MMM（http://mysql-mmm.org），但在最近几日出现2次写VIP自动切换到了备Master节点上（双Master单写），其实主Master也是正常的，于是就去MySQL-MMM Monitor节点查看了一下日志，# cd /var/log/mysql-mmm# tail -30 mmm_mond.log初步看来是因为存在主从复制

mysql

mysql-mmm

原创 2015-01-13 14:06:05 4763 阅读 3点赞 1收藏 1评论

采用Atlas+Keepalived实现MySQL读写分离、读负载均衡

==========================================================================================一、基础介绍==========================================================================================1、背景描述目前我们的高可用

mysql

atlas

原创 2015-01-10 11:34:51 10000+阅读 23点赞 7收藏 24评论

采用mydumper对MySQL部分数据库进行热备

现有2台DB服务器，分别用于A业务与B业务，其中A业务比较重要，需要对A业务的1个DB（TaeOss）进行热备，大概有40G的数据，并用业务B的DB服务器作为备机，服务器分布如下：10.137.143.151 A业务10.137.143.152 B业务开发那边的要求是：在导出A业务的DB（T

mysql

mydumper

原创 2015-01-09 20:29:12 5989 阅读 2收藏

MySQL数据库迁移详细步骤

==========================================================================================一、背景简介==========================================================================================1、问题描述由于机房搬迁，需

mysql

数据库迁移

原创 2015-01-02 00:40:04 10000+阅读 1点赞 6收藏 2评论

基于Xtrabackup进行MySQL数据库备份

一、Xtrabackup备份恢复原理备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法

xtrabackup

原创 2014-11-28 23:48:18 2270 阅读 1点赞 4收藏 1评论

高可用分布式存储（Corosync+Pacemaker+DRBD+MooseFS）

=========================================================================================一、服务器分布及相关说明=========================================================================================1、服务器信息2、总

drbd

高可用性

mfs

原创 2014-06-21 10:22:23 10000+阅读 5点赞 1收藏 9评论

深入剖析Redis主从复制

一、主从概述Redis 支持 Master-Slave（主从）模式，Redis Server 可以设置为另一个 Redis Server 的主机（从机），从机定期从主机拿数据。特殊的，一个从机同样可以设置为一个 Redis Server 的主机，这样一来 Master-Slave 的分布看起来就是一个有向无环图 DAG，如此形成 Redis Server 集群，无论是主机还是从机都是 Redis

复制

剖析

redis

转载精选 2014-05-18 01:12:04 10000+阅读 1点赞

关于MySQL-Proxy子进程异常退出BUG修复

关于 MySQL-Proxy 子进程异常退出的问题，我已经在之前的博文中提到过：http://sofar.blog.51cto.com/353572/1398820相关的错误信息如下图所示：经查阅11号信号为SIGSEGV，表示进程执行了一个无效的内存引用或发生段错误，从而导致子进程异常退出。我们知道 MySQL-Proxy 采用的是父子进程的模式，处理请求都是由子进程来完成的，而父进程只起到监控

mysql-proxy

原创推荐 2014-05-14 23:42:53 2483 阅读 1点赞

试用分布式存储MooseFS

服务器分布：概述：MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：1、管理服务器managing server（master）2、元数据日志服务器Metalogger server（Metalogger）3、数据存储服务器 dataservers（chunkservers）4、客户机挂载使用 clientcomputers角色描述：1、管理服务器：负责各个数据存储服

moosefs

原创 2014-05-01 23:33:30 1783 阅读 1点赞

采用MySQL-MMM做DB高可用时，遇到的一个小坑

一、服务器分布二、MySQL-MMM 配置(1)、公共配置【所有DB节点：Master1、Master2、Slave1、Slave2 Monitor节点】# vim /etc/mysql-mmm/mmm_common.confactive_master_role writer

mysql-mmm

原创推荐 2014-04-28 16:02:15 2888 阅读 4点赞 1收藏 1评论

深入剖析Redis事件驱动

一、概述Redis 内部有一个小型的事件驱动，它和 libevent 网络库的事件驱动一样，都是依托 I/O 多路复用技术支撑起来的。利用 I/O 多路复用技术，监听感兴趣的文件 I/O 事件，例如读事件、写事件等，同时也要维护一个以文件描述符为主键，数据为某个预设函数的事件表，这里其实就是一个数组或者链表。当事件触发时，比如某个文件描述符可读，系统会返回文件描述符值，用这个值在事件表中找到相应

redis

转载精选 2014-04-21 18:54:52 695 阅读

深入剖析Redis AOF持久化策略

本篇主要讲的是 AOF 持久化，了解 AOF 的数据组织方式和运作机制。Redis 主要在 aof.c 中实现 AOF 的操作。一、数据结构 rioredis AOF 持久化同样借助了 struct rio，详细内容在《深入剖析 redis RDB 持久化策略》中有介绍。二、AOF 数据组织方式假设 Redis 内存有「name:Jhon」的键值对，那么进行 AOF 持久化后，AOF 文件有如下内

redis

转载精选 2014-04-20 18:16:56 1359 阅读

深入剖析Redis RDB持久化策略

一、简介 Redis 持久化 RDB、AOFRedis 提供两种持久化方式：RDB 和 AOF。Redis 允许两者结合，也允许两者同时关闭。1、RDB 可以定时备份内存中的数据集。服务器启动的时候，可以从 RDB 文件中恢复数据集。2、AOF 可以记录服务器的所有写操作。在服务器重新启动的时候，会把所有的写操作重新执行一遍，从而实现数据备份。当写操作集过大（比原有的数据集还大），Redis 会重

redis

转载精选 2014-04-20 16:52:16 1001 阅读

采用MySQL-Proxy进行读写分离时的一点疑问

今天在采用 MySQL-Proxy 0.8.3 测试读写分离时，功能都正常，但出现了一些让人有些疑惑的提示信息，不太确定算不算异常。。。。。。配置文件“/usr/local/mysql-proxy/etc/mysql-proxy.cnf”如下：[mysql-proxy] basedir = /usr/local/mysql-proxy daemon = true keepalive = true

mysql-proxy

原创推荐 2014-04-20 00:07:43 3852 阅读 3点赞 3评论

五分钟理解一致性哈希算法(consistent hashing)

转载于：http://blog.csdn.net/cywosp/article/details/23397179一致性哈希算法在 1997 年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点（Hot spot）问题，初衷和 CARP 十分类似。一致性哈希修正了 CARP 使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在 P2P 环境中真正得到应用。

一致性哈希算法

转载精选 2014-04-19 12:38:38 6104 阅读 2点赞

分布式文件系统下的本地缓存

转载于：http://blog.csdn.net/cywosp/article/details/23970017在分布式文件系统中，为了提高系统的性能，常常会引入不同类型的缓存存储系统（算法优化所带来的的效果可能远远不如缓存带来的优化效果）。在软件中缓存存储系统一般可分为了两类：一、分布式缓存，例如：Memcached、Redis、淘宝的 Tair 等，二、本地缓存，例如：Facebook 的 f

分布式文件系统

转载精选 2014-04-19 12:09:04 1101 阅读

高可用MySQL架构设计2

架构图如下：采用的DB中间层：https://github.com/GCSAdmin/GCS-Proxy-New读写分离LUA脚本：见附件（修复了与MySQL-5.5以上版本的连接失败的BUG）后续需要解决的问题：1、跨机房容灾；2、数据切分。

mysql

架构设计

原创 2013-11-25 22:43:56 1082 阅读

redis主从同步修复

Redis从端无法从主端同步数据，在日志中有如下报错信息：找了一份2.6.16的源码，根据错误信息，定位到如下代码：根据以上代码，到Redis主端执行BGSAVE，会报如下错误信息：由此可以判定，是由于Redis主端无法写入落地文件导致，于是查看Redis主端的日志：查阅相关资料，做如下操作：1、执行Redis命令config set stop-writes-on-bgsave-error no2

修复

redis

主从同步

原创 2013-11-13 15:53:57 7497 阅读

阿里巴巴MySQL DBA面试题

1、MySQL的复制原理以及流程(1)、先问基本原理流程，3个线程以及之间的关联；(2)、再问一致性延时性，数据恢复；(3)、再问各种工作遇到的复制bug的解决方法。2、MySQL中myisam与innodb的区别，至少5点(1)、问5点不同；(2)、问各种不同mysql版本的2者的改进；(3)、2者的索引的实现方式。3、问MySQL中varchar与char的区别以及varchar(50)中的3

mysql

DBA

面试题

转载精选 2013-11-08 01:35:12 10000+阅读 1收藏

xtrabackup原理及实施

转载于：http://www.baidu-ops.com/2013/05/26/xtrabackup/ xtrabackup是基于InnoDB存储引擎灾难恢复的。它复制InnoDB的数据文件，尽管数据文件在内部是非一致性的，但在执行灾难恢复时可以保证这些数据文件是一致的，并且可用。官方原理在InnoDB内部会维护一个redo日志文件，我们也可以叫做事务日志文件。事务日志会存储每一个InnoD

mysql

原理

xtrabackup

转载精选 2013-10-23 00:33:48 10000+阅读 2点赞 1评论

InnoDB事务隔离级别

转载于：http://blog.csdn.net/wudongxu/article/details/8623610 SQL标准定义了4类隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。Read Uncommitted（读取未提交内容）在该隔离级别，所有

innodb

转载精选 2013-10-16 00:32:28 2640 阅读 2点赞 1收藏 1评论

LVM逻辑卷基础+实战

转载于：http://pangge.blog.51cto.com/6013757/1256568一、概念思路认知篇LVM：逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制， LVM将一个或多个硬盘的分区在逻辑上集合，相当于一个大硬盘来使用，当硬盘的空间不够使用的时候，可以继续将其它的硬盘的分区加入其中，这样可以实现磁盘空间的动态管

实战

lvm

逻辑卷

转载精选 2013-10-03 12:20:47 892 阅读

MySQL Thread pool 操作过程

Thread pool 操作过程：thread pool 包含一定数量的 thread groups，每个 groups 管理一定量的 client connections，当mysql建立 connection 时，thread pool 会以循环的方式（round-robin fashion）将其分配到其中的一个 thread groups 中。thread_pool_size 规定了 thr

mysql

Thread pool

转载精选 2013-10-01 01:23:42 3489 阅读

MySQL慢查询日志和错误日志按天轮询

问题背景：为便于问题排查和减小日志文件大小，需对慢查询日志和错误日志按天轮询轮询脚本（/data/scripts/mysql-log-rotate）："/data/dbdata/otherlog/slow_query.log" "/data/dbdata/otherlog/mysql_error.log" { create 660 mysql mysql dateext n

mysql

原创 2013-09-30 13:42:57 1908 阅读 2点赞 1评论

高可用MySQL架构设计

高可用DB架构（第一版）：LVS+KeepAlived+Atlas+MySQL+MySQL-MMM所用到的其他工具：percona-toolkitpercona-xtrabackupparse_binlog.pl................

mysql

原创 2013-09-28 15:28:12 1762 阅读 1点赞 2评论

存储分片和Twemproxy核心解读

twemproxy(又称为nutcracker)是一个轻量级的Redis和Memcached代理，主要用来减少对后端缓存服务器的连接数。由Twitter开源出来的缓存服务器集群管理工具，主要用来弥补Redis和Memcached对集群(cluster)管理指出的不足。 antirez(Redis作者)写过一篇对twemproxy的介绍http://antirez.com/news/44，他认为t

Twemproxy

转载精选 2013-09-22 00:30:27 2632 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

人生理想在于坚持不懈

Elasticsearch学习 -- 01（2.1.0 版本安装）

分布式文件系统（FastDFS+Tengine+fastdfs-nginx-module）

MongoDB集群部署（副本集模式）

Redis集群初步设计

使用MySQL-MMM时遇到的一些问题（1）

采用Atlas+Keepalived实现MySQL读写分离、读负载均衡

采用mydumper对MySQL部分数据库进行热备

MySQL数据库迁移详细步骤

基于Xtrabackup进行MySQL数据库备份

高可用分布式存储（Corosync+Pacemaker+DRBD+MooseFS）

深入剖析Redis主从复制

关于MySQL-Proxy子进程异常退出BUG修复

试用分布式存储MooseFS

采用MySQL-MMM做DB高可用时，遇到的一个小坑

深入剖析Redis事件驱动

深入剖析Redis AOF持久化策略

深入剖析Redis RDB持久化策略

采用MySQL-Proxy进行读写分离时的一点疑问

五分钟理解一致性哈希算法(consistent hashing)

分布式文件系统下的本地缓存

高可用MySQL架构设计2

redis主从同步修复

阿里巴巴MySQL DBA面试题

xtrabackup原理及实施

InnoDB事务隔离级别

LVM逻辑卷基础+实战

MySQL Thread pool 操作过程

MySQL慢查询日志和错误日志按天轮询

高可用MySQL架构设计

存储分片和Twemproxy核心解读