memcached+magent实现memcached集群

精选转载

yjyygywcw 2014-06-18 16:55:29 博主文章分类：应用部署

首先说明下memcached存在如下问题

　　本身没有内置分布式功能，无法实现使用多台Memcache服务器来存储不同的数据，最大程度的使用相同的资源；无法同步数据，容易造成单点故障。（memagent代理实现集群）

在 Memcached中可以保存的item数据量是没有限制的，只要内存足够。
　　Memcached单进程最大使用内存为2G，要使用更多内存，可以分多个端口开启多个Memcached进程
　　最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA
　　60*60*24*30控制
　　最大键长为250字节，大于该长度无法存储，常量KEY_MAX_LENGTH 250控制
　　单个item最大数据是1MB，超过1MB数据不予存储，常量POWER_BLOCK 1048576进行控制，
　　它是默认的slab大小
　　最大同时连接数是200，通过 conn_init()中的freetotal进行控制，最大软连接数是1024，通过
　　settings.maxconns=1024 进行控制
　　跟空间占用相关的参数：settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式

memcached是一种无阻塞的socket通信方式服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快。
　　memcached分服务器端和客户端，可以配置多个服务器端和客户端，应用于分布式的服务非常广泛。
　　memcached作为小规模的数据分布式平台是十分有效果的。

memcached是键值一一对应，key默认最大不能超过128个字节，value默认大小是1M，也就是一个slabs，如果要存2M的值（连续的），不能用两个slabs，因为两个slabs不是连续的，无法在内存中存储，故需要修改slabs的大小，多个key和value进行存储时，即使这个slabs没有利用完，那么也不会存放别的数据。

集群配置

由于Memcached服务器与服务器之间没有任何通讯，并且不进行任何数据复制备份，所以当任何服务器节点出现故障时，会出现单点故障，如果需要实现HA，则需要通过另外的方式来解决。

通过Magent缓存代理，防止单点现象，缓存代理也可以做备份，通过客户端连接到缓存代理服务器，缓存代理服务器连接缓存连接服务器，缓存代理服务器可以连接多台Memcached机器可以将每台Memcached机器进行数据同步。如果其中一台缓存服务器down机，系统依然可以继续工作，如果其中一台Memcached机器down掉，数据不会丢失并且可以保证数据的完整性。具体可以参考：http://code.google.com/p/memagent/

memcache集群的实现

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。

memcached的分布式

Memcached作为集中式Cache，就存在着集中式的致命问题：单点问题，Memcached支持多Instance分布在多台机器上，仅仅只是解决了数据全部丢失的问题，但是当其中一台机器出错以后，还是会导致部分数据的丢失，一个篮子掉在地上还是会把部分的鸡蛋打破。

因此就需要实现一个备份机制，能够保证Memcached在部分失效以后，数据还能够依然使用，当然大家很多时候都用Cache不命中就去数据源获取的策略，但是在SIP的场景中，如果部分信息找不到就去数据库查找，那么要把SIP弄垮真的是很容易，因此SIP对于Memcached中的数据认为是可信的，因此做Cluster也是必要的。

1.应用传入需要操作的key，通过CacheManager获取配置在Cluster中的客户端。

2.当获得Cache Client以后，执行Cache操作。

3. A.如果是读取操作，当不能命中时去集群其他Cache客户端获取数据，如果获取到数据，尝试写入到本次获得的Cache客户端，并返回结果。（达到数据恢复的作用）

B.如果是更新操作，在本次获取得Cache客户端执行更新操作以后，立即返回，将更新集群其他机器命令提交给客户端的异步更新线程对列去异步执行。（由于如果是根据key来获取Cache，那么异步执行不会影响到此主键的查询操作）

存在的问题：如果是设置了Timeout的数据，那么在丢失以后被复制的过程中就会变成永久有效的内容。

越来越感觉到DB力不从心，在面对千万级用户量的应用时，DB面对平凡的curd，特别是查询的时候，早已不堪重负！如何解决高并发下数据的查询效率，在应用中显的越来越重要，好了废话不多说，首先介绍下magent与memcached

一、 magent

magent是一款开源的Memcached代理服务器软件，其项目网址为：http://code.google.com/p/memagent/

1. 安装：

1.mkdir magent
2.cd magent/
3.wget http://memagent.googlecode.com/files/magent-0.5.tar.gz
4.tar zxvf magent-0.5.tar.gz
5./sbin/ldconfig
6.sed -i "s#LIBS = -levent#LIBS = -levent -lm#g" Makefile
7.make
8.cp magent /usr/bin/magent
9.cd ../

2. magent 命令参数说明：
1.-h this message
2.-u uid
3.-g gid
4.-p port, default is 11211. (0 to disable tcp support)
5.-s ip:port, set memcached server ip and port
6.-b ip:port, set backup memcached server ip and port
7.-l ip, local bind ip address, default is 0.0.0.0
8.-n number, set max connections, default is 4096
9.-D do not go to background
10.-k use ketama key allocation algorithm
11.-f file, unix socket path to listen on. default is off
12.-i number, max keep alive connections for one memcached server, default is 20
13.-v verbose

二、memcached http://memcached.org/

1. 安装libevent