在搭建一套环境时偶然接触到memcache这个东西,下面我们就来谈谈什么是memcache,什么时候使用memcache,怎么安装memcache!


1.什么是memcache

Memcache是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。它可以应对任意多个连接,使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自管理这些HashTable。

2.为什么要使用memcache

由于网站的高并发读写需求,传统的关系型数据库开始出现瓶颈,例如:
1
)对数据库的高并发读写:
关系型数据库本身就是个庞然大物,处理过程非常耗时(如解析SQL语句,事务处理等)。如果对关系型数据库进行高并发读写(每秒上万次的访问),那么它是无法承受的。
2
)对海量数据的处理:
对于大型的SNS网站,每天有上千万次的苏剧产生(如twitter, 新浪微博)。对于关系型数据库,如果在一个有上亿条数据的数据表种查找某条记录,效率将非常低。
使用memcache能很好的解决以上问题。
在实际使用中,通常把数据库查询的结果保存到Memcache中,下次访问时直接从memcache中读取,而不再进行数据库查询操作,这样就在很大程度上减少了数据库的负担。
保存在memcache中的对象实际放置在内存中,这也是memcache如此高效的原因。wKioL1YXbg-iKoKLAAEUuig5Ru4260.jpg

3.关于libevent的事件处理

libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能 封装成统一的接口。即使对服务器的连接数增加,也能发挥O(1)的性能。
memcached
使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
参考:
libevent:http://www.monkey.org/~provos/libevent/
The C10K Problem: http://www.kegel.com/c10k.html


4.cache如何支持高并发(此处还需深入研究)

memcache使用多路复用I/O模型,如(epoll, select等),传统I/O中,系统可能会因为某个用户连接还没做好I/O准备而一直等待,知道这个连接做好I/O准备。这时如果有其他用户连接到服务器,很可能会因为系统阻塞而得不到响应。

而多路复用I/O是一种消息通知模式,用户连接做好I/O准备后,系统会通知我们这个连接可以进行I/O操作,这样就不会阻塞在某个用户连接。因此,memcache才能支持高并发。

此外,memcache使用了多线程机制。可以同时处理多个请求。线程数一般设置为CPU核数,这研报告效率最高。

Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端口开启多个Memcached进程



wKiom1YXbtTDQverAACHlS8_qJM858.jpg

5.memcache的安装详解

注意:安装路径根据实际情况修改

准备安装文件

下载memcachedlibevent的安装文件(文件夹内已经下载好了memcachedlibevent

http://memcached.org/

http://libevent.org/

注意,linux一般都带有libevent,如果版本过老则考虑更新版本,如果版本不老那么没必要安装libevent

  1. 安装libevent(可选)

由于memcached依赖于libevent,因此需要安装libevent。由于linux系统可能默认已经安装libevent,执行命令:

rpm -qa|grep libevent 查看当前系统中libevent安装的版本

查看系统是否带有该安装软件,如果有且版本比较老,则执行命令:

rpm -e libevent-1.4.13-4.el6.x86_64 --nodeps(由于系统自带的版本旧,忽略依赖删除)

 

安装libevent命令:

tar zxvflibevent-2.0.22-stable.tar.gz

cdlibevent-2.0.22-stable

./configure--prefix=/usr/local/libevent

make

makeinstall

至此libevent安装完毕;


安装memcache

tar xvfmemcached-1.4.24.tar.gz (这个包有点问题,所以不加z)

cdmemcached-memcached-1.4.24

./configure--prefix=/usr/local/memcached --with-libevent=

/usr/local/libevent/

make

makeinstall

  至此memcached安装完毕;

  1. 可能存在的错误以及解决方案

  如果出现客户端连接不上memcached的情况,请将防火墙关闭或将防火墙中的memcached端口(11211端口)打开。

  make&& make install时,报错,make: *** No targets specified and no makefile found.  Stop.

重新./configure --prefix=/usr/local/memcached会发现checkingfor libevent directory... configure: error: libevent is required.

查看系统安装的libevent

# rpm -qa | grep libevent

已经安装,然后升级

#yum -y install libevent

测试libevent是不是已经安装成功

# ls -al /usr/lib | grep libevent

可以看到多个已经安装的类包,然后再安装memcached,编译依旧通不过,

  安装时报:checkingfor libevent directory... configure: error: libevent is required. You can getit from http://www.monkey.org/~provos/libevent/

 If it's alreadyinstalled, specify its path using --with-libevent=/dir/

因为libevent这个包是系统默认安装的,没有安装相应的开发所用的头文件。

所以,还要使用如下命令来安装:

yum install libevent-devel

然后再重新安装下memcachedOK

  1. memcached加入启动项

# vi /etc/rc.local

在最后加入/usr/local/memcached/bin/memcached -d -m 128 -l 127.0.0.1-p 11211 -u root

  1. 启动memcached

打开一个终端,输入以下命令:

/usr/local/memcached/bin/memcached -d -m 128 -u root -p11211 -c 1024 –P /tmp/memcached.pid

  1. 停止memcached

打开一个终端,输入以下命令:

ps -ef | grep memcached或者上面的ps命令也行,第二个字段为PID,比如10068

输入一下命令终止memcached服务

kill -9 10068

 

附:

启动参数说明:

-d 选项是启动一个守护进程。

-u root 表示启动memcached的用户为root。

-m 是分配给Memcache使用的内存数量,单位是MB,默认64MB。

-M return error on memory exhausted (rather than removingitems)

-u 是运行Memcache的用户,如果当前为root 的话,需要使用此参数指定用户。

-p 是设置Memcache的TCP监听的端口,最好是1024以上的端口。

-c 选项是最大运行的并发连接数,默认是1024。

-P 是设置保存Memcache的pid文件。

 

另外还有个更详细的参数说明:

memcached 1.4.2

-p <num>     监听的TCP端口(默认: 11211)

-U <num>     监听的UDP端口(默认: 11211, 0表示不监听)

-s <file>    用于监听的UNIX套接字路径(禁用网络支持)

-a <mask>    UNIX套接字访问掩码,八进制数字(默认:0700)

-l <ip_addr> 监听的IP地址。(默认:INADDR_ANY,所有地址)

-d            作为守护进程来运行。

-r            最大核心文件限制。

-u <username> 设定进程所属用户。(只有root用户可以使用这个参数)

-m <num>     单个数据项的最大可用内存,以MB为单位。(默认:64MB)

-M            内存用光时报错。(不会删除数据)

-c <num>     最大并发连接数。(默认:1024)

-k            锁定所有内存页。注意你可以锁定的内存上限。

              试图分配更多内存会失败的,所以留意启动守护进程时所用的用户可分配的内存上限。

              (不是前面的 -u <username> 参数;在sh下,使用命令"ulimit -S -l NUM_KB"来设置。)

-v            提示信息(在事件循环中打印错误/警告信息。)

-vv           详细信息(还打印客户端命令/响应)

-vvv          超详细信息(还打印内部状态的变化)

-h            打印这个帮助信息并退出。

-i            打印memcached和libevent的许可。

-P <file>    保存进程ID到指定文件,只有在使用 -d 选项的时候才有意义。

-f <factor>  块大小增长因子。(默认:1.25)

-n <bytes>   分配给key+value+flags的最小空间(默认:48)

-L            尝试使用大内存页(如果可用的话)。提高内存页尺寸可以减少"页表缓冲(TLB)"丢失次数,提高运行效率。

              为了从操作系统获得大内存页,memcached会把全部数据项分配到一个大区块。

-D <char>     使用 <char> 作为前缀和ID的分隔符。

              这个用于按前缀获得状态报告。默认是":"(冒号)。

              如果指定了这个参数,则状态收集会自动开启;如果没指定,则需要用命令"stats detailon"来开启。

-t <num>     使用的线程数(默认:4)

-R            每个连接可处理的最大请求数。

-C            禁用CAS。

-b            设置后台日志队列的长度(默认:1024)

-B            绑定协议 - 可能值:ascii,binary,auto(默认)

-I            重写每个数据页尺寸。调整数据项最大尺寸。

也可以启动多个守护进程,但是端口不能重复

查看memcached启动命令

ps aux|grep memcached