redis作为NoSQL数据库的一种应用,响应速度和命中率上还是比较高效的。项目中需要用集中式可横向扩展的缓存框架,做了一点调研,即便 redis、memcached存在效率上的差异(具体比较参考http://timyang.net/data/mcdb-tt-redis/),但其实都能满足目前项目的需求;但是redis还是比较风骚的,支持链表和集合操作,支持正则表达式查找key,目前项目缓存的结果大多是链表,如果链表新增或者修改数据的话,redis就体现出了极大的优势(memcached只能重新加载链表,redis可以对链表新增或者修改)
1:下载redis
2:安装redis
下载后解压 tar zxvf redis-1.2.6.tar.gz 到任意目录,例如/usr/local/redis-5.0.9
解压后,进入redis目录
cd /usr/local/redis-5.0.9
make
make install
如果失败,可能要安装
拷贝文件
进/usr/local/redis-5.0.9
cp redis.conf /etc/ 这个文件时redis启动的配置文件
再进/src
cp redis-benchmark redis-cli redis-server /usr/bin/ #这个倒是很有用,这样就不用再执行时加上./了,而且可以在任何地方执行
设置内存分配策略(可选,根据服务器的实际情况进行设置)
cat /proc/sys/vm/overcommit_memory
可选值:0、1、2。
sysctl vm.overcommit_memory=1
0,表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
1,表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2,表示内核允许分配超过所有物理内存和交换空间总和的内存
值得注意的一点是,redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent 占用的内存为8G,这个时候也要同样分配8G的内存给child,如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态如何)
开启redis端口,修改防火墙配置文件
vi /etc/sysconfig/iptables
加入端口配置
-A INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
重新加载规则
service iptables restart
3:启动redis服务
[root@Architect redis-1.2.6]# pwd
/usr/local/redis-1.2.6
[root@Architect redis-1.2.6]# redis-server /etc/redis.conf
查看进程,确认redis已经启动
[root@Architect redis-1.2.6]# ps -ef | grep redis
root 401 29222 0 18:06 pts/3 00:00:00 grep redis
root 29258 1 0 16:23 ? 00:00:00 redis-server /etc/redis.conf
查看被6379 占用的端口情况
[root@Architect redis-1.2.6]# netstat -nltp|grep 6379
如果这里启动redis服务失败,一般情况下是因为redis.conf文件有问题,建议检查或找个可用的配置文件进行覆盖,避免少走弯路,这里建议,修改redis.conf,设置redis进程为后台守护进程
# By default Redis does not run as a daemon. Use 'yes' if you need it.
# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.
daemonize yes
4:测试redis
[root@Architect redis-1.2.6]# redis-cli
redis> set name songbin
OK
redis> get name
"songbin"
5:关闭redis服务
redis-cli shutdown
redis服务关闭后,缓存数据会自动dump到硬盘上,硬盘地址为redis.conf中的配置项dbfilename dump.rdb所设定
强制备份数据到磁盘,使用如下命令
redis-cli save 或者 redis-cli -p 6380 save(指定端口)
6.清除数据
flushdb/flushall
fredis> FLUSHALL
redis.conf
timeout设置为0,取消idle客户端
配置文件
/etc/redis.conf 改动的几处:
daemonize yes
timeout 0
logfile /home/jiangguilong/redisdata/redis.log
dbfilename rabbit.rdb
dir /home/jiangguilong/redisdata/
数据库文件
/home/jiangguilong/redisdata/rabbit.rdb
日志文件
/home/jiangguilong/redisdata/redis.log
在make 2.2.5版本的时候会遇到这样的问题,好像是在2.2.8解决了:
Redis version of redis-2.2.7.tar.gz,my linux System is b2d..
error msg:
root@yes7k:/usr/local# cd redis-2.2.7/
root@yes7k:/usr/local/redis-2.2.7# make
cd src && make all
make[1]: Entering directory `/usr/local/redis-2.2.7/src'
cd ../deps/hiredis && make static ARCH=""
make[2]: Entering directory `/usr/local/redis-2.2.7/deps/hiredis'
Make18: 在“else”指令之后含有不该出现的文字
Make27: *** 每个条件只能有一个“else”。 停止。
make[2]: Leaving directory `/usr/local/redis-2.2.7/deps/hiredis'
make[1]: *** [dependencies] 错误 2
make[1]: Leaving directory `/usr/local/redis-2.2.7/src'
make: *** [all] 错误 2
只需要做如下的处理:
vi deps/hiredis/Makefile
Line 18:else ifeq ($(uname_S),Darwin)
modify:elif ifeq ($(uname_S),Darwin)
Redis 命令参考
进入 redis-cli
选择某个库 select 1
看有多少个key
keys *,
返回当前数据库的 key 的数量。
dbsize
flushdb 删除当前库
redis-cli -n 2 flushdb
-n 指定db序号的
flushall 删除所有库
monitor设置监听当前redis服务的所有操作
ping查看是否可以通
info 可以查看redis使用了多少内存
也记录了redis的版本号
/redis-cli info |grep memory
redis默认最大连接数 10000
redis 127.0.0.1:6379> config get max*
5) "maxclients"
6) "10000"
redis-cli --raw 中文输出
启动时如果输出
则
启动时输出
就按照提示来好了,那么,什么是Transparent Huge Pages(THP)透明大页,
把它关掉。问题在于THP如何转移内存以尝试保持或创建连续页面。一些应用程序可以忍受这一点,而大多数数据库则不能,并且它会导致间歇性的性能问题,有些则很糟糕。无论如何,这并不是Redis独有的。
对于您的应用程序,尤其是JAVA,请设置真实的HugePages并保留透明的种类。如果这样做,请确保为应用程序和Redis正确分配了内存。尽管不得不说,我可能不建议在同一实例/服务器/虚拟机上同时运行应用程序和Redis。
内存是由块管理,即众所周知的页面。超大页面是 2MB 和 1GB 大小的内存块。2MB 使用的页表可管理多 GB 内存,而 1GB 页是 TB 内存的最佳选择。红帽企业版 Linux 6 开始就采用了超大页面管理。
超大页面必须在引导时分配。它们也很难手动管理,且经常需要更改代码以便可以有效使用。因此红帽企业版 Linux 也部署了透明超大页面 (THP)。THP 是一个提取层,可自动创建、管理和使用超大页面的大多数方面。THP可以改进系统的性能。
开关文件
cat /sys/kernel/mm/transparent_hugepage/enabled
使用命令查看时,如果输出结果为[always]表示透明大页启用了。[never]表示透明大页禁用、[madvise]表示(只在MADV_HUGEPAGE标志的VMA中使用THP)
存在问题
THP在有些应用场景会出现异常,因此oracle、mongodb、redis等服务都建议关闭这个特性,因为这个可能导致延迟和内存使用问题。
临时解决方法:
RHEL/CentOS可以直接写到/etc/rc.local里面实现开始自动修改
总结
Transparent Huge Pages(THP)可以减少使用超大页面的复杂行,目前THP已在各种系统、配置、程序和负载中测试优化,可以改进大多数系统配置的性能。如果不是必要,或者已知存在问题的服务,还是建议开启来。