Redis:

KV cache and store

in-memory 所有工作在内存中进行,

支持持久化

支持主从(借助于sentinel实现一定意义上的HA)

支持Clustering(分布式集群)

 

Redis数据类型

String(字符串), List(列表), Hash(哈希值), Set(集合), Sorted Set(有序集合), Bitmap, HyperLoglog 


Redis的组件:


Redis守护进程:

监听端口:6379/tcp

 

Strings:

SET key value [EX #] [NX|XX]

GET

INCR

DECR

EXIST

 

Lists:

LPUSH

RPUSH

LPOP

RPOP

LINDEX

LSET

 

Sets:

SADD

SINTER

SUNION

SPOP

SISMEMBER

 

Sorted Sets:

ZADD

ZRANGE

ZCARD

ZRANK

 

Hashes:

HSET

HSETNX

HGET

HKEYS

HVALS

HDEL

 

Bitmaps, HyperLogLog

 

认证实现方法:

(1) redis.conf

requirepass PASSWORD

 

(2) redis-cli

AUTH PASSWORD

 

清空数据库:

FLUSHDB:清空当前库

FLUSHALL:清空所有库

 

事务:

通过MULTI, EXEC, WATCH等命令实现事务功能;将一个或多个命令归并为一个操作提请服务器按顺序执行的机制;不支持回滚操作;

MULTI启动一个事务;

EXEC: 执行事务;

一次性将事务中的所有操作执行完成后返回给客户端; 

WATCH乐观锁;在EXEC命令执行之前,用于监视指定数量键;如果监视中的某任意键数据被修改,则服务器拒绝执行事务;

 

Connection(连接端)相关的命令:

wKiom1cST06x4Y7eAABl8JZMh0k255.jpg

 

Server(服务端)相关的命令:

CLIENT SETNAME connection-name

CLIENT GETNAME

CLIENT KILL ip:port

 

CONFIG GET

CONFIG RESETSTAT

CONFIG SET parameter value

CONFIG REWRITE 

DBSIZE

  

BGSAVE

SAVE

LASTSAVE

 

发布与订阅(publish/subscribe)

频道:消息队列 

SUBSCRIBE订阅一个或多个队列;

PUBLISH向频道发布消息;

UNSUBSCRIBE:退订此前订阅的频道;

PSUBSCRIBE:模式订阅

 

Redis的持久化2种方式:

RDBAOF


RDB: snapshot,二进制格式;按事先定制的策略,周期性地将数据保存至磁盘;数据文件默认为dump.rdb; 

客户端也可显式使用SAVABGSAVE命令启动快照保存机制;

          SAVE同步,在主线程中保存快照;此时会阻塞所有客户端请求;

          BGSAVE:异步,


RDB # vim /etc/redis.conf  相关参数

快照触发条件 

SAVE 900 1             //900秒1个key

SAVE 300 10           //300秒  10个KEY 

SAVE 60 10000     // 60 秒  1万个KEY 

stop-writes-on-bgsave-error yes    //异步错误时停止写操作

rdbcompression yes                        //压缩

rdbchecksum yes

dbfilename dump.rdb

dir /var/lib/redis                             //dump.rdb 文件的保存目录 



AOFAppend Only File

记录每一次写操作至指定的文件尾部实现持久化;当redis重启时,可通过重新执行文件中的命令在内存重建数据库;

              BGREWRITEAOFAOF文件重写;

不会读取正在使用AOF文件,而通过将内存中的数据以命令的方式保存到临时文件中,完成之后替换原来的AOF文件; 

AOF:

重写过程:

(1) redis主进程通过fork创建子进程;

(2) 子进程根据redis内存中的数据创建数据库重建命令序列于临时文件中;

(3) 父进程继承client的请求,并会把这些请求中的写操作继续追加至原来AOF文件;额外地,这些新的写请求还会被放置于一个缓冲队列中;

(4) 子进程重写完成,会通知父进程;父进程把缓冲中的命令写到临时文件中

(5) 父进程用临时文件替换老的aof文件;

 

相关参数:

appendonly no                                     //还没有打开aof, 改为yes 启用

appendfilename "appendonly.aof"       

appendfsync {always|everysec|no}            //同步时选项,建议用everysec

no-appendfsync-on-rewrite no                    

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

 

注意:持久本身不能取代备份;还应该制定备份策略,对redis数据库定期进行备份;

假如RDBAOF同时启用:

(1) BGSAVEBGREWRITEAOF不会同时执行;

(2) Redis服务器启动用于恢复数据时,会优先使用AOF

 ========================================================================================================

redis的复制:

特点:

一个Master可以有多个Slave

支持链式复制;

Master以非阻塞方式同步数据至slave

 

slave 服务器连接

> SLAVAOF MASTER_IP MASTER_PORT

 

注意:如果master使用requirepass开启了认证功能,从服务器要使用masterauth <PASSWORD>来连入服务请求使用此密码进行认证;

 

sentinel(哨兵监控机)用来管理多个redis服务实现HA

监控

通知

自动故障转移

流言协议,投票协议

 

程序:

redis-sentinel /path/to/file.conf

redis-server  /path/to/file.conf --sentinel

 

(1) 服务器自身初始化,运行redis-server中专用于sentinel功能的代码;

(2) 初始化sentinel状态,根据给定的配置文件,初始化监控的master服务器列表;

(3) 创建连向master的连接;

 

专用配置文件:/etc/redis-sentinel.conf

 

             指明要被监控的主节点

(1) # sentinel monitor <master-name> <ip> <redis-port> <quorum>

sentinel monitor mymaster 127.0.0.1 6379 2   2为法定票数

 

             判断某个节点的超时时长      

(2) sentinel down-after-milliseconds <master-name> <milliseconds>

               sentinel down-after-milliseconds mymaster 30000

 

             刚刚上线的主服务器,被允许有几个从服务器连接请求

(3) sentinel parallel-syncs <master-name> <numslaves>

 sentinel parallel-syncs mymaster 1

 

             故障转移的操时时间

(4) sentinel failover-timeout <master-name> <milliseconds>

   sentinel failover-timeout mymaster 180000

 

 主观下线,客观下线:

 主观下线:一个sentinel实例判断出某节点下线;

 客观下线:多个sentinel节点协商后判断出某节点下线;

 

 专用命令:

 SENTINEL masters

 SENTINEL slaves <master name>

 SENTINEL get-master-addr-by-name <master name>

 SENTINEL reset

 SENTINEL failover <master name>

 

 Clustering

 分布式数据库,通过分片机制进行数据分布,clustering内的每个节点仅数据库的一部分数据;

 每个节点持有全局元数据,但仅持有一部分数据;

 

 

作为一种基数统计算法,比如统计一个千万级别以上的访问日志文件中不同IP出现的次数,传统实现方式是把文件中的所有IP取出并存储到hash set中,计算总数即可。不过,处理海量数据的时,对内存的占用量将会特别大,因此就有了所谓的位图法。位图可以快速、准确地获取一个给定输入的基数。位图的基本思想是使用哈希函数把数据集映射到一个bit位,每个输入元素与bit位是一一对应。这样Hash将没有产生碰撞冲突,并减少需要计算每个元素映射到1bit的空间。虽然Bitmap大大节省了存储空间,但当统计很高的基数或非常大的不同的数据集,它们仍然有问题。好在基数统计作为一个新兴的领域,业已出现不少开源算法,基数统计算法的思想是用准确率换取空间,准确率可以稍稍差一点点,但是可以大大的缩减占用的空间。例如,目前3个比较有代表的算法是:Java HashSetLinear Probabilistic Counter以及一个Hyper LogLog Counter

 

redis 试验

192.168.2.46 主服务器

192.168.2.26 从服务器

192.168.2.100 从服务器

 

192.168.2.24 监控服务器

 

第一步:

(1)从服务器192.169.2.26 的配置文件redis.conf

     bind 192.168.2.26   监听自己

     slaveof 192.168.2.46 6379   改为连接的主服务器IP,   持久连接

 

(2)进入从服务器连接连接主服务器:

# redis-cli -h 192.168.2.26

192.168.2.26:6379> SLAVEOF 192.168.2.46 6379   连接主服务器

OK

192.168.2.26:6379> INFO REPLICATION

# Replication

role:slave

master_host:192.168.2.46

master_port:6379

master_link_status:up

master_last_io_seconds_ago:5

master_sync_in_progress:0

slave_repl_offset:15

slave_priority:100

slave_read_only:1

connected_slaves:0

master_repl_offset:0

repl_backlog_active:0

repl_backlog_size:1048576

repl_backlog_first_byte_offset:0

repl_backlog_histlen:0

 

(3)测试:主服务器添加一个KEY测试。

192.168.2.46:6379> set mykey hello

OK

192.168.2.46:6379> keys *

1) "mykey"

192.168.2.46:6379> 

 

(4)从服务器查看

192.168.2.26:6379> KEYS *

1) "mykey"

 

第二步

 (1)从服务器192.169.2.100 的配置文件redis.conf

     bind 192.168.2.100   监听自己

     slaveof 192.168.2.46 6379   改为连接的主服务器IP,会持久连接

 

 (2)连接从服务器,后连接主服务器192.168.2.46 端口为6397

[root@centos ~]# redis-cli -h 192.168.2.100

192.168.2.100:6379> SLAVEOF 192.168.2.46 6379

OK Already connected to specified master

192.168.2.100:6379> INFO REPLICATION

# Replication

role:slave

master_host:192.168.2.46

master_port:6379

master_link_status:up

master_last_io_seconds_ago:4

master_sync_in_progress:0

slave_repl_offset:295

slave_priority:100

slave_read_only:1

connected_slaves:0

master_repl_offset:0

repl_backlog_active:0

repl_backlog_size:1048576

repl_backlog_first_byte_offset:0

repl_backlog_histlen:0

 (3)查看同步的KEY

192.168.2.100:6379> keys *

1) "mykey"

 

注意如果主服务器使用了requirepass 开始了认证功能,那从服务器要使用masterauth <password> 来连接

 

 

主服务器查看加入进的从服务器 

[root@test1 ~]# redis-cli -h 192.168.2.46

192.168.2.46:6379> INFO REPLICATION

# Replication

role:master

connected_slaves:2

slave0:ip=192.168.2.100,port=6379,state=online,offset=421,lag=1

slave1:ip=192.168.2.26,port=6379,state=online,offset=421,lag=1

master_repl_offset:421

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:2

repl_backlog_histlen:420

192.168.2.46:6379> 

 

上面显示 192.168.2.100     192.168.2.26 已经连接为从服务器

 

第三步: 监控服务器  编辑redis-sentinel.conf

 

# vim /etc/redis-sentinel.conf 

sentinel monitor mymaster 192.168.2.46 6379 1

sentinel down-after-milliseconds mymaster 5000

sentinel failover-timeout mymaster 60000

sentinel config-epoch mymaster 1

 

启动redis-sentinel服务

# service redis-sentinel restart

 

# redis-cli -h 192.168.2.24 -p 26379

192.168.2.24:26379> sentinel masters  查看主服务器地址

192.168.2.24:26379> SENTINEL slaves mymaster   查看主服务器的从节点

                                       mymaster 为主从这个组的名,可以自己改

 

如果主服务192.168.2.46 下线,会自已选一个从服务器变成主。192.168.2.46在次上线还是为从,只有自己手动改为主。