redis和共享内存 redis 共享对象

转载

mob6454cc73e9a6 2023-07-08 20:49:54

文章标签 redis和共享内存 Redis对象 Redis 字符串有序集合 文章分类 Redis 数据库

Redis包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象

Redis的对象系统实现了基于引用计数技术的内存回收机制，当程序不再使用某个对象的时候，这个对象所占用的内存就会被自动释放，还通过引用计数技术实现了对象共享机制，这一机制可以在适当的条件下，通过让多个数据库键共享同一个对象来节约内存

Redis的对象带有访问时间记录信息，该信息可以用于计算数据库建的空转时长，在服务器启用了maxmemory功能的情况下，空转时长较大的那些键可能会优先被服务器删除

1、对象的类型与编码

Redis中的每个对象都由一个redisObject结构表示

typedef struct redisObject{
	// 类型
	unsigned type:4;
    
	// 编码
	unsigned encoding:4;
    
	// 指向底层数据结构的指针
	void *ptr;
    
	// 引用计数
	int refcount;
    
	// 记录最后一次被程序访问的时间
	unsigned lru:22;
 
}robj;

1）、类型

对象的type属性记录了对象的类型

类型常量	对象的名称	TYPE命令的输出
REDIS_STRING	字符串对象	“string”
REDIS_LIST	列表对象	“list”
REDIS_HASH	哈希对象	“hash”
REDIS_SET	集合对象	“set”
REDIS_ZSET	有序集合对象	“zset”

在Redis中，键总是一个字符串对象，而值可以是字符串、列表、集合等对象，所以我们通常说的键为字符串键，表示的是这个键对应的值为字符串对象，我们说一个键为集合键时，表示的是这个键对应的值为集合对象

2）、编码和底层实现

对象的ptr指针指向对象的底层实现数据结构，而这些数据结构由对象的encoding属性决定

对象的编码

redis和共享内存 redis 共享对象_有序集合

每种类型的对象都至少使用了两种不同的编码

redis和共享内存 redis 共享对象_有序集合_02

通过以下命令可以查看一个数据库键的值对象的编码

OBJECT ENCODING key

2、字符串对象

字符串对象的编码可以是int、raw或者embstr

1）、int编码

如果一个字符串对象保存的是整数值，并且这个整数值可以用long类型来表示，那么字符串对象会将整数值保存在字符串对象结构的ptr属性里面，并将字符串对象的编码设置为int

127.0.0.1:6379> SET number 10086
OK
127.0.0.1:6379> OBJECT ENCODING number
"int"

redis和共享内存 redis 共享对象_redis和共享内存_03

2）、raw编码

如果字符串对象保存的是一个字符串值，并且这个字符串值的长度大于39字节，那么字符串对象将使用一个简单动态字符串（SDS）来保存这个字符串值，并将对象的编码设置为raw

127.0.0.1:6379> SET story "Long , long, long ago there lived a king ..."
OK
127.0.0.1:6379> STRLEN story
(integer) 44
127.0.0.1:6379> OBJECT ENCODING story
"embstr"

redis和共享内存 redis 共享对象_有序集合_04

3）、embstr编码

如果字符串对象保存的是一个字符串值，并且这个字符串的长度小于等于39字节，那么字符串对象将使用embstr编码的方式来保存这个字符串值

embstr编码和raw编码都使用redisObject结构和sdshdr结构来表示字符串对象，但raw编码会调用两次内存分配函数来分别创建redisObject结构和sdshdr结构，而embstr编码则通过调用一次内存分配函数来分配一块连续的空间，空间中依次包含redisObject结构和sdshdr两个结构

embstr编码产生的内存块结构：

redis和共享内存 redis 共享对象_Redis_05

embstr编码的字符串对象来保存短字符串值有以下好处：

embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次
释放embstr编码的字符串对象只需要调用一次内存释放函数，而释放raw编码的字符串对象需要调用两次内存释放函数
因为embstr编码的字符串对象的所有数据都保存在一块连续的内存里面，所以这种编码的字符串对象比起raw编码的字符串对象能够更好地利用缓存带来的优势

127.0.0.1:6379> SET msg "hello"
OK
127.0.0.1:6379> OBJECT ENCODING msg
"embstr"

redis和共享内存 redis 共享对象_Redis对象_06

可以用long double类型表示的浮点数在Redis中也是作为字符串值来保存的

4）、编码的转换

对于int编码的字符串对象来说，如果向这个对象执行了一些命令，使得这个对象保存的不再是整数值，而是一个字符串值，那么字符串对象的编码将从int变为raw

127.0.0.1:6379> SET number 10086
OK
127.0.0.1:6379> OBJECT ENCODING number
"int"
127.0.0.1:6379> APPEND number " is a good number!"
(integer) 23
127.0.0.1:6379> GET number
"10086 is a good number!"
127.0.0.1:6379> OBJECT ENCODING number
"raw"

因为Redis没有为embstr编码的字符串对象编写任何相应的修改程序，所以embstr编码的字符串对象实际上是只读的。当我们对embstr编码的字符串对象执行任何修改命令时，程序会先将对象的编码从embstr转换成raw，然后再执行修改命令。因为这个原因，embstr编码的字符串对象在执行修改命令之后，总会变成一个raw编码的字符串对象

127.0.0.1:6379> SET msg "hello world"
OK
127.0.0.1:6379> OBJECT ENCODING msg
"embstr"
127.0.0.1:6379> APPEND msg " again!"
(integer) 18
127.0.0.1:6379> OBJECT ENCODING msg
"raw"

3、列表对象

列表对象的编码可以是ziplist或者linkedlist

1）、ziplist编码

ziplist编码的列表对象使用压缩列表作为底层实现，每个压缩列表节点保存了一个列表元素

127.0.0.1:6379> RPUSH numbers 1 "three" 5
(integer) 3

redis和共享内存 redis 共享对象_字符串_07

2）、linkedlist编码

linkedlist编码的列表对象使用双端链表作为底层实现，每个双端链表节点都保存了一个字符串对象，而每个字符串对象都保存了一个列表元素

redis和共享内存 redis 共享对象_redis和共享内存_08

3）、编码转换

当列表对象可以同时满足以下两个条件时，列表对象使用ziplist编码

列表对象保存的所有字符串元素的长度都小于64字节
列表对象的元素数量小于512个

不能满足这两个条件的列表对象需要使用linkedlist编码

4、哈希对象

哈希对象的编码可以是ziplist或者hashtable

1）、ziplist编码

ziplist编码的哈希对象使用压缩列表作为底层实现，每当有新的键值对要加入到哈希对象时，程序会先将保存了键的压缩列表节点推入到压缩列表表尾，然后再将保存了值的压缩列表节点推入到压缩列表表尾，因此：

保存了同一键值对的两个节点总是紧挨在一起，保存键的节点在前，保存值的节点在后
先添加到哈希对象中的键值对会被放在压缩列表的表头方向，而后来添加到哈希对象中的键值对会被放在压缩列表的表尾方向

redis和共享内存 redis 共享对象_Redis_09

redis和共享内存 redis 共享对象_redis和共享内存_10

2）、hashtable编码

hashtable编码的哈希对象使用字典作为底层实现，哈希对象中的每个键值对都使用一个字典键值对来保存

字典的每个键都是一个字符串对象，对象中保存了键值对的键
字典的每个值都是一个字符串对象，对象中保存了键值对的值

redis和共享内存 redis 共享对象_有序集合_11

3）、编码转换

当哈希对象可以同时满足以下两个条件时，哈希对象使用ziplist编码：

哈希对象保存的所有键值对的键和值的字符串长度都小于64字节
哈希对象保存的键值对数量小于512个

不能满足这两个条件的哈希对象需要使用hashtable编码

5、集合对象

集合对象的编码可以是intset或者hashtable

1）、intset编码

intset编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合里面

redis和共享内存 redis 共享对象_Redis对象_12

2）、hashtable编码

hashtable编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，每个字符串对象包含了一个集合元素，而字典的值则全部被设置为NULL

redis和共享内存 redis 共享对象_有序集合_13

3）、编码的转换

当集合对象可以同时满足以下两个条件时，对象使用intset编码：

集合对象保存的所有元素都是整数值
集合对象保存的元素数量不超过512个

不能满足这两个条件的集合对象需要使用hashtable编码

6、有序集合对象

有序集合对象的编码可以是ziplist或者skiplist

1）、ziplist编码

ziplist编码的有序集合对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员，而第二个元素则保存元素的分值

压缩列表内的集合元素按分值从小到大进行排序，分值较小的元素被放置在靠近表头的位置，而分值较大的元素则被放置在靠近表尾的位置

redis和共享内存 redis 共享对象_redis和共享内存_14

redis和共享内存 redis 共享对象_Redis_15

2）、skiplist编码

skiplist编码的有序集合对象使用zset结构作为底层实现，一个zset结构同时包含一个字典和一个跳跃表：

typedef struct zset{
	// 跳跃表
	zskiplist *zsl;
     
	// 字典
	dict *dice;
}zset;

zset结构中的zsl跳跃表按分值从小到大保存了所有集合元素，每个跳跃表节点都保存了一个集合元素：跳跃表节点的object属性保存了元素的成员，而跳跃表节点的score属性则保存了元素的分值

zset结构中的dict字典为有序集合创建了一个从成员到分值的映射，字典中的每个键值对都保存了一个集合元素：字典的键保存了元素的成员，而字典的值则保存了元素的分值。通过这个字典，程序可以用O(1)复杂度查找给定成员的分值

有序集合每个元素的成员都是一个字符串对象，而每个元素的分值都是一个double型的浮点数，虽然zset结构同时使用跳跃表和字典来保存有序集合元素，但这两种数据结构都会通过指针来共享相同元素的成员和分值，所以同时使用跳跃表和字典来保存集合对象不会产生任何重复成员或者分值，也不会因此而浪费额外的内存

为什么有序集合需要同时使用跳跃表和字典来实现？
假如单独使用字典，虽然能以O(1)的时间复杂度查找成员的分值，但是因为字典是以无序的方式来保存集合元素，所以每次进行范围操作的时候都要进行排序；假如单独使用跳跃表来实现，虽然能执行范围操作，但是查找操作有O(1)的复杂度变为了 $redis和共享内存 redis 共享对象_字符串_16$

redis和共享内存 redis 共享对象_Redis对象_17

redis和共享内存 redis 共享对象_Redis对象_18

3）、编码转换

当有序集合对象可以同时满足以下两个条件时，对象使用ziplist编码：

有序集合保存的元素数量小于128个
有序集合保存的所有元素成员的长度都小于64字节

不能满足以下两个条件的有序集合对象将使用skiplist编码

7、类型检查与命令多态

Redis中使用操作键的命令基本上可以分为两种类型：一种命令可以对任何类型的键执行，另一种命令只能对特定类型的键执行

1）、类型检查的实现

为了确保只有指定类型的键可以执行某些特定的命令，在执行一个类型特定的命令之前，Redis会先检查输入键的类型是否正确，然后再决定是否执行给定的命令，类型特定命令所进行的类型检查是通过redisObject结构的type属性来实现的：

在执行一个类型特定命令之前，服务器会先检查输入数据库键的值对象是否为执行命令所需要的类型，如果是的话，服务器就对键执行指定的命令
否则，服务器将拒绝执行命令，并向客户端返回一个类型错误

redis和共享内存 redis 共享对象_有序集合_19

2）、多态命令的实现

Redis除了会根据值对象的类型来判断键是否能够执行指定命令之外，还会根据对象的编码方式，选择正确的命令实现代码来执行命令

如果对一个键执行LLEN命令，那么服务器除了要确保执行命令的是列表建之外，还需要根据键的值对象所使用的编码来选择正确的LLEN命令实现：

如果列表对象的编码为ziplist，那么说明列表对象的实现为压缩列表，程序将使用ziplistLen函数来返回列表的长度
如果列表对象的编码为linkedlist，那么说明列表对象的实现为双端链表，程序将使用listLength函数来返回双端链表的长度

redis和共享内存 redis 共享对象_redis和共享内存_20

DEL、EXPIRE等命令和LLEN等命令的区别在于，前者是基于类型的多态——一个命令可以同时用于处理多种不同类型的键，而后者是基于编码的多态——一个命令可以同时用于处理多种不同编码

8、内存回收

Redis在自己的对象系统中构建了一个引用计数技术实现的内存回收机制，通过这一机制，程序可以通过跟踪对象的引用计数信息，在适当的时候自动释放对象并进行内存回收

typedef struct redisObject{
	// 引用计数
	int refcount;
    
	// ...
 
}robj;

对象的引用计数信息会随着对象的使用状态而不断变化：

创建一个新对象，属性refcount初始化为1
对象被一个新程序使用，属性refcount加1
对象不再被一个程序使用，属性refcount减1
当对象的引用计数值变为0时，对象所占用的内存就会被释放

对象的整个生命周期可以划分为创建对象、操作对象、释放对象三个阶段

9、对象共享

对象的引用计数属性还带有对象共享的作用

在Redis中，让多个键共享同一个值对象需要执行以下两个步骤：

1）将数据库键的值指针指向一个现有的值对象

2）将被共享的值对象的引用计数增一

未被共享的字符串对象：

redis和共享内存 redis 共享对象_字符串_21

被共享的字符串对象：

redis和共享内存 redis 共享对象_redis和共享内存_22

Redis会在初始化服务器时，创建一万个字符串对象，这些对象包含了从0到9999的所有整数值，当服务器需要用到值0到9999的字符串对象时，服务器就会使用这些共享对象，而不是新创建对象

为什么Redis不共享包含字符串的对象？
当服务器考虑将一个共享对象设置为键的值对象时，程序需要先检查给定的共享变量和键想创建的目标对象是否完全相同，只有在共享对象和目标对象完全相同的情况下，程序才会将共享变量用作键的值对象，而一个共享对象保存的值越复杂，验证共享对象和目标对象是否相同所需的复杂度就会越高，消耗的CPU时间也会越多
如果共享对象是保存整数值的字符串对象，消耗的CPU时间也会越多
如果共享对象是保存字符串值的字符串对象，那么验证操作的复杂度为O(1)
如果共享对象是包含了多个值的独享，比如列表对象或者哈希对象，那么验证操作的复杂度将会使 $redis和共享内存 redis 共享对象_Redis_23$
尽管共享更复杂的对象可以节约更多的内存，但受到CPU时间的限制，Redis只对包含整数值的字符串对象进行共享

10、对象的空转时长

redisObject的lru属性记录最后一次被程序访问的时间

typedef struct redisObject{
	// 记录最后一次被程序访问的时间
	unsigned lru:22;
    
	// ...
 
}robj;

OBJECT IDLETIME命令可以打印出给定键的空转时长，这一空转时长就是童工将当前时间减去键的值对象的lru时间计算得出的：

127.0.0.1:6379> SET msg "hello world"
OK
# 等待一段时间
127.0.0.1:6379> OBJECT IDLETIME msg
(integer) 16
# 再等待一段时间
127.0.0.1:6379> OBJECT IDLETIME msg
(integer) 49