yii2 redis 哈希批量存入

转载

jojo 2024-09-14 10:21:51

文章标签 yii2 redis 哈希批量存入键值对 sed 链表 文章分类 Redis 数据库

字典

又称符号表，关联数组或者映射，用于保存键值对。
字典中的每个键都是独一无二，不重复

1. 字典实现

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典的一个键值对。
哈希表

table属性是一个数组，每个元素是一个dictEntry结构的指针，每个dictEntry结构保存着一个键值对

typedef struct dictht{
    
    //哈希表数组
    dictEntry **table;
    
    //哈希表大小，即table的大小
    unsigned long size;
    
    //哈希表大小掩码，用于计算索引数
    //总是等于size-1
    unsigned long sizemask;
    
    //该哈希表已有节点的数量
    unsigned long used;
}dictht;

哈希表节点（dictEntry）

结构

typedef struct dictEntry{
    //键
    void* key;
    
    //值
    union{
        void *val;
        uint64_tu64;
        int64_ts64;
    } v;
    
    //指向下个哈希表节点，形成链表
    struct dictEntry *next;
}dictEntry;

v属性则保存着键值对中的值，其中键值对的值可以是一个指针，或者是一个uint64_t整数，又或是一个Int64_t整数
结构图

字典

结构

typedef struct dict{
    
    //类型特定函数
    dictType *type;
    
    //私有数据
    void *privdata;
    
    //哈希表
    dictht ht[2];
    
    //rehash索引
    //当rehash不在进行时，值为-1
    int rehashidx;
}

type属性是一个指向dictType结构的指针，每个dictType结构保存了一簇用于操作特定类型键值对的函数，Redis会为用途不同的字典设置不同的类型特定函数

typedef struct dictType{

    //计算哈希值的函数
    unsigned int (*hashFunction) (const void *key)
    
    //复制键的函数
    void *(*keyDup) (void *privdata,const void *key)
    
    //复制值的函数
    void *(*valDup) (void *privdata,const void *obj)
    
    //对比键的函数
    int (*keyCompare) (void *privdata,const void *key1,const void *key2)
    
    //销毁键的函数
    void (*keyDestructor) (void *privdata,void *key)
    
    //销毁值的函数
    void (*valDestructor) (void *privdata,void *obj)
}

privdata属性保存了需要传给哪些类型特定函数的可选参数
字典只是用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用
rehashidx，记录了rehash目前的进度，如果目前没有进行rehash，值为-1
结构示意图

2. 哈希算法

步骤

先根据key计算出hash值
然后与sizemark取与操作，计算出索引的位置
加入到对应的dictEntry[索引]下

注意点：

由于字典中包含两个哈希表ht[2]，存放的位置有可能在ht的某一个中。

3. 解决键冲突

Redis的哈希表使用链地址法来解决冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成单向链表，解决冲突问题。
dictEntry节点组成的链表没有指向链表表尾的指针，所以为了速度考虑，程序总是将新节点添加到链表的表头位置（时间复杂度为O(1)），排在其他已有节点的前面。
示意图

4. rehash

哈希表的负载因子=ht[0].used/ht[0].size，是变化的
步骤

为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量（ht[0].used属性的值）

如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*2的2的n次方幂大小
如果执行的是收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2的n次方幂大小

当保存在ht[0]中的所有键值对rehash到ht[1]上面；rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上。
当ht[0]包含的所有键值对都迁移到ht[1]之后（ht[0]变为空表)，释放ht[0],将ht[1]设置为ht[0]，并在ht[1]新创建一个空白哈希表，为下一次rehash做准备

哈希表的扩展与收缩

当下面的两个条件的任意条件满足时，程序会自动进行哈希表的扩展或收缩

服务器目前没有执行BGSAVE命令或者BGWRITEAOF命令，并且哈希表的负载因子大于等于1
服务器目前正在执行BGSAVE命令或者BGWRITEAOF命令，并且哈希表的负载因子大于等于5

当哈希表的负载因子小于0.1时，程序自动执行对哈希表的收缩操作

5. 渐进式rehash

设计的目的：为了避免rehash对服务器性能造成影响，服务器不是一次性将ht[0]里面的所有键值对全部rehash到ht[1]，而是分多次、渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1].
步骤

为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表
在字典中维持一个索引计数器变量rehashindex，并将它的值设置为0，表示rehash工作开始。
在rehash进行期间，每次对字典执行添加、删除、查找或者跟新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashindex索引上的所有键值对rehash到ht[1]，当rehash工作完成之后，程序将rehashidx属性的值增1
随着字典操作的不断执行，最终在某个时间点上，ht[0]的所有键值对都会被rehahs至ht[1]，将rehashidx设置为-1，表示完成。