一致性hash算法java 一致性hash算法实现

转载

墨守成规de网工 2024-01-16 14:48:49

文章标签 一致性hash算法java 数据结构与算法结点 ide 删除结点 文章分类 Java 后端开发

consistent hashing 是一种 hash 算法，简单的说，在移除 / 添加一个 cache 时，它能够尽可能小的改变已存在 key 映射关系，尽可能的满足单调性的要求。

1.环形结构

通常的 hash 算法都是将 value 映射到一个 32 为的 key 值，也即是 0~2^32-1 次方的数值空间；我们可以将这个空间想象成一个首（ 0 ）尾（ 2^32-1 ）相接的圆环，如下面图所示的那样。

一致性hash算法java 一致性hash算法实现_删除结点

2.把对象映射到环形空间上

接下来考虑 4 个对象 object1~object4 ，通过 hash 函数计算出的 hash 值 key 在环上的分布如图 2 所示。

hash(object1) = key1;

… …

hash(object4) = key4;

一致性hash算法java 一致性hash算法实现_结点_02

3.把cache采用同样的hash算法映射到环上

Consistent hashing 的基本思想就是将对象和 cache 都映射到同一个 hash 数值空间中，并且使用相同的 hash 算法。

假设当前有 A,B 和 C 共 3 台 cache ，那么其映射结果将如图 3 所示，他们在 hash 空间中，以对应的 hash 值排列。

hash(cache A) = key A;

… …

hash(cache C) = key C;

一致性hash算法java 一致性hash算法实现_删除结点_03

4.把对象映射到cache上

现在 cache 和对象都已经通过同一个 hash 算法映射到 hash 数值空间中了，接下来要考虑的就是如何将对象映射到 cache 上面了。

在这个环形空间中，如果沿着顺时针方向从对象的 key 值出发，直到遇见一个 cache ，那么就将该对象存储在这个 cache 上，因为对象和 cache 的 hash 值是固定的，因此这个 cache 必然是唯一和确定的。

那么根据上面的方法，对象 object1 将被存储到 cache A 上； object2 和 object3 对应到 cache C ； object4 对应到 cache B ；

5.删除cache

考虑假设 cache B 挂掉了，根据上面讲到的映射方法，这时受影响的将仅是那些沿 cache B 逆时针遍历直到下一个 cache （ cache C ）之间的对象，也即是本来映射到 cache B 上的那些对象。

因此这里仅需要变动对象 object4 ，将其重新映射到 cache C 上即可；参见图 4 。

一致性hash算法java 一致性hash算法实现_ide_04

6.增加cache

再考虑添加一台新的 cache D 的情况，假设在这个环形 hash 空间中， cache D 被映射在对象 object2 和 object3 之间。这时受影响的将仅是那些沿 cache D 逆时针遍历直到下一个 cache （ cache B ）之间的对象（它们是也本来映射到 cache C 上对象的一部分），将这些对象重新映射到 cache D 上即可。

因此这里仅需要变动对象 object2 ，将其重新映射到 cache D 上；参见图 5

一致性hash算法java 一致性hash算法实现_删除结点_05

7.虚拟节点

考量 Hash 算法的另一个指标是平衡性 (Balance) ，定义如下：

平衡性

平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。

hash 算法并不是保证绝对的平衡，如果 cache 较少的话，对象并不能被均匀的映射到 cache 上，比如在上面的例子中，仅部署 cache A 和 cache C 的情况下，在 4 个对象中， cache A 仅存储了 object1 ，而 cache C 则存储了 object2 、 object3 和 object4 ；分布是很不均衡的。

为了解决这种情况， consistent hashing 引入了“虚拟节点”的概念，它可以如下定义：

“虚拟节点”（ virtual node ）是实际节点在 hash 空间的复制品（ replica ），一实际个节点对应了若干个“虚拟节点”，这个对应个数也成为“复制个数”，“虚拟节点”在 hash 空间中以 hash 值排列。

仍以仅部署 cache A 和 cache C 的情况为例，在图 4 中我们已经看到， cache 分布并不均匀。现在我们引入虚拟节点，并设置“复制个数”为 2 ，这就意味着一共会存在 4 个“虚拟节点”， cache A1, cache A2 代表了 cache A ； cache C1, cache C2 代表了 cache C ；假设一种比较理想的情况，参见图 6 。

一致性hash算法java 一致性hash算法实现_一致性hash算法java_06

下面看一下一致哈希算法的实现

1.一致性hash算法会按hash值的顺时针方向路由到第一个结点上，也就是相当于要在存储结点的有序结构中，按查询的key值找到大于key值中的最小的那个结点。因此，我们应该选择一种数据结构，它应该高效地支持结点频繁地增删，也必须具有理想的查询效率。因此我们选择用map表来实现key-value式的查询与搜索。并根据lower_bound算法实现最近结点的查询。

class CNode_s
{
public:
CNode_s();
CNode_s(char *pIden,int pVNodeCount,char *pData);
int getCVNodeCount();
void setData(char *data);
const char *getiden();
char* getData();
private:
char iden[100];//当前节点的编好
int vNodeCount;//虚拟结点的数量
char data[100];//Ip地址
};
class CVirtualNode_s
{
public:
CVirtualNode_s();
CVirtualNode_s(CNode_s *pnode);
CNode_s* getNode_S();
void setIden(char *str);
char* getIden();
private:
char iden[100];
CNode_s *node;//指向实际节点的指针
};
class CConHash
{
public:
CConHash(CHashFun *pFunc);
int addNode_s(CNode_s* pNode);//增加结点
int delNode_s(CNode_s* pNode);//删除结点
CVirtualNode_s* lookupNode_s(const char* object);//查询最近的结点
private:
CHashFun *func;
int vNodes;
map vnode_tree;//key是虚拟结点hash后的key值，CVirtualNode_s是虚拟节点，通过虚拟结点指针可以很方便的找到实际结点
typedef pair PAIR;
};

一下是执行后的结果