创建表 语法：create , {NAME =><family> , VERSIONS => <VERSIONS> } create 'User','info' 查看所有表 list 查看表详情 describe 'User' 删除指定的列族 alter 'User','delete'=>'info ...
转载
2021-10-10 21:29:00
27阅读
2评论
安装及使用布隆过滤器以前的文章有布隆去重的原理，今天来个使用 Redis5中BloomFilter和Redisson 安装及使用Centos7 上 Redis 5.x 安装及使用布隆过滤器（BloomFilter ）1 进入redis安装目录：cd /usr/local/redis-5.0.4
2. 下载插件： git clone https://github.com/RedisBloom/Re
转载
2023-06-25 20:58:17
174阅读
4.1 Bloom算法
原创
精选
2023-12-01 14:34:15
278阅读
# Spring Boot与Redis布隆过滤器的结合
在互联网的快速发展中，数据处理和存储的需求越来越高。为了提高数据查找的效率和节省内存，布隆过滤器（Bloom Filter）作为一种空间效率极高的数据结构，越来越受到开发者的青睐。本文将介绍如何在Spring Boot项目中结合Redis来实现布隆过滤器，并提供相关的代码示例和流程甘特图。
## 什么是布隆过滤器？
布隆过滤器是一种概率
原创
2024-08-28 06:28:12
96阅读
最近研究元素算法，稍微总结一下，以后继续补充：快速判断item是否存在于一个集合中。hbase使用bloomfilter算法，用blockID去regionMeta中判断是否分布在某个region中。http://www.eecs.harvard.edu/~michaelm/NEWWORK/postscripts/BloomFilterSurvey.pdf核心要点：使用hash，增加状态位的存储容量使用多次hash，增加hash冲突，增加误判律掷中bloomfilter，不代表元素必定存在。但不掷中bloomfilter，代表元素必定不存在。适用于90％情况下不掷中的场景 算法：int max
转载
2013-05-18 18:42:00
115阅读
2评论
BP算法求解参数w的算法，神经网络的基础，权重的学习算法都是BP学习算法信号“正向传播(FP)”求损失，“反向传播(BP)”回传误差；根据误差值修改每层的权重，继续迭代输出层误差O代表预测结果，d代表真实结果；系数是为了方便求导时计算隐层的误差netk是当前神经元的wx的结果；f(net)是激活函数，yj代表上一层隐层的输出值输入层误差推导过程Python实现BP神经网络实现对公路客运量impor
转载
2023-05-29 17:31:23
110阅读
# 如何在 Ubuntu 中查看 Redis Bloom Filter
Redis 是一个高性能的键值存储系统，支持多种数据结构。在 Redis 中，Bloom Filter 是一种高效的概率数据结构，可用于测试一个元素是否属于一个集合。今天，我们将学习如何在 Ubuntu 环境中查看 Redis 的 Bloom Filter。
## 流程概述
在开始之前，让我们先提炼出整个操作的步骤。以下
原创
2024-09-11 05:18:58
47阅读
# 如何实现 Redis 7 的 Bloom 命令
Redis 7 引入了一些新的数据结构和命令，其中之一就是 Bloom 过滤器。Bloom 过滤器是一种用于检测某个元素是否可能在一个集合中的数据结构，具有高效的空间使用和快速的查询能力。本文章将详细介绍如何实现 Redis 7 的 Bloom 过滤器命令，同时为刚入行的小白提供一个明确的步骤指导。
## 流程概述
要使用 Redis 的
原创
2024-09-14 04:41:57
78阅读
pipe echo -e "aaa\nbbb" 使用-e，echo就认为\n后是另一条命令 nc localhost 6379 使用nc打开socket连接 echo -e "set k2 99\nincr k2\nget k2" | nc localhost 6379 通过管道发生命令到6379端 ...
转载
2021-10-23 19:35:00
69阅读
2评论
Redis实现队列功能，一般是使用LPUSH命令和BRPOP命令来配合完成。不过队列也有自己的优先级，如果存在多个队列，但是只有一个消费者，怎么实现消费的优先级？BRPOP的基本语法BLPOP LIST1 LIST2 .. LISTN TIMEOUT
第一个是键名，第二个是超时时间，单位是秒，如果列表为空或者超过了超时时间还没获取到新元素，就返回一个nil，否则返回一个含有两个元素的列表，第一
转载
2023-09-19 21:25:57
50阅读
要想使用redis提供的布隆过滤器，必须添加redis 4.0版本以上的插件才行，具体参照网上安装步骤。一 Docker安装RedisBloom需要先进行安装，推荐使用Docker进行安装，简单方便:docker pull redislabs/rebloom:latest
docker run -p 6379:6379 --name redis-redisbloom redislabs/reblo
转载
2023-10-07 16:15:55
76阅读
一、BLPOP key [key ...] timeout
BLPOP 是阻塞式列表的弹出原语。 它是命令 LPOP 的阻塞版本，这是因为当给定列表内没有任何元素可供弹出的时候， 连接将被 BLPOP 命令阻塞。 当给定多个 key 参数时，按参数 key 的先后顺序依次检查各个列表，弹出第一个非空列表的头元素。timeout 参数表示的是一个指定阻塞的最大秒数的整型值。当 timeout 为 0
转载
2023-08-07 22:32:04
68阅读
【引】基数很大的集合，需要我们比较某个元素是不是存在于这个集合。如果这个查询验证的频率还很高，那么如何设计呢？【方案】1.数据库查询可能我们要考虑的就是如何去分库了，然后再hash到对应的库中进行查找元素。这会是一个比较复杂，实施起来也麻烦的方案。2.HashSet对于查询的热点数据，我们也可以存于Set，即内存中，这样响应速度肯定也快，但是如何判断哪些需要在内存哪些需要放在磁盘也是需要平衡的。3
转载
2023-07-09 20:35:22
48阅读
前期准备 redis原生并不带布隆过滤器，需要单独下载并自行编译和加载。 1.下载redisbloom插件(redis官网下载即可) https://github.com/RedisLabsModules/redisbloom/ wget https://github.com/RedisLabsMo
转载
2020-09-20 22:18:00
146阅读
2评论
# Redis Bloom: 介绍与示例
## 引言
在现代的软件开发中，随着数据量的不断增加，我们需要更高效、更快速地处理和查询数据。布隆过滤器（Bloom Filter）是一种非常有效的数据结构，它可以快速判断一个元素是否存在于一个集合中，同时具有空间效率高、查询速度快的特点。Redis 是一个流行的开源内存数据库，它提供了 Redis Bloom 模块，基于 Bloom Filter 实现
原创
2023-08-10 17:34:03
97阅读
在这篇博文中，我将详细探讨如何通过 Redis 中的位图（bitmap）实现布隆过滤器（Bloom Filter）的原理、架构及其应用场景。
随着大数据技术的迅速发展，布隆过滤器作为一种用于判断元素是否在集合中的概率型数据结构，受到了广泛的关注。布隆过滤器可以高效地判断某个元素是否存在于一个可能很大的数据集里，它以固定的空间复杂度提供了快速的查询效率。然而，其主要问题是能产生假阳性，意味着可能会
# Redis Bloom Module简介及其应用
## 引言
Redis是一款高性能的内存数据库，具备快速读写的特性。然而，当数据量增大时，Redis的内存消耗也会随之增加。为了解决这个问题，Redis引入了Bloom过滤器，作为其官方的一个模块。Bloom过滤器是一种高效的数据结构，可以用来判断某个元素是否存在于一个集合中，且具备空间效率高、查询速度快的特点。
本文将介绍Redis B
原创
2023-09-05 08:38:49
38阅读
近来遇到一个问题，使用redis的哈希对象存储数据，发现redis的内存耗用是单纯存进去的数据的两倍多，希望能够找到有效的方法缩减这部分多出来的空间。 经过一番研究，是由于存储的时候，具体的存储结构使用的是hashtable来存储的，hashtable使用的内存大小是数据的两倍。一开始的时候怀疑是SDS预留出来的空间，但是经过测试，发现SDS在初始创建对象的时候是不会预留空间的，只会在出现修
转载
2024-10-27 23:23:37
11阅读
bitset的好处很多，尤其是第一次接触到这个结构的人。觉得只需要一个key就可以很简单的处理这个标志位的数据， 甚至说几个亿的offset占用内存也会很小。但在项目实际使用过程中还是要好好算算这笔账的。bitset占用的内存是用最大的offset来决定的，根本不会管你实际要存多少有效数据，计算公式为占用内存bit = 最大offset
占用内存B = 最大offset / 8
占用内存KB =
转载
2023-11-06 13:30:55
44阅读
背景最近有一个项目是点击日志（10亿/天）实时计算，架构上简单来说就是利用flunted去从前端机收集原始日志，然后发给Kafka，Spark消费日志并计算保存结果到Redis。Kafka的Producer和Consumer端的配置是异步且保证不丢消息，因此当超时发生时，就可能会导致消息的重发或者重复消费，需要在消费环节保证幂等。Spark消费逻辑主要是根据多个维度进行计数计算，因此，我们需要在计
原创
2021-03-20 11:59:25
588阅读
