最近公司里有一个并发业务。多个线程消费一个kafka数据流，这个kafka数据流里数据的某个字段有重复。需要根据这个字段来做下去重。一开始的方案是利用Redis来实现，先查Redis如果没有的话则setex。后来发现这个并不能保证并发安全性，后来的结果还是有重复的数据。经过分析，发现是有的重复数据相隔极短。比如说A1和A2两条数据。如果A1 get不到，则说明没有，这个时候去写redis。但是还没
转载
2023-09-18 22:31:57
40阅读
使用自定义注解+AOP实现存放HASH类型的Redis缓存1.自定义的Redis方法2.自定义注解3.自定义Aspect 1.自定义的Redis方法/**
* @description 获取返回值
* @param key - 键 不能为null
* @param hashKey - 项 不能为null
* @return Object -
*
转载
2024-10-08 12:02:27
51阅读
InfluxDB是一个开源的时序数据库，使用GO语言开发，特别适合用于处理和分析资源监控数据这种时序相关数据。而InfluxDB自带的各种特殊函数如求标准差，随机取样数据，统计数据变化比等，使数据统计和实时分析变得十分方便。
influxdb的单机版是开源的，而集群版是商业版，influxdb被设计运行在SSD上，如果使用机器或者网络磁盘作为存储介质，会导致性能下降至少一
转载
2024-09-06 14:32:18
44阅读
一、 文档介绍今日在项目里写了一份简单的redis两个set类型求并集的操作不断报错，在网上查到的资料里都简单介绍了自带的API接口，但是这个并不是所有时间都好用的，甚至可以说对分布式而非主机redis来讲基本上都是不好用的 二、网传解决办法我的代码func ListUnion2() ([]string, error){
res, err := redisClient.SUnion(D
转载
2023-07-07 14:24:44
40阅读
Redis——数据结构String（字符串）：String是简单的 key-value 键值对，一般json都是序列化成String存入redis中的 List（列表）：一个链表或者说是一个队列，每个列表支持超过40亿个元素。 Hash（字典）：利用key拿出hashMap，当hashMap少时是一个一维数组 Set（集合）： 集合成员是唯一的 Sorted Set（有序集合）：每个元素都会关联一
转载
2024-06-30 17:25:20
41阅读
一、缘由 众所周知MySQL从5.5.8开始，Innodb就是默认的存储引擎，Innodb最大的特点是：支持事务、支持行级锁。既然支持事务，那么就会有处理并发事务带来的问题：更新丢失、脏读、不可重复读、幻读；相应的为了解决这四个问题，就产生了事务隔离级别：未提交读（Read uncommitted），已提交读(Read committed)，可重复读(Repeatable read)，可序列化(
Redis（缓存一套，–>分布式锁） 多级缓存方案Why 1、数据高并发读写 2、海量数据读写 3、不经常改变，但是对MySQL查询压力大的 4、想要使用分布式锁的解决方案，还有缓存； What nosql 非关系型数据库 Redis是一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server （远程数据服务），使用C语言编写，Redis是一个key-valu
转载
2023-10-14 22:33:43
73阅读
数据类型为set。可以保证set内数据唯一。场景：生成订单号，因为要求订单号是绝对不能重复的，所以数据库中要设置为unique索引。但是其实可以通过redis，set来做每天的订单集合。比如A客户的订单号201803041，B客户并发了相同的订单号，但是A客户插入了set集合，B客户插入就会返回0，表示重复，需要再次生成，一定程度上减少了数据库unique的验证。#添加到set集合中SADD&nb
转载
2024-02-22 12:48:20
74阅读
简介 redis set对外提供的功与list类似，是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择。 redis的set是string类型的无序集合，他的底层实际是一个value为null的hash表，收益添加，删除，查找复杂度都是O(1)。数据结构 set数据结构是字典，字典是用hash表实现的。 Java中的Has
转载
2023-09-27 06:13:43
315阅读
一.项目用redis-learn
set (无序，唯一不重复) 数据元素不重复(过滤掉重复的元素；判断一个元素是否存在于一个大集合中) 实践：用户注册时过滤重复提交的信息。本文我们实际操作下集合Set 的 存储、获取、判断是否存在、删除方法的操作二. 用户注册时过滤重复提交的信息2.1 在数据库建立“用户信息表userCREATE TABLE `user` (
`id` int(11) NOT
转载
2023-08-04 22:30:48
221阅读
Set（集合）1、SADDRedis Sadd 命令将一个或多个成员元素加入到集合中，（1）已经存在于集合的成员元素将被忽略。（2）假如集合 key 不存在，则创建一个只包含添加的元素作成员的集合。（3）当集合 key 不是集合类型时，返回一个错误。注意：在Redis2.4版本以前， SADD 只接受单个成员值。语法：redis 127.0.0.1:6379> SADD
转载
2024-10-12 22:26:54
47阅读
前言接上篇:用户浏览过数据排重 - A表查B表中不存在的数据(mysql),随着我们的数据量越来越大,需要排重过滤的数据越来越多,我们再去使用mysql来进行过滤排重,效率将会变得逐渐低下,最终我们需要一个新的解决方案:数据库:数据量大、查询效率较低,必要时需要分库分表。redis set(集合)排重:访问效率高,但是随着数据越来越大,需要的内存也会越来越多。bloom filter(布隆过滤器)
转载
2023-08-05 18:24:44
108阅读
select * from 重复记录字段 in ( select 重复记录字段 form 数据表 group by 重复记录
转载
2023-03-01 07:39:03
433阅读
# MongoDB查重复数据
## 1. 简介
在开发过程中，我们经常需要对数据库中的数据进行查重操作，以保证数据的完整性和准确性。本文将介绍如何使用MongoDB进行查重操作，并教会刚入行的小白如何实现。
## 2. 流程概述
下面是实现“MongoDB查重复数据”的流程图，我们将通过几个简单的步骤来完成这个任务。
```mermaid
sequenceDiagram
part
原创
2023-08-17 14:41:18
87阅读
# 如何实现“redis set 集合不能重复”
## 概述
在Redis中，Set集合是一种无序且不重复的数据结构。因此，当我们向Set集合中添加元素时，Redis会自动去重，保证集合中的元素不会重复。本文将介绍如何使用Redis实现Set集合不重复的功能。
## 整体流程
下面是实现“Redis Set集合不能重复”的整体流程：
```mermaid
journey
title
原创
2023-12-12 10:06:55
60阅读
# 实现hashmap能否重复redis教程
## 简介
本篇文章将教会刚入行的小白如何实现“hashmap能不能重复 redis”。作为一名经验丰富的开发者，我将为你详细介绍这个过程，并给出具体的代码示例。
### 流程图
```mermaid
stateDiagram
[*] --> 初始状态
初始状态 --> 查询数据
查询数据 --> 判断数据
判断数
原创
2024-03-13 04:41:45
13阅读
去重是一种思想，不要拘束于某一个点上，去重的方法多种多样，但是各有优点和弊端去重的五种方式详细分析1、set与md5的特点set：无序，不重复，没有索引md5主要特点：不可逆 md5加密为什么不可逆2、不去重的弊端：①、数据重复在进行批量海量的
转载
2023-06-20 15:45:00
113阅读
集合对象_Set一. 集合对象内部结构①. 编码方式二. 使用场景三. 常用命令①. 标签系统②. 抽奖系统3. Set类型 一. 集合对象内部结构集合类型(Set) 是一个无序并唯一的键值集合。 它的存储顺序不会按照插入的先后顺序进行存储。①. 编码方式intset(整数集合):当集合中的元素都是整数且元素个数小于set-maxintset-entries配置（默认512个）时，Redis会选
转载
2023-06-13 15:34:08
128阅读
1 连接服务12345[root@redis1-20 ~]# telnet 127.0.0.1 6380Trying 127.0.0.1...Connected to 127.0.0.1.Escape character is '^]'.#用telnet也能登录，但是无法查看key的value...
转载
2021-06-24 12:04:46
485阅读
1 连接服务 1 2 3 4 5 [root@redis1-20 ~]# telnet 127.0.0.1 6380 Trying 127.0.0.1... Connected to 127.0.0.1. Escape character is '^]'. #用telnet也能登录，但是无法查看ke
转载
2018-11-23 14:00:00
38阅读
2评论
