作者： GaussDB 数据库 。近日，网上一些电商用户出现了库存业务查询超时的现象，深究根源，是其使用的Redis云服务底层SSD卡硬件故障，影响了Redis的稳定性，最终导致业务超时。此时笔者脑中闪过一连串问号：那么，缓存Redis究竟为啥绕不过磁盘这道坎呢？从技术角度讲，使用缓存Redis还要配磁盘，一方面是因为开源Redis依赖持久化机制，保证宕机后能取回一部分数据，另一方面这也是主从同步
转载
2024-10-08 13:12:33
23阅读
# Redis Set 是覆盖写入吗？
在使用 Redis 进行数据存储时，常常会使用到 Set 结构。那么 Redis Set 是覆盖写入的吗？本文将带你了解 Redis Set 的特性和使用方式，并回答这个问题。在开始之前，我们先来了解一下 Redis Set 的基本概念和用法。
## Redis Set 简介
Redis Set 是一种无序的字符串集合，它的特点是不允许重复的成员存在。
原创
2024-01-29 11:08:55
161阅读
击穿:(redis做缓存用,肯定发生了高并发,到达数据库查询)
设置key 的过期时间,过期后没有这个key,找不到了,就穿过了(其中一个key过期导致并发访问数据库)
LRU (LRU，即：最近最少使用淘汰算法（Least Recently Used）。LRU是淘汰最长时间没有被使用的页面。)
LFU (LFU，即：最不经常使用淘汰算法（Least Frequently
转载
2024-09-13 06:56:25
18阅读
一、前言MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。二、Spark On HBASE1.可以解决的问题Spark和HBASE无缝对接意味着我们不再需要关心安全和RDD与HBase交互的细节。更方
转载
2024-04-27 17:56:55
53阅读
## Hive 覆盖写入与原分区删除
在数据处理和分析的过程中，Hive 是一个非常强大且流行的工具。覆盖写入（Overwrite）是一项重要的功能，它允许我们在数据表中用新数据替换旧数据。在这个过程中，理解原分区的处理就显得尤为重要。本文将教你如何实现 Hive 的覆盖写入以及原分区的删除。
### 流程概述
我们将通过以下步骤来完成覆盖写入，并确保删除原分区的数据。
| 步骤 | 说明
原创
2024-10-29 03:40:45
168阅读
数据库异步操作基于 aiomysql 异步操作mysql数据库 异步操作 MySQL 的话，需要使用一个 aiomysql，直接 pip install aiomysql入门案例# -*- coding: utf-8 -*-
# 导入异步操作的工具类库
import asyncio
import aiomysql.sa as aio_sa
"""
转载
2024-07-31 14:43:30
49阅读
# 实现“redis list 覆盖写入”的步骤
## 一、创建一个Redis连接
首先，我们需要创建一个Redis连接，这样我们才能进行后续的操作。下面是代码示例：
```markdown
// 引入redis库
const redis = require('redis');
// 创建一个Redis客户端
const client = redis.createClient();
```
原创
2024-05-19 05:12:53
45阅读
上一篇说了redis的管道功能，并延伸了里边的一些linux基本操作，这一篇就把上一篇开篇讲的几个高级功能补全，上一篇说准备记录的高级功能有：管道 事务 发布/订阅 过期 布隆过滤器事务除了管道，redis还有事务，可以一定程度上保证一组操作的原子性。主要用到multi、exec、watch以及unwatch这些关键词。 一个事务以multi开头，然后可以进行很多操作指令，直到输入了exec后正式
转载
2024-04-17 21:17:19
36阅读
mysql数据库误删除后的数据恢复操作说明 在日常运维工作中，对于mysql数据库的备份是至关重要的！数据库对于网站的重要性使得我们对mysql数据的管理不容有失！ 然后，是人总难免会犯错误，说不定哪天大脑短路了来个误操作把数据库给删除了，怎么办？？？下面，就mysql数据库误删除后的恢复方案进行说明。一、工作场景 （1）MySQL数据库每晚12:00自动完全备份。 （2）某天早上上班，
文章目录一、问题描述二、排查过程1. 梳理hive程序的执行流程2. 推测问题产生的原因3. 通过arthas找出罪魁祸首4. 问题总结和解决办法三、个人反思和一些总结 想直接看结论和解决方案的同学可以直接跳到2.4章节。 一、问题描述前几天有用户反馈将hive查询结果以orc导入到hdfs目录时出现异常，sql大概如下:insert overwrite directory '/tmp/' st
转载
2023-10-02 19:35:39
493阅读
Spark 整合ElasticSearch因为做资料搜索用到了ElasticSearch，最近又了解一下 Spark ML，先来演示一个Spark 读取/写入 ElasticSearch 简单示例。(spark 读取ElasticSearch中数据)环境：IDEA2016，JDK8，windows10，安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoop2
转载
2024-04-24 14:11:08
79阅读
一、在为key设置过期时间需要注意的事项1. DEL/SET/GETSET等命令会清除过期时间在使用DEL、SET、GETSET等会覆盖key对应value的命令操作一个设置了过期时间的key的时候，会导致对应的key的过期时间被清除。//设置mykey的过期时间为300s
127.0.0.1:6379> set mykey hello ex 300
OK
//查看过期时间
127.0.0.
转载
2024-07-01 16:35:24
70阅读
【本教程目录】1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8.redis数据结构 – strings9.redis数据结构 – lists10.redis数据结构 – 集合11.redis数据结构 – 有序集合12.redis数据结构 – 哈希13.聊聊redis持久化 –
## 如何实现“redisshake是覆盖吗”
在本篇文章中，我们将探讨如何判断`redisshake`是否为覆盖，并通过一系列步骤引导初学者完成这一任务。我们将提供必要的代码示例，以及对每一步的详细解释。
### 流程概述
首先，让我们来看一下整个任务的流程：
| 步骤 | 描述
原创
2024-08-05 09:16:14
40阅读
当使用redis的set命令去覆盖带过期时间的key时，该key值原来的过期时间将被覆盖（即变为永久的），也就是set命令不是是简单的覆盖已存在key的值，还会覆盖过期时间，如incr等单纯改变值的操作不同，必须区分开。
EXPIRE¶
EXPIRE key seconds为给定 key 设置生存时间，当 key 过期时(生存时间为 0在 Redis 中，带有生存时间的 key生存时间可以通过使用
转载
2023-05-27 11:34:41
1121阅读
# 如何实现Redis重复写入不覆盖
## 介绍
在使用Redis时，有时候我们希望能够重复写入数据而不覆盖之前的数据。这在某些场景下非常有用，比如计数器、日志记录等。本文将介绍如何实现这个功能，并给出相应的代码示例。
## 整体流程
下面是实现Redis重复写入不覆盖的整体流程，我们将分为三个步骤进行操作。
```mermaid
journey
title 实现Redis重复写
原创
2023-12-21 10:29:06
225阅读
# Redis set相同数据会覆盖吗？
在使用 Redis 进行开发时，我们经常会使用 Set 数据结构来存储一组不重复的元素。然而，有时候我们可能会遇到相同的元素被重复添加到 Set 中的情况，这时候就会有人产生疑问：Redis Set 相同数据会被覆盖吗？
## Redis Set 数据结构简介
在开始讨论之前，让我们先了解一下 Redis 的 Set 数据结构。
Redis Set
原创
2023-09-25 11:07:39
399阅读
# Java数据写入文件覆盖
在Java编程中，有时候我们需要将数据写入文件中，并且希望能够覆盖原有的数据。本文将介绍如何使用Java实现数据写入文件并覆盖的操作，同时提供代码示例和流程图帮助读者更好地理解这一操作。
## 写入文件并覆盖数据的需求
在实际开发中，我们经常遇到需要将数据写入文件的情况，而有时候我们希望能够覆盖原有的数据而不是追加到文件末尾。这种需求通常出现在需要更新文件中的信
原创
2024-04-23 08:06:39
43阅读
覆盖索引1.什么是覆盖索引？概念：查询语句中所需要的列在索引中，这样查询结果在索引的数据结构中查找即可拿到结果。附加网友解释：解释一： 就是select的数据列从索引中就能够获取，不必从数据表中再次读取，换句话说，就是查询列可以索引福噶解释二：索引是高效找到行的一个方法，当能通过检索索引就可以读取想要的数据，那就不需要再到数据表中读取行了。如果一个索引包含了（或覆盖了）满足查询语句中字段与条件的数
转载
2023-09-27 10:05:48
108阅读
本文主要介绍Redis中与有序集合（Sorted Set）相关的命令，内容主要来源于Redis的官方网站，如果需要请参考：http://redis.io/commands#sorted_set 1.ZADD 语法：ZADD key scroe member 说明：该操作的时间复杂度为O(log(N))，此处N为有序集合中的元素个数。向key对应的有序集合中添加具有指定scroe的元素。如
转载
2024-09-20 09:40:27
40阅读
