01. Flink 简介1、Flink 是什么Flink 核心目标，是 数据流上的有状态计算。Apache Flink是一个开源的流处理框架，用于实时数据流的处理和分析。它最初由柏林工业大学的研究人员开发，并在2014年成为Apache软件基金会的一个顶级项目。Flink提供了以下主要功能：流处理：Flink可以处理无界和有界的数据流，支持复杂的事件时间处理和状态管理。批处理：Flink的批处理功
转载
2024-06-18 13:04:28
42阅读
在讨论Redis内存管理中的LRU算法之前，先简单说一下LRU算法：LRU算法：即Least Recently Used，表示最近最少使用页面置换算法。是为虚拟页式存储管理服务的，是根据页面调入内存后的使用情况进行决策了。由于无法预测各页面将来的使用情况，只能利用“最近的过去”作为“最近的将来”的近似，因此，LRU算法就是将最近最久未使用的页面予以淘汰，类似于末尾淘汰制。比如：
转载
2023-08-14 15:18:07
112阅读
面试都背过道八股题：Redis 的内存淘汰策略 LRU 和 LFU 是什么？怎么选好？很多同学对这两个算法的理解，只停留在都是缓存淘汰，但说不清它们具体区别，概念混淆，更不知道实际场景该怎么选？而且 Redis 的 key 淘汰算法其实还不是正统的 LRU 和 LFU 算法，而是基于 LRU/LFU 的一个变种。所以我
转载
2021-08-15 15:27:10
2269阅读
<!-- https://mvnrepository.com/artifact/com.googlecode.concurrentlinkedhashmap/concurrentlinkedhashmap-lru --><dependency> <groupId>com.googlecode.concurrentlinkedhashmap</gro
转载
2022-01-07 14:57:41
178阅读
概念 LRU(Least Recently Used)最近最少使用算法是众多置换算法中的一种。 maxmemo
原创
2022-08-25 10:55:10
231阅读
# Redis过期策略: allkeys-lru
在使用Redis时，我们经常需要设置键值对的过期时间。过期时间是指在一定时间后，键值对会自动被Redis删除。Redis提供了多种过期策略，其中之一是allkeys-lru。
## 什么是allkeys-lru
allkeys-lru是Redis中的一种过期策略，它根据键的最后一次访问时间来决定哪些键应该被删除。具体而言，当Redis需要删除
原创
2023-10-10 06:33:48
691阅读
一，Redis过期策略Redis过期时间设置 Redis对存储值的过期处理实际上是针对该值的键（key）处理的，即时间的设置也是设置key的有效时间。Expires字典保存了所有键的过期时间，Expires也被称为过期字段。 expire key time(以秒为单位)–这是最常用的方式 setex(String key, int seconds, String value)–字符串独有的方式 注
转载
2023-08-30 09:19:31
63阅读
目录Redis 内存管理（淘汰策略/删除策略）一、淘汰算法1、LRU算法2、LFU算法二、Redis 8种淘汰策略三、删除策略 Redis 内存管理（淘汰策略/删除策略）一、淘汰算法1、LRU算法LRU是Least Recently Used的缩写，即最近最少使用，是一种常用的页面置换算法，选择最近最久未使用的页面予以淘汰。该算法赋予每个页面一个访问字段，用来记录一个页面自上次被访问以来所经历的
转载
2024-01-30 01:35:10
42阅读
LRULRU(Least Recently Used)，最近最少使用缓存淘汰算法，认为最近访问过的数据在将来被访问的概率也比较大，当内存达到上限去淘汰那些最近访问较少的数据。在Flink中做维表关联时，如果维表的数据比较大，无法一次性全部加载到内存中，而在业务上也允许一定数据的延时，那么就可以使用LRU策略加载维表数据。但是如果一条维表数据一直都被缓存命中，这条数据永远都不会被淘汰，这时维表的数据
原创
2021-02-06 13:53:46
1039阅读
# 学习如何实现Redis LRU淘汰策略
## 概述
对于刚入行的开发者来说，实现Redis的LRU淘汰策略可能有些困难。但是作为经验丰富的开发者，我将指导你完成这个任务。首先，让我们来了解一下整个过程的流程。
## 流程
```mermaid
pie
title 实现Redis LRU淘汰策略流程
"学习Redis源码" : 20
"理解LRU淘汰策略原理" : 20
"实现LRU淘汰
原创
2024-07-01 06:50:13
27阅读
一、内存回收机制 redis并不总是将空闲内存立即归还给操作系统 例如：当前内存10G,删除里1G的key后，你会发现内存并没有变化 因为操作系统是以页为单位回收内存的，这个页上只要有一个key在使用，那么他就不能被回收。 如果执行flushdb,再去观察内存，会发现内存确实被回收了，因为所有的ke ...
转载
2021-09-24 14:45:00
542阅读
2评论
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》LRULRU(Least Recently Used)，最近最少使用缓存淘汰算法，认为最近访问过的数据在将来被访问的概率也比较大，当内存达到上限去淘汰那些最近访问较少的数据。
转载
2021-08-31 09:58:18
258阅读
# 如何实现Redis的内存淘汰策略LRU
## 概述
在Redis中，内存淘汰策略是指当内存不足时，决定哪些键要被淘汰以释放内存空间的机制。LRU（Least Recently Used，最近最少使用）是Redis内置的一种内存淘汰策略，它会淘汰最长时间没有被访问的键。
## 实现步骤
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 配置Redis.conf文件
原创
2024-07-06 04:22:16
52阅读
在《Redis 数据缓存满了怎么办？》我们知道 Redis 缓存满了之后能通过淘汰策略删除数据腾出空间给新数据。淘汰策略如下所示：设置过期时间的 keyvolatile-ttl、volatile-random、volatile-lru、volatile-lfu 这四种策略淘汰的数据范围是设置了过期时间的数据。所有的 keyallkeys-lru、allkeys-random、allkey
转载
2024-01-10 12:24:03
53阅读
简介Flink是一个流处理框架，一个Flink-Job由多个Task/算子构成，逻辑层面构成一个链条，同时Flink支持并行操作，每一个并行度可以理解为一个数据管道称之为SubTask。我们画图来看一下：数据会在多个算子的SubTask之间相互传递，算子之间的并行度可能是不同的，这样就产生了数据分区问题，其核心问题在于上游的某个SubTask的数据该发送到下游的哪一个SubTask中。为了解决分区
转载
2024-02-28 10:30:30
209阅读
文章目录数据流编程模型抽象级别程序与数据流并行数据流窗口时间有状态操作容错检查点流的批处理分布式运行环境任务与操作链JOB管理，任务管理，客户端任务槽和资源状态后端保存点 数据流编程模型抽象级别Flink提供了不同的抽象级别用于开发 流式/批处理 应用。最底层的抽象仅仅简单地提供了有状态的流。它集成在通过过程函数（Process Function）访问的 数据流API（DataStream AP
1 设置带过期时间的 key
# 时间复杂度：O（1），最常用的方式
expire key seconds
# 字符串独有的方式
setex(String key, int seconds, String value)
除了string独有设置过期时间方法，其他类型都需要依靠expire方法来设置时间。如果没有设置时间，那缓存就是永不过期。如果设置了过期时间，之后又想让缓存永不过期，使用pe
原创
2021-06-24 15:04:27
396阅读
文章目录一、设置 Redis 键过期时间二、Redis 过期时间的判定三、过期删除策略四、Redis过期删除策略五、内存淘汰策略 本文参考： Redis过期删除策略是采用惰性删除和定期删除这两种方式组合进行的，惰性删除能够保证过期的数据我们在获取时一定获取不到，而定期删除设置合适的频率，则可以保证无效的数据及时得到释放，而不会一直占用内存数据。 但是我们说Redis是部署在物理机上的，内存不可能
转载
2023-08-04 16:01:38
181阅读
一、Redis内存淘汰的必要性我们都知道redis的性能很高，最主要的原因之一就是redis的数据都在内存中放着，我们在从redis中获取数据或者更新redis中的数据时，都是操作的内存中的数据。而当内存被占满了之后怎么办呢？这时就有必要将一些数据清理掉，以便新的数据能够放到redis中。而清理掉哪些数据？保留哪些数据？什么时候清理？如何配置这些策略？这些就是接下来要研究的内容。二、Redis的k
转载
2023-07-05 22:10:41
245阅读
