什么是 LFU 缓存机制？LFU 算法，即 least frequently used 最近最不常使用，和 LRU 相似，也是一种用于缓存的数据淘汰策略。当内存不足以容纳新的数据时，需要淘汰最近最不频繁使用的数据。LFU 相比较 LRU 更复杂一点，不仅需要考虑不同频率，而且对于相同频率的数据之间也需要维护先后顺序。（按访问频率淘汰频率最低的数据，相同频率的数据淘汰最近未使用的）比如 Redis
转载
2024-10-28 13:27:19
15阅读
持久化问题定位和优化fork操作子进程开销监控和优化CPU消耗内存消耗内存消耗优化硬盘消耗AOF追加阻塞 fork操作当Redis做RDB或AOF重写时，一个必不可少的操作就是执行fork操作创建子进程，对于大多数操作系统来说fork是个重量级错误 虽然fork创建的子进程不需要拷贝父进程的物理内存空间，但是会复制父进程的空间内存页表 例如对于10GB的Redis进程，需要复制大约20MB的内存
转载
2023-12-21 06:09:07
247阅读
--------------------------------------------------其他问题---------------------------------------------------------------------1、fork耗时导致高并发请求延时RDB和AOF的时候，其实会有生成RDB快照，AOF rewrite，耗费磁盘IO的过程，主进程fork子进程fork的
转载
2023-12-14 15:24:07
74阅读
目录fork耗时导致高并发请求延时现象优化思路AOF的阻塞问题优化思路主从复制延迟问题主从复制风暴问题linux -- vm.overcommit_memoryswapiness最大打开文件句柄tcp backlog 可以用公司里的一些已有的数据，导入进去，几百万，一千万，进去做各种压力测试，性能，redis-benchmark，并发，QPS，高可用的演练，每台机器最大能存储多少数据量，横向扩容
转载
2024-01-11 07:58:46
35阅读
目录问题定位与优化fork操作概念fork耗时问题定位如何改善fork操作的耗时子进程开销监控和优化CPU内存硬盘AOF追加阻塞多实例部署持久化总结问题定位与优化Redis持久化功能一直是影响Redis性能的高发fork操作概念当Redis做RDB或AOF重写时，一个必不可少的操作就是执行fork操作创建子进程，对于大多数操作系统来说fork是个重量级错误。虽然fork创建的子进程不需要拷贝父进程
转载
2024-01-17 08:36:54
37阅读
一.ForkJoinPool是什么ForkJoinPool 是 Java 7 中引入的并发库类。它通常是以递归的方式运行，采用分治思想将大任务分割成几个小任务，小任务继续分割成更小的任务，直至任务不可分割，然后运行这些任务。Java中的Executor是一种执行器。日常工作中比较容易见到的就是ThreadPoolExecutor，提供了线程池模型，程序开发者只需要通过相关接口就可以开发任务的执行和
转载
2023-07-13 22:27:46
198阅读
1.fork耗时导致高并发请求延时RDB和AOF的时候，AOF rewrite，耗费磁盘IO的过程，主进程fork子进程fork的时候，子进程是需要拷贝父进程的空间内存页表的，也是会耗费一定的时间的。一般来说，如果父进程内存有1个G的数据，那么fork可能会消耗在20ms左右，如果是10G-30G，那就会消耗几百毫秒的时间。info stats中的latest_fork_usec,可以看到最近一次
转载
2023-11-25 10:44:05
71阅读
RDB全称Redis Databse，在指定的时间间隔内将内存中的数据集快照写入磁盘，它恢复时是将快照文件直接读到内存里，默认选项开启。备份原理Redis 调用 fork()，产生一个子进程，此时同时拥有父进程和子进程。父进程继续处理 client 请求，子进程负责将内存内容写入到临时文件。由于 os 的写时复制机制，父子进程会共享相同的物理页面，当父进程处理写请求时， os 会为父进程要修改的页
转载
2023-07-27 18:22:22
98阅读
`Redis的持久化机制Redis提供了俩种持久化机制 RDB 和 AOF一,RDB 在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里 ------>以快照的方式存储;Rdb 保存的是dump.rdb文件 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用个临
转载
2023-12-12 16:14:51
36阅读
Redis采用fork子进程重写AOF文件时，潜在的阻塞风险包括：fork子进程 和 AOF重写过程中父进程产生写入的场景，下面依次介绍。a、fork子进程，fork这个瞬间一定是会阻塞主线程的（注意，fork时并不会一次性拷贝所有内存数据给子进程，如果说是拷贝所有内存数据给子进程，我个人认为是有歧义的），fork采用操作系统提供的写实复制(Copy On Write)机制，就是为了避免一次性拷贝
转载
2023-11-10 17:55:06
180阅读
持久化 redis的持久化，有两种：RDB,AOFRDB1.定义 redis默认采用，通过快照完成，符合条件时redis会自动将内存中的数据进行快照并存储到磁盘， 一般是当前目录的dump.rdb文件，可通过dir和dbfilename两个参数分别指定快照文件的存储路径和文件名。2.快照条件 时间和改动的个数 save 900 1 save 300 10 save 6010000以上为或的关系 9
转载
2023-11-11 08:06:18
83阅读
一、fork()函数 在操作系统的基本概念中进程是程序的一次执行，且是拥有资源的最小单位和调度单位（在引入线程的操作系统中，线程是最小的调度单位）。在Linux系统中创建进程有两种方式：一是由操作系统创建，二是由父进程创建进程（通常为子进程）。系统调用函数fork()是创建一个新进程的唯一方式，当然vfork()也可以创建进程，但是实际上其还是调用了fork()函数。fo
转载
2023-08-03 19:18:21
158阅读
本文导读：Redis 的单线程是否真的是单线程？为什么要采用单线程设计？Redis 单线程为什么快Redis 中事件驱动的实现源码阅读(3) 源码版本： Redis 6.0.7 主要文件： ae.c 、ae.h1. Redis 的 单线程
首先要确认的是，Redis的单线程 指的是 Redis 的 网络 IO 和 键值对读写 是由一个 单独线程 来完成的,而其他的功能，持久化，异步删除，集群数据同
转载
2023-12-07 06:40:34
52阅读
Redis 持久化 RDB AOF
RDBRedis DataBaseRedis 会单独创建fork一个子进程来进行持久化Fork：复制一个与当前进程一样的进程(类似python的os.fork)，新进程的所有数据（变量，环境变量，程序计数器等）和原进程一致，但是是一个全新的进程，并作为原进程的子进程会将数据写入到一个临时文件中，待持久化过程结束，再使用
转载
2024-07-24 12:06:14
21阅读
作者 | 程序员历小冰Redis 是一种内存数据库，将数据保存在内存中，读写效率要比传统的将数据保存在磁盘上的数据库要快很多。但是 Redis 也会发生延迟时，这是就需要我们对其产生原因有深刻的了解，以便于快速排查问题，解决 Redis 的延迟问题。 一条命令执行过程在本文场景下，延迟(Latency)是指从客户端发送命令到客户端接收到命令返回值的时间间隔。所以我们先来看一下 Re
转载
2024-07-30 11:22:02
70阅读
# Redis Fork子进程卡死的原因及解决方案
## 引言
在现代高并发的应用场景中，Redis因其高性能和灵活性而受到广泛应用。然而，有时在使用Redis进行大规模数据处理时，可能会遇到“fork子进程卡死”的问题。本文将探讨其原因、表现形式，并提供代码示例和解决方案。
## Fork子进程的工作机制
Redis使用`fork`系统调用来创建一个子进程，主要用于生成数据快照的持久化。
redis.conf是redis的配置文件，在解压后的redis安装文件夹下单位 1 配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit 2 对大小写不敏感包含 和我们的Struts2配置文件类似，可以通过includes包含，redis.
转载
2024-09-13 19:27:50
57阅读
一、RDB（Redis DataBase）1. 定义（1）定义在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。（2）流程Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的
转载
2023-08-18 17:58:32
106阅读
1.常见问题1.1 fork耗时导致高并发请求延时RDB和AOF的时候，其实会有生成RDB快照，AOF rewrite，耗费磁盘IO的过程，主进程fork子进程fork的时候，子进程是需要拷贝父进程的空间内存页表的，也是会耗费一定的时间的 一般来说，如果父进程内存有1个G的数据，那么fork可能会耗费在20ms左右，如果是10G~30G，那么就会耗费20 * 10，甚至20 * 30，也就是几百毫
转载
2023-10-23 14:40:35
74阅读
一、子进程1.fork()创建子进程 一个现有的进程可以调用 fork()函数创建一个新的进程，调用 fork()函数的进程称为父进程，由 fork()函数创建出来的进程被称为子进程（child process）。（使用该函数需要包含头文件<unistd.h>）2.创建的子进程为新的独立的进程，与父进程地位相等。但父子进程之间也有些相同点，子进程拷贝了父进程的数据段、堆、栈以及继承了
转载
2023-06-12 18:50:33
748阅读
