最近，公司给了个优化任务，某个耗时的操作，在百亿的交易额下，处理异常缓慢，需要优化，以为每日发息做准备，在这里给大家介绍下我的优化思路，共同探讨下：代码逻辑： 通过用户id获取用户所在区域id，每次批量处理1千个用户，起20个线程处理。第一步，加缓存通过用户id获取用户所在区域id分两步实
转载
2023-08-09 21:29:49
59阅读
String provin.
原创
2023-03-08 01:37:07
79阅读
给 mysql 的资源太少，则 mysql 施展不开：给 mysql 的资源太多，可能会拖累整个 OS。 40%资源给OS， 60%-70% 给mysql （内存和CPU） 对查询进行缓存 大多数LAMP应用都严重依赖于数据库查询，查询的大致过程如下: PHP发出查询请求->数据库收到指令对查询语句进行分析->确定如何查询->从磁盘中加载信息->返回结果 如果反复查询，就反
转载
2023-06-29 13:46:26
62阅读
使用优化主要包含两个层面：业务层面、运维层面。1、业务层面优化建议如下：key的长度尽量要短，在数据量非常大时，过长的key名会占用更多的内存一定避免存储过大的数据（大value），过大的数据在分配内存和释放内存时耗时严重，会阻塞主线程Redis 4.0以上建议开启lazy-free机制，释放大value时异步操作，不阻塞主线程建议设置过期时间，把Redis当做缓存使用，尤其在数量很大的时，不设置
转载
2023-07-21 19:59:35
52阅读
文章目录缓存设计缓存穿透定义原因缓存穿透问题解决方案缓存空对象布隆过滤器缓存设计缓存穿透定义查询一个根本不存在的数据， 缓存和DB都不会命中， 白嫖了缓存层和DB 。 通常出于容错的考虑， 如果从存储层查不到数据则不写入缓存层。缓存穿透将导致不存在的数据每次请求都要到存储层去查询， 失去了缓存保护后端存储的意义。原因通常缓存穿透的原因如下：自身业务代码或者数据出现问题。恶...
原创
2021-05-31 16:57:09
563阅读
文章目录缓存设计缓存穿透定义原因缓存穿透问题解决方案缓存空对象布隆过滤
原创
2022-03-28 14:40:45
132阅读
目录背景和价值一、核心方案1：拦截无效请求——从源头过滤不存在的Key1. 布隆过滤器（Bloom Filter）：高效拦截不存在的Key2. 业务规则校验：过滤明显无效的请求二、核心方案2：缓存空数据——避免相同无效请求重复穿透1. 缓存空值+短期过期时间2. 缓存“不存在标记”+ 动态过期三、核心方案3：增强后端防护——极端情况兜底1. 接口限流：控制无效请求总量2. 数据库熔断：保护数据库不
集成redis缓存后可以将数据库的查询接口，序列化到redis中，key就是注解中的参数，例如@Cacheable(“findUsers”): 存在redis中的key就是findUsers。缓存了这个结果之后再次请求这个方法就不会去数据库中查，而是从redis缓存中读取数据，这样就减少了跟数据库之间的交互。然后修改、删除、增加操作就会清除缓存，保持数据的一致性，同时有极大的提高了程序运行的效率1
转载
2024-02-14 19:58:39
35阅读
# MySQL缓存优化
## 引言
MySQL是一种常用的关系型数据库管理系统，广泛应用于各类应用中。在大型应用中，数据库的性能往往是一个关键问题。之所以需要进行MySQL缓存优化，是因为数据库查询是一项耗时的操作，而缓存可以帮助我们存储查询结果，减少对数据库的访问，提高系统的性能和响应速度。
## 流程图
```mermaid
flowchart TD
A[开始] --> B[连接到
原创
2023-08-26 12:39:18
31阅读
1、需求起因在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数
转载
2023-08-30 08:44:22
65阅读
数据库有哪些提升读写性能的方式？连接池 阻塞io + 线程池异步连接，非阻塞iosql执行出发：即时执行 + 预编译执行 prepare读写分离缓存方案主从复制，是为了解决单点故障的问题缓存可以用memcached、redis针对与热点数据进行讨论，热点数据有哪些状态？mysql有，cache没有，通过策略避免它mysql没有，cache有，不正常需避免mysql和cache都有，数据
转载
2023-07-13 11:23:25
59阅读
需求起因在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性
转载
2023-07-04 22:13:49
89阅读
文章目录1、缓存雪崩的概念2、预防措施2-1、保证缓存层的高可用性2-2、变更系统架构，追加本地缓存2-3、为存储层追加限流、服务降级组件2-4、提前演练 1、缓存雪崩的概念缓存层承载着大量请求，有效的保护了存储层。但是如果缓存层由于某些原因整体不能提供服务（大面积宕机或者缓存的内容失效等），会导致所有的请求都到达存储层，存储层的调用量暴增，造成存储层宕机，系统崩溃。在网上看到了一个非常有趣的说
转载
2023-05-29 16:48:14
75阅读
query_cache_size/query_cache_type (global)Query cache 作用于整个 MySQL Instance，主要用来缓存 MySQL 中的 ResultSet，也就是一条SQL语句执行的结果集，所以仅仅只能针对select语句。当我们打开了 Query Cache 功能，MySQL在接受到一条select语句的请求后，如果该语句满足Query Cache的
转载
2024-01-11 08:13:01
61阅读
文章目录前言一、redis是什么？二、redis与MySQL的具体运作逻辑三、案例实现1.实现案例介绍2.具体操作四.附页 前言为了提高服务器处理请求的并发能力，如果服务器直接去Mysql数据库去直接获取数据，这样会面临处理大量的IO请求的情况，使得服务器并发能力较低，为此我们可以根据系列文章第一章节中介绍的高性能服务器架构中说的那样，在服务器与数据库之间加上一层缓存，在我的项目中使用的redi
转载
2023-08-15 09:30:25
64阅读
使用redis做为MySQL的缓存
介绍在实际项目中，MySQL数据库服务器有时会位于另外一台主机，需要通过网络来访问数据库；即使应用程序与MySQL数据库在同一个主机中，访问MySQL也涉及到磁盘IO操作（MySQL也有一些数据预读技术，能够减少磁盘IO读写，此部分后续继续研究），总之，直接从MySQL中读取数据不如直接从内存中读取数据来的效率高。为了提高数据库访
转载
2023-08-30 11:41:58
60阅读
一、需求起因在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库(MySQL)间的数据一
转载
2023-08-30 14:16:49
131阅读
前言先阐明一下Mysql和Redis的关系：Mysql是数据库，用来持久化数据，一定程度上保证数据的可靠性；Redis是用来当缓存，用来提升数据访问的性能。关于如何保证Mysql和Redis中的数据一致（即缓存一致性问题），这是一个非常经典的问题。使用过缓存的人都应该知道，在实际应用场景中，要想实时刻保证缓存和数据库中的数据一样，很难做到。基本上都是尽可能让他们的数据在绝大部分时间内保持一致，并保
转载
2023-07-13 15:38:28
80阅读
Redis 作 mysql 缓存服务器redis常本用来作为缓存服务器。缓存的好处是减少服务器的压力，数据查询速度快。解决数据响应慢的问题。 添加缓存：只用redis的Hash数据类型添加缓存.1.首先需要在执行正常的业务逻辑之前（查询数据库之前），查询缓存，如果缓存中没有需要的数据，查询数据库 为了防止添加缓存出错，影响正常业务代码的执行，将添加缓存的代码放置到try-catch代码快中，让程序
转载
2023-05-30 14:33:03
0阅读
Redis案例一、案例需求二、架构三、代码实现四、结果 一、案例需求一个页面，页面中有一个省份 下拉列表 当 页面加载完成后 发送ajax请求，加载所有省份注意：使用redis缓存一些不经常发生变化的数据。数据库的数据一旦发生改变，则需要更新缓存。
数据库的表执行 增删改的相关操作，需要将redis缓存数据情况，再次存入在service层对应的增删改方法中，将redis数据删除。二、架
转载
2023-07-14 18:17:06
98阅读
