1、Kafka的客户端缓冲机制 首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。也就是说，消息会先写入一个内存缓冲中，然后直到多条消息组成了一个Batch，才会一次网络通信把Batch发送过去。整个过程如下图所示： 2、内存缓冲造成的频繁GC问题 那么这种内存缓冲机制的本意，其实就是把多条消息组成一个Batch
转载
2024-02-26 14:36:45
71阅读
1、默认Nginx配置的缓存 一般来说，通过 nginx 静态资源服务器，会默认给资源带上强缓存、协商缓存的 header 字段。 下面的 Nginx 配置基本跟默认配置一样，只是修改访问时指向的资源路径，我们使用下面的 Nginx 配置来配置 Nginx 静态服务器： #user nobody; ...
转载
2021-08-08 19:00:00
377阅读
2评论
apache 缓存和缓存配置
原创
2023-03-20 13:58:16
239阅读
关于缓存，或者关于微服务，有很多的术语比如微服务的熔断，服务降级，服务雪崩之所以出现需要熔断或降级，大多情况是并发太高了，服务器扛不住了，或者服务器就是不能长时间运行除了微服务，还有缓存的一些术语，击穿，雪崩 缓存击穿 定义： 缓存中的key一般设有过期时间，如果某个key过期了，恰在这个时候，有大量的并发请求访问这个key，则这些请求都会到达DB,导致DB瞬间压力过大，压垮DB。 解决方案：
转载
2019-08-03 23:07:00
1570阅读
Q: 缓存穿透，是指查询一个数据库一定不存在的数据。正常的使用缓存流程大致是，数据查询先进行缓存查询，如果key不存在或者key已经过期，再对数据库进行查询，并把查询到的对象，放进缓存。如果数据库查询对象为空，则...
原创
2021-08-13 11:23:25
447阅读
什么是缓存？ 缓存，就是数据交换的缓冲区，针对服务对象的不同（本质就是不同的硬件）都可以构建缓存。 目的是，把读写速度慢的介质的数据保存在读写速度快的介质中，从而提高读写速度，减少时间消耗。 例如： CPU 高速缓存 ：高速缓存的读写速度远高于内存。 CPU 读数据时，如果在高速缓存中找到所需数据，
转载
2020-05-18 09:47:00
313阅读
2评论
我们都听过 cache，当你问他们是什么是缓存的时候，他们会给你一个完美的答案，可是他们不知道缓存是怎么构建的，或者没有告诉你应该采用什么标准去选择缓存框架。在这边文章，我们会去讨论缓存，缓存算法，缓存框架以及哪个缓存框架会更好。
转载
精选
2013-05-01 12:19:56
642阅读
apache压缩源码包挂载，解压（可参考博客LAMP）解压源码包和组件包到目录/opt将二个组件包放入代码包中安装环境包配置编译，安装（make，makeinstall）将主配置文件建立软链接!进入配置文件开启功能模块过滤器请求头部重启服务，关闭防火墙，增强功能在客户端安装抓包工具fidder，测试加入图片测试apache缓存和压缩模块一样，增加一个缓存模块--enable-expires，编译
原创
2019-10-26 17:05:49
588阅读
介绍
反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内
部网络上的服务 器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器
对外就表现为一个反向代理服务 器，通常使用到的http/https协议和fastgci（将动态内容和http服务器
分离）
正向代理（内网客户机通过代理访问互联网）1. reso
原创
2022-09-05 22:16:23
183阅读
使用ORM映射工具对数据库进行操作，由于对象关系（数据库表关系）间的复杂关系，往往导制N+1次数据查询，即：本来是查询某一数据对象，却因为对象关系把与对象相关的所有数据都从数据库加载到内存，而这些数据并没有被使用到，然后又马上丢弃，有时甚至只是一个简单的查询，却将整个数据库读取到内存后又丢弃，如此反反复复，整个数据库服务器都在不停的运转，高磁盘IO，高CPU占用率，完全是无用功。 &nb
转载
2024-07-23 20:46:48
93阅读
# Spark 释放缓存和缓存
## 介绍
Spark是一个分布式计算框架，其快速处理大规模数据的能力使其成为大数据处理的首选工具之一。Spark中的缓存和释放缓存操作对于提高性能和优化资源管理至关重要。本文将介绍Spark中的缓存和释放缓存的概念，并提供相关代码示例。
## 缓存概念
在Spark中，缓存是指将RDD（弹性分布式数据集）或DataFrame等数据结构存储在内存中，以便在后
原创
2024-02-14 08:39:53
136阅读
Session缓存和Cache缓存的区别。 （1）最大的区别是Cache提供缓存依赖来更新数据，而Session只能依靠定义的缓存时间来判断缓存数据是否有效。 （2）即使应用程序终止，只要Cache.Add方法中定义的缓存时间未过期，下次开启应用程序时，缓存的数据依然存在。而Session缓存只是存在于一次会话中，会话结束后，数据也就失效了。 （3）Session容易丢失，导致数据的不确定性，而
转载
2024-03-27 23:31:30
69阅读
Redis缓存穿透和缓存雪崩 缓存穿透 概念 一般的缓存系统，都是按照key值去缓存查询，如果不存在对应的value，就应该去DB中查找 。 这个时候，如果请求的并发量很大，就会对后端的DB系统造成很大的压力。这就叫做缓存穿透。 关键词：缓存value为空；并发量很大去访问DB。 原因 业务自身代码 ...
转载
2021-06-29 23:24:00
355阅读
2评论
引言我们都听过 cache，当你问他们是什么是缓存的时候，他们会给你一个完美的答案，可是他们不知道缓存是怎么构建的，或者没有告诉你应该采用什么标准去选择缓存框架。在这边文章，我们会去讨论缓存，缓存算法，缓存框架以及哪个缓存框架会更好。面试“缓存就是存贮数据（使用频繁的数据）的临时地方，因为取原始数据的代价太大了，所以我可以取得快一些。”这就是 programmer one （pro
转载
2013-07-13 04:22:00
232阅读
2评论
消息可靠性的保证基本上我们都要从3个方面来阐述（这样才比较全面，无懈可击）生产者发送消息丢失kafka自身消息丢失消费者消息丢失生产者发送消息丢失kafka支持3种方式发送消息，这也是常规的3种方式，发送后不管结果、同步发送、异步发送，基本上所有的消息队列都是这样玩的。发送并忘记，直接调用发送send方法，不管结果，虽然可以开启自动重试，但是肯定会有消息丢失的可能同步发送，同步发送返回Future
转载
2024-03-03 09:52:45
72阅读
于2017.04.21 从新浪博客搬迁过来---------------------------------------------------------------- 在现在的企业中squid 作为代理服务器和缓存服务器使用，在小型的环境中squid可以作为代理服务器来供单位用户上网使用；在大型的环境中squid又作为缓存服务器来对web进行加速。常见的有正向代
原创
2017-04-21 14:07:41
4128阅读
# 实现Python内存和缓存
## 概述
在Python开发中，了解如何管理内存和使用缓存是非常重要的。本文将向你介绍如何实现Python内存和缓存，帮助你更好地理解这个过程。
## 流程步骤
下面是实现Python内存和缓存的流程步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 导入相关库 |
| 2 | 创建缓存对象 |
| 3 | 向缓存中添加数据 |
原创
2024-06-21 04:14:34
42阅读
缓存雪崩：由于原有的缓存过期失效，新的缓存还没有缓存进来，有一只请求缓存请求不到，导致所有请求都跑去了数据库，导致数据库IO、内存和CPU眼里过大，甚至导致宕机，使得整个系统崩溃。解决思路： 1，采用加锁计数，或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力，但是同时又降低了系统的吞吐量。 2，分析用户行为，尽量让失效时间点均匀分布。避免缓存雪崩的出现。
转载
2023-02-16 09:55:37
59阅读
1.了解什么是redis的雪崩和穿透？redis崩溃之后会怎么样？系统该如何应对这种情况？如何处理redis的穿透？缓存雪崩现象：见下图缓存雪崩的事前事中事后的解决方案事前：redis高可用，主从+哨兵，redis cluster，避免全盘崩溃事中：本地ehcache缓存 + hystrix限流&降级，避免MySQL被打死事后：redis持久化，快速恢复缓存数据接下来我们再...
原创
2021-06-21 18:22:59
656阅读
最近需要对别的部门提供一个接口，第1版直接查库，第2版增加了Redis缓存。 //具体执行
原创
2023-05-05 14:59:31
93阅读
