分布式缓存1. 开场白1.1 为啥在项目里要用缓存呢？用缓存，主要是俩用途，高性能和高并发1）高性能假设这么个场景，你有个操作，一个请求过来，吭哧吭哧各种乱七八糟操作mysql，半天查出来一个结果，耗时600ms。但是这个结果可能接下来几个小时都不会变了，或者变了也可以不用立即反馈给用户。那么此时咋办？ 缓存啊，折腾600ms查出来的结果，扔缓存里，一个key对应一个value，下次再有人查，别走
在本文中，我将介绍 Caffeine — 一个高性能的 Java 缓存库。缓存和 Map 之间的一个根本区别在于缓存可以回收存储的 item。回收策略为在指定时间删除哪些对象。此策略直接影响缓存的命中率 —— 缓存库的一个重要特性。Caffeine 因使用了 Window TinyLfu 回收策略，提供了一个近乎最佳的命中率...
作者：baeldun
关于消息中间件RabbitMQ在生产环境中占用CPU过多的情况消息中间件相信大家在开发中，或多或少都接触过，现在的项目，无论用户基数大小，都会按照大型系统来设计，什么分布式、集群、中间件及单点登录等等的都会设计上去，今天就来谈一谈这个消息中间件在生产环境，使用不当带来的负面影响。 我们项目中用的消息中间件是RabbitMQ，这个消息中间件在使用起来停方便的，也比较健壮，但是使用不当，会对服务器造成
转载
2024-10-08 16:13:30
148阅读
一、介绍 由于CPU从内存中读取数据的速度比从磁盘读取快几个数量级，并且存在内存中，减小了数据库访问的压力，所以缓存几乎每个项目都会用到。一般常用的有MemoryCache、Redis。MemoryCache将存入的对象都作为Object对象存储，Redis分为五种类型存储，在微软提供的缓存组件中也包含Redis和SQL Server缓存，具体下次文章详细讲解。微软缓存组件源码在https://
转载
2024-07-04 12:28:55
58阅读
# 如何在Spark中实现RDD的存储和内存缓存
Apache Spark是一个强大的大数据处理框架，能有效提高数据处理的速度和性能。其中，RDD（弹性分布式数据集）是Spark的一个核心概念，它可以在内存中存储和操作数据，通过各类转换和操作来让数据分析变得更为高效。在本篇文章中，我们将详细讲解如何在Spark中实现RDD的内存缓存。
## RDD内存缓存的流程
下面是实现RDD内存缓存的步
1 yarn web ui:Apps Submitted：已提交的应用 Apps Completed：已完成的应用Apps Running：正在运行的应用Containers Running：正在运行的容器Memory Total：集群总内存Memory Used：已使用内存VCores Total：集群 CPU 总核数VCores Used：已使用的 CPU 核数Memory Rese
转载
2023-10-17 22:43:40
161阅读
为啥我的Linux系统没运行多少程序，显示的可用内存这么少？
其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做CacheMemory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的 /proc/meminfo 文件，会发现有一项 Cached Memory：
输入cat /proc/meminfo查看：
转载
精选
2012-11-15 13:01:20
450阅读
三、清理神器系统使用久了会有卡顿等各种问题，我们需要及时保养。除了上篇文章介绍的软件卸载工具可以减轻一些电脑的压力，我们还需要专业的清理软件来接管我们的系统。省心省事，高效率是我的标准。此处隆重推荐~~ccleaner~~~这是一个老牌的免费清理软件，口碑可以说很好了。称之为神器毫不为过。和前几篇文章推荐的宝藏软件一样，个人版是免费的，专业版多了几个小功能但是收费。笔者使用的是企业版，最贵的QAQ
转载
2024-04-09 10:28:23
41阅读
HTTP 缓存HTTP 通常用于分布式信息系统，其中通过使用响应缓存可以提高性能。HTTP/1.1 协议包含许多用于使缓存工作的元素。HTTP/1.1 中缓存的目标是在许多情况下消除发送请求的需要，并且无需在许多其他情况下发送完整响应。HTTP/1.1 中的基本缓存机制是用于服务器指定过期时间和验证器的缓存的隐式指令。为此，我们使用Cache-Control标头。Cache-Control标头 允
转载
2024-07-07 07:13:21
20阅读
其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做CacheMemory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的 /proc/meminfo 文件，会发现有一项 Cached Memory：
输入cat /proc/meminfo查看：
MemTotal: 16425996 kB
Mem
转载
精选
2011-12-13 18:59:47
366阅读
前天有朋友问我，为啥我的Linux系统没运行多少程序，显示的可用内存这么少？
其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的 /proc/meminfo 文件，会发现有一项 Cached Memory：
输入cat /
转载
2012-05-22 10:29:55
459阅读
PS：为什么Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存
转载
2024-01-10 10:08:55
68阅读
Spark cache的用法及其误区:一、使用Cache注意下面三点（1）cache之后一定不能立即有其它算子，不能直接去接算子。因为在实际工作的时候，cache后有算子的话，它每次都会重新触发这个计算过程。（2）cache不是一个action，运行它的时候没有执行一个作业。（3）cache缓存如何让它失效：unpersist，它是立即执行的。persist是lazy级别的（没有计算），unper
转载
2024-06-01 20:52:10
96阅读
在上一讲中我们介绍了网络 I/O 的优化方案，也就是应用缓存来减少网络 I/O 或者用高性能网络 I/O 替换性能较低的网络 I/O。将缓存应用好，也并非一件简单的事情，需要详细地学习和掌握缓存的基础知识。其次在本讲中我会应用 Node.js 来实践开发一个多级缓存的库，让你进一步掌握缓存的应用要点。缓存概念从我的理解上来介绍，缓存是临时的一块存储空间，用于存放访问频次较高的数据，用空间换响应速度
转载
2024-09-29 13:30:40
125阅读
1.使用Service层来实现缓存 从软件设计的角度分析，service层是业务逻辑层，dao层是数据接入层，dao层的功能比较单一，在service层中出现复杂业务的时候（调用多个dao层方法时），此时dao缓存就无法满足系统要求，需在将缓存提升到service层，可以获取更加丰富的缓存数据。2.spr
转载
2024-06-12 04:46:52
77阅读
高速缓存存储器随机访问存储器DRAMSRAMSRAM高速缓存存储器结构缓存命中与缓存不命中抽取请求字的三步骤组选择行匹配字选择 随机访问存储器随机访问存储器（Random-Access Memory, RAM）分为两类：静态的和动态的。静态RAM（SRAM）比动态RAM（DRAM）更快，但也贵得多。DRAM用来作为主存以及图形系统的帧缓冲区。在这里我们略讲。SRAM用来作为高速缓存存储器，既可以
谈谈数据压缩的机制前言本文简单谈谈压缩数据的机制，并介绍几种压缩算法。数据压缩我们在生活中经常用到，比如把数据压缩打包为zip，rar等等。那么我们有没有思考过，数据为什么能压缩呢？它的机制是什么呢？本篇博客将进行详解。一、文件以字节为单位保存文件是将数据存储在磁盘等存储媒介中的一种形式。程序文件中存储数据的单位是字节。文件的大小之所以用 ××KB、××MB 等来表示，就是因为文件是以字节（B =
首先是对bootloader的移植。移植uboot之前，首先需要的是DCD段。
bootloader里的DCD段是MX系列CPU用来初始化内存用的固定的一段代码，用DCDheader 标识出来
主要是对DDR controller的初始化。
这个地方调试起来比较要命，因为bootloader默认是在内存里运行的，如果DCD段的初始化不能正常完成，系统连第一行指令也
转载
2024-05-06 14:36:07
191阅读
Flash Memory存储器Flash Memory存储器是什么意思？新型半导体存储器是闪速存储器(Flash Memory)，它的主要特点是在不加电的情况下能长期保持存储的信息。就其本质而言，Flash Memory属于EEPROM(电擦除可编程只读存储器)类型。它既有ROM的特点，又有很高的存取速度，而且易于擦除和重写。由于Flash Memory的独特优点，如在一些较新的主板上采用Flas
转载
2024-03-03 20:58:25
131阅读
首先介绍一下关于内存的一下概念性的东西： CHANNEL：双通道，使内存的带宽增加一倍，数据存取速度也相应增加一倍（理论上）。（内存的带宽决定“桥梁”的宽窄） 内存通道独立，CPU可分别寻址、读取数据。 BANK：Memory chip中的存储单元,假如是X4的话有一个存储单元里面有四个bit数据， Bank,Row,column 组成了内存中cell的定位坐标。RA
转载
2024-03-05 19:36:21
79阅读
