AES Cipher 线程问题 ehcache线程安全

转载

mob6454cc7bab1f 2024-03-17 10:46:46

文章标签 AES Cipher 线程问题 ehcache 缓存序列化数据 文章分类 架构后端开发

ehcache是一个用Java实现的线程安全的缓存管理类库，ehcache提供了用内存，磁盘文件存储，以及分布式存储方式等多种灵活的cache管理方案。Ehcache的类层次模型主要为三层，最上层的是CacheManager，他是操作Ehcache的入口。我们可以通过CacheManager.getInstance()获得一个单个的CacheManager，或者通过CacheManager的构造函数创建一个新的CacheManager。每个CacheManager都管理着多个Cache。而每个Cache都以一种类Hash的方式，关联着多个Elemenat。而Element则是我们用于存放要缓存内容的地方。

ehcache主要的特点：
1.缓存数据有三级：内存、堆外缓存Off-Heap、Disk缓存，因此无需担心容量问题。还可以通过RMI、可插入API等方式进行分布式缓存。
2.缓存数据会在虚拟机重启的过程中写入磁盘，持久化。
3.具有缓存和缓存管理器的侦听接口。
4.支持多缓存管理器实例，以及一个实例的多个缓存区域。
ehcache缓存的3种清空策略：
1 FIFO，先进先出
2 LFU，最少被使用，缓存的元素有一个hit属性，hit值最小的将会被清出缓存。
3 LRU，最近最少使用的，缓存的元素有一个时间戳，当缓存容量满了，而又需要腾出地方来缓存新的元素的时候，那么现有缓存元素中时间戳离当前时间最远的元素将被清出缓存。

事件处理:
可以为CacheManager添加事件监听，当对CacheManager增删Cache时，事件处理器将会得到通知。要配置事件处理，需要通过ehcache的配置文件来完成。
可以为Cache添加事件监听，当对Cache增删Element时，事件处理器将会得到通知。要配置事件处理，需要通过ehcache的配置文件来完成。

ehcache参数配置：
以下属性是必须的：

name - cache的标识符，在一个CacheManager中必须唯一

maxElementsInMemory - 在内存中缓存的element的最大数目

maxElementsOnDisk - 在磁盘上缓存的element的最大数目

eternal - 设定缓存的elements是否有有效期。如果为true，timeouts属性被忽略

overflowToDisk - 设定当内存缓存溢出的时候是否将过期的element缓存到磁盘上

以下属性是可选的：

timeToIdleSeconds - 缓存element在过期前的空闲时间。默认为0，表示可空闲无限时间. (如果指定了这个时间，是否在被hit的前超过了这个时间就会被remove？在内存缓存数目超限之前不会被remove)

timeToLiveSeconds - 缓存element的有效生命期。这个类似于timeouts，默认为0，不过期(是否通常情况下应该大于等于timeToIdleSeconds，小于会如何？idle时间也会减小和这个数值一样)

diskPersistent - 在VM重启的时候是否持久化磁盘缓存，默认是false。(测试一下true的情况？重载vm的时候会从磁盘进行序列化到对象)

diskExpiryThreadIntervalSeconds - 磁盘缓存的清理线程运行间隔，默认是120秒. (测试一下0的时候会如何)

memoryStoreEvictionPolicy - 当内存缓存达到最大，有新的element加入的时候，移除缓存中element的策略。默认是LRU，可选的有LFU和FIFO可对缓存中的element配置诸如监听器和加载器。Ehcahe内建了一些

ehcache的知识:
1.如果在添加Elemtent时，缓存中的Element个数达到了最大缓存数并且overflowToDisk配置的属性为true，Ehcache会更具配置项MemoryStoreEvictionPolicy的失效策略将Element输出到磁盘。如果overflowToDisk为fasle，Ehcache将删除内存中Element
2.值得注意的是缓存中失效的Element并不会别马上清理掉，所以想得到内存的真实大小应该调用方法calculateInMemorySize()方法。
3.一个ehcache.xml对应一个CacheManager
4.不同的缓存应该对应不同的硬盘上的路径，否则会报错
5.注意要想使用磁盘缓存，缓存的Element必须实现序列化接口。否则会抛出NotSerializableException异常。
6.Ehcache会将每个缓存配置的文件路径下创建一个cache_name.data文件，如果使用的磁盘持久化技术，还会生成一个cache name.index文件。
7.Ehcache有一个后台线程专门做Ellment失效监测以及清除工作。设置线程运行间隔时间，可通过设置diskExpiryThreadIntervalSeconds属性来完成，此值不宜设置过低，否则会导致清理线程占用大量CPU资源。默认值是120秒。
8.持久化可在Element的diskPersistent配置项中配置，如果配置为“false”或是“omitted”在CacheManager shutdown或是startup后，用来缓存Element的文件将被清除掉。如果设置为“true”，data和index文件会被保存下来，对于新创建的CacheManager Element也是可用的。
9.使用时必须显示调用cache. Flush()才会将数据缓存到磁盘中。
10.磁盘缓存步骤：从MemoryStore中把没有失效的Element刷新到DiskStore，Element被写入到data文件，Element将被序列化到index文件。
11.磁盘缓存大小默认是没有限制的，不过可通过maxElementsOnDisk来指定。当磁盘缓存达到maxElementsOnDisk指定的值时，Ehcache会清理磁盘中的缓存使用默认策略是LFU（使用频率最低）。
12.在使用完Ehcache后，必须要shutdown缓存。Ehcache中有自己的关闭机制，不过最好在你的代码中显示调用CacheManager.getInstance().shutdown();
13.Cache:对于getValue()能取到可序列化的值；getObjectValue()取得非序列化的值
14.cache.getSize();得到缓存中元素的个数；获得当前MemoryStore中的element数量：cache.getMemoryStoreSize();获得当前DiskStore中element数量：cache.getDiskStoreSize();
15.CacheManager可以通过单例（factory的静态方法）或者构造函数（constructors）创建。分别叫做single model和instance model。当两种情况都有的时候，系统会采用单例模式，构造器每次都生成单例模式
16.对于想存储数据到硬盘，或者集群时复制到其他缓存区域的数据，必须可序列化。如果不可序列化，该数据在进行上述操作时会被丢弃，且没有报错，只是在debug级别有日志信息。
17.每一个Cachemanager应该有自己的独有的ehcache.xml配置文件。因为，当共用时，硬盘缓存路径或者监听端口将会冲突。系统也会发出警告，提醒用户配置专门的配置文件为每一个cachemanager.在分布式系统中，ehcache.xml应该配置成一样的。
18. Ehcache有3个存储： 1）内存存储 2）非堆存储（大内存，企业ehcache才拥有） 3）硬盘存储（两个版本：开源的和企业级ehcache）
19.内存存储: 其本质是使用java的LinkedHashMap来实现的。多线程安全、内存管理安全、速度快, calculateInMemorySize()可以用来计算当前ehcache内存占用大小。但生产线上不应该使用，因为这个功能效率非常低,同时，ehcache内部有一个低等级的进程，它会判断元素的是否过期。diskExpiryThreadIntervalSeconds属性可以设置该线程执行的间隔时间(默认是120秒，不能太小，以免影响效率).
20.非堆存储: Terracotta BigMemory是一个新增的功能，它允许系统占用堆以外的内存，速度是硬盘存储的100倍，允许很大的存储空间被创建（350G被测试过）,因为非堆数据是以字节流的形式存储，所以要求Element的key和value都要是可以序列化的。因为序列化和反序列化的过程，这种存储形式比内存存储慢10倍
21.硬盘存储:线程安全的, 当maxElementsOnDisk被设置的时候，硬盘上的存储达到限制时，LFU算法会被执行用于清除数据，只能是该算法，不可配置
22.Persistence被设置成false或者omitted，当系统重启时，不会硬盘的数据存储在硬盘上，.data文件将会被删除.相反，.data文件不会被删除，下次重启后Cachemanager还可以使用.data文件。
23.虚拟机被停止的时候，强烈建议调用Cachemanager.shutdown()方法。
24.cacheEventListenerFactory - 监听缓存中element的put, remove, update和expire事件
25.Ehcache内建了基于RMI的实现 - RMICacheReplicatorFactory

三层缓存策略(内存,磁盘和堆外缓存):
堆外缓存（off-heap），这既是独立的进程缓存，还是JVM堆外的系统缓存，可以想象一下，JVM堆是非常宝贵的，如果占用过大会带来GC性能问题，堆外缓存很好的解决了这个问题，现在服务器内存越来越大，而磁盘缓存的io性能又比较低，off-heap缓存就是折中的方案，既保证了高速性能，又可以有一定的容量。off-heap缓存性能的占用主要是序列化、反序列化的过程。一旦对象被序列化，在返回Java堆的时候必需反序列化才可以使用。这是一笔性能开销。但off-heap还是要比本地磁盘、网络存储、RDBMS数据库IO等记录数据的系统要快非常多。还应指出的是，序列化/反序列化的性能开销远没有很多用户想象的那么大。off-heap已经针对字节缓冲区做了优化，本身也包含一些优化机制，可以对使用标准Java序列化的对象进行优化，能使复杂Java对象的性能提升两倍，使byte数组的性能提升四倍。

个人是这样理解的：

1.常被查询、最重要、数据量较小的数据存放在堆缓存，不用担心JVM的重启，有持久化机制；
2.常被查询、数据量中等的数据存放在堆外缓存，几个G就好了，不用担心服务器的重启，有持久化机制；
3.不常用、大量的数据、但又不想占用数据库IO的数据，放在Disk缓存，容量自便；