要想理解 rxjava；异步实现，是通过一种扩展的观察者模式来实现的。 Observable（可观察者，即被观察者） 和 Subscriber（订阅者）是两个主要的类。在 RxJava 上，一个 Observable 是一个发出数据流或者事件的类，Subscriber 是一个对这些发出的 items （数据流或者事件）进行处理（采取行动）的类。
转载
2024-09-27 03:22:05
9阅读
从接触了解学习使用Rxjava1.0 到Rxjava2.0有一年多了吧, 貌似,没有留下来过什么,一篇博客,日记都没有写过.主要是网上的资源太多了,都是重复的.再加上人比较懒,所以..... 所有今天以后.陆续,写点Rxjava2.0的笔记,方便以后查看.先从最基本的使用开始吧,(只记使用方法,不写原理分析).一.添加依赖
//RxJava的依赖包（我使用的最新版本）
常用命令：set/get/decr/incr/mget等；应用场景：String是最常用的一种数据类型，普通的key/value存储都可以归为此类；实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr、decr等操作时会转成数值型进行计算，此时redisObject的encoding字段为int。2)Hash常用命令：hget/hset/hg
转载
2024-06-28 13:33:22
25阅读
clikhouse冷热数据分层方案 文章目录clikhouse冷热数据分层方案简介一、配置更改二、实际测试三、数据过期方案 简介 TTL策略可以结合业务特点，将数据生命周期与冷热数据存储关联起来。实现既保存历史数据，又能够降低存储成本的效果。比如将最近90天的高频查询数据放置在热数据存储中，而90天之前的低频查询数据自动转移到冷数据存储中一、配置更改在 config.xml 中加入如下配置 注意：
转载
2024-04-22 11:43:05
64阅读
目录一.冷热分离概念：二.解决方案：三.具体实现思路：四.难点： 业务背景：系统在使用的过程中随着业务数据量越来越多，已经超过了数据库中单表的承受能力，系统的瓶颈在数据库IO上，这时候可以通过冷热数据分离的方式来解决查询速度慢的问题。
转载
2023-10-28 13:37:24
257阅读
一 . 读写分离
1. 登录主库：
./mongo 192.168.56.88:27017
插入一条数据： testrs:PRIMARY> db.person.insert({"name":"zw","sex":"M","age":19})
testrs:
转载
2024-01-05 17:42:46
105阅读
一、冷热LRU链表引入我们知道MySQL是将数据存放在磁盘上的并且以页的形式来管理这些磁盘上的数据。磁盘的读写涉及到很多io操作，所以磁盘的访问是一个很慢的操作。为了提高数据的读写效率innodb会将一些数据缓存到内存中（buffer pool），在访问数据的时候首先查找内存，如果内存中有则直接访问，如果内存中没有，则按照一定的规则将数据加载到内存中。但是内存一般是比较昂贵的，一般不会将所有的数据
转载
2024-08-27 15:45:15
97阅读
在当今高并发、大数据的时代，系统性能优化是非常重要的。而缓存优化作为提高系统性能的一种有效手段，被广泛应用于各种场景中。其中，冷热端分离和重排序是常见的两种缓存优化方式。本篇博客将详细介绍这两种优化方式的原理、实现和应用场景，希望能为您的系统性能优化提供帮助。缓存优化是提高系统性能的一种有效手段，其中冷热端分离和重排序是常见的两种优化方式。缓存优化冷热端分离缓存的命中率受多种因素影响，其中最重要的
转载
2024-04-24 14:16:39
74阅读
背景随着财经支付业务的快速发展，考虑到未来订单量持续增长，在线存储遇到更大的挑战，需提前做好规划。目前财经支付主要业务都是使用 mysql（InnoDB）作为数据存储，因历史订单信息访问频率低并占用了大量数据库存储空间，期望将历史数据跟生产最新交易数据进行分离，当前数据库保留最近一段时间的数据作为热库，历史交易存入另一个数据库压缩存储作为冷库(rocksdb)，即数据库冷热分离。此举将会极大的节省
转载
2023-11-03 17:53:03
185阅读
一、冷热分离按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings
{
"index.routing.allocation.include.zone" : "stale"
}这样旧索引数据会自动迁移到stale
转载
2024-05-03 13:07:16
130阅读
在某些应用场景中，随着时间的流逝，历史数据很少被访问，主要是访问新产生的数据。这种情况下会把很少访问的数据存储到IO比较慢的存储设备上，而把长期查询的数据存放到IO比较快的存储设备上面。比如，像网上交易系统，可以把几个月前的历史数据存放到机械硬盘上面，而把当月的数据存放到固态硬盘上面。从而让成本最优的情况下，提升用户体验。 pgo
转载
2023-12-28 04:21:31
99阅读
前言这篇论文的读后感是我作为本科课程期间的一门大作业课程所需要完成的课外实践内容。如果能够对大家有所帮助就好，不过这一篇主要作为个人的小总结。提前告知，还望海涵。HotRing策略背景哈希索引是当前阿里公司在KVSes的中使用的最流行的内存结构，特别是当范围查询不需要上层应用程序时，由于原有哈希表的设计，访问此时应该是：N(总数)=1+L/2 //L是链表长度
L=N/B //N是总的item
转载
2024-08-09 08:22:13
131阅读
当使用ElasticSearch做大规模的时序数据分析的时候，我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构（Master、Hot-Node、Warm-Node），也就是我们所说的"Hot-Warm"架构。Master Nodes我们建议使用3个独立的主节点来提供足够的弹性，为了防止脑裂的问题，你应该把discovery.zen.minimum_master_node
转载
2023-10-09 10:08:50
189阅读
根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理并测试修改后实现 本项目按照该原理实现读写分离写的数据如果需要实时被读取，实际上不可能实现完全的读写分离的。 分区读写分离方法：假设 集群有8个节点，node1，node2，node3，node4 为热区,设置为hot，node5,node6,node7,node8 为冷区，设置为stable.
转载
2024-04-13 21:52:12
127阅读
项目背景公司基于elasticsearch实现了很多的业务统计分析与展示服务，而且随着业务的发展，数据量的持续增涨，es的查询效率方面遇到了很多的问题。由于在早期建设该技术平台时，未过多考虑性能加速方面的设计，故均是配置使用的普通大容量、低速磁盘。 现在，为满足业务使用需求，我们需要对es平台继续进行扩容，加入更多的SSD配置的服务器，服务于频繁查询使用的近期数据使用需求。为达到这一设计目的，我们
转载
2024-04-19 12:59:05
125阅读
前言总体上HDFS异构存储的价值在于，根据数据热度采用不同策略从而提升集群整体资源使用效率。对于频繁访问的数据，将其全部或部分保存在更高访问性能的存储介质（内存或SSD）上，提升其读写性能；对于几乎不会访问的数据，保存在归档存储介质上，降低其存储成本。但是HDFS异构存储的配置需要用户对目录指定相应的策略，即用户需要预先知道每个目录下的文件的访问热度（事先划分好冷热数据存储目录，设置好
转载
2023-07-12 13:22:11
176阅读
业务场景有一个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个特定客服邮箱的邮件，每收到一封客服邮件，就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。这家媒体集团客户两年多产生了近2000万的工单，工单的操作记录近1亿。平时客服在工单页面操作时，打开或者刷新工单列表需要10秒钟左右。要求进行优化： 当时的数据情况如下： 1）工单表已经达到3000万条数
转载
2024-01-30 19:06:28
1237阅读
冷热分离一直是数据库和存储领域离不开的话题，特别是大数据的年代，数量和存储成本的矛盾需要冷热分离来解决。对于生产系统，不同数据库的特点不同，冷热分离机制和算法也不同。本篇文章讲一下内存数据库的冷热分离。内存数据库最显著的特点是吞吐高、延迟低，但是内存数据库往往会对接一个外部存储，比如Redis的外存版本。这样就要求冷热分离算法的cost必须很低，才不会影响内存数据库的性能，或者说把影响降到最低。传
转载
2023-11-29 16:10:15
66阅读
# 如何实现Redis冷热数据
## 概述
在软件开发中，为了提高系统性能和响应速度，我们通常会将数据分为热数据和冷数据，将热数据存储在内存中，冷数据存储在磁盘中。而Redis作为一款高性能的内存数据库，非常适合用来实现热数据的存储。在本文中，我将教你如何利用Redis实现冷热数据的存储。
### 流程
下面是实现Redis冷热数据的步骤：
```mermaid
sequenceDiagra
原创
2024-06-16 04:48:58
15阅读
对于冷热数据分层存储的最直接的目的就是节省成本，计算机结构里，内存->nvme ssd->ssd->机械盘，访问速度依次降低，单位成本依次降低，存储密度依次增大。对于像redis这种天生为高速大并发设计的高性能系统，数据存储也理应放在内存。但是我们大多数的使用redis的场景可能并不是所有数据冷热度是相同的，有些时候我们的系统中也实在用不到100%的redis性能，能满足场景需求
转载
2023-11-09 01:10:23
115阅读
