工作中发现很多同事连基础的hive命令都不知道，所以准备写一个系列把hive一些常用的命令进行一个总结。第一个讲的命令是MSCK REPAIR TABLE。
MSCK REPAIR TABLE 命令是做啥的MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。我们知道hive有个服务叫
转载
2024-05-17 10:19:12
51阅读
一、冷热分离 按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings
{
"index.routing.allocation.include.zone" : "stale"
}4这样旧索引数据会自动迁移到sta
转载
2024-01-31 22:50:14
212阅读
常用命令：set/get/decr/incr/mget等；应用场景：String是最常用的一种数据类型，普通的key/value存储都可以归为此类；实现方式：String在redis内部存储默认就是一个字符串，被redisObject所引用，当遇到incr、decr等操作时会转成数值型进行计算，此时redisObject的encoding字段为int。2)Hash常用命令：hget/hset/hg
转载
2024-06-28 13:33:22
25阅读
clikhouse冷热数据分层方案 文章目录clikhouse冷热数据分层方案简介一、配置更改二、实际测试三、数据过期方案 简介 TTL策略可以结合业务特点，将数据生命周期与冷热数据存储关联起来。实现既保存历史数据，又能够降低存储成本的效果。比如将最近90天的高频查询数据放置在热数据存储中，而90天之前的低频查询数据自动转移到冷数据存储中一、配置更改在 config.xml 中加入如下配置 注意：
转载
2024-04-22 11:43:05
64阅读
目录一.冷热分离概念：二.解决方案：三.具体实现思路：四.难点： 业务背景：系统在使用的过程中随着业务数据量越来越多，已经超过了数据库中单表的承受能力，系统的瓶颈在数据库IO上，这时候可以通过冷热数据分离的方式来解决查询速度慢的问题。
转载
2023-10-28 13:37:24
257阅读
一 . 读写分离
1. 登录主库：
./mongo 192.168.56.88:27017
插入一条数据： testrs:PRIMARY> db.person.insert({"name":"zw","sex":"M","age":19})
testrs:
转载
2024-01-05 17:42:46
105阅读
在当今高并发、大数据的时代，系统性能优化是非常重要的。而缓存优化作为提高系统性能的一种有效手段，被广泛应用于各种场景中。其中，冷热端分离和重排序是常见的两种缓存优化方式。本篇博客将详细介绍这两种优化方式的原理、实现和应用场景，希望能为您的系统性能优化提供帮助。缓存优化是提高系统性能的一种有效手段，其中冷热端分离和重排序是常见的两种优化方式。缓存优化冷热端分离缓存的命中率受多种因素影响，其中最重要的
转载
2024-04-24 14:16:39
74阅读
一、冷热LRU链表引入我们知道MySQL是将数据存放在磁盘上的并且以页的形式来管理这些磁盘上的数据。磁盘的读写涉及到很多io操作，所以磁盘的访问是一个很慢的操作。为了提高数据的读写效率innodb会将一些数据缓存到内存中（buffer pool），在访问数据的时候首先查找内存，如果内存中有则直接访问，如果内存中没有，则按照一定的规则将数据加载到内存中。但是内存一般是比较昂贵的，一般不会将所有的数据
转载
2024-08-27 15:45:15
95阅读
背景随着财经支付业务的快速发展，考虑到未来订单量持续增长，在线存储遇到更大的挑战，需提前做好规划。目前财经支付主要业务都是使用 mysql（InnoDB）作为数据存储，因历史订单信息访问频率低并占用了大量数据库存储空间，期望将历史数据跟生产最新交易数据进行分离，当前数据库保留最近一段时间的数据作为热库，历史交易存入另一个数据库压缩存储作为冷库(rocksdb)，即数据库冷热分离。此举将会极大的节省
转载
2023-11-03 17:53:03
182阅读
前言这篇论文的读后感是我作为本科课程期间的一门大作业课程所需要完成的课外实践内容。如果能够对大家有所帮助就好，不过这一篇主要作为个人的小总结。提前告知，还望海涵。HotRing策略背景哈希索引是当前阿里公司在KVSes的中使用的最流行的内存结构，特别是当范围查询不需要上层应用程序时，由于原有哈希表的设计，访问此时应该是：N(总数)=1+L/2 //L是链表长度
L=N/B //N是总的item
转载
2024-08-09 08:22:13
131阅读
根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理并测试修改后实现 本项目按照该原理实现读写分离写的数据如果需要实时被读取，实际上不可能实现完全的读写分离的。 分区读写分离方法：假设 集群有8个节点，node1，node2，node3，node4 为热区,设置为hot，node5,node6,node7,node8 为冷区，设置为stable.
转载
2024-04-13 21:52:12
127阅读
在某些应用场景中，随着时间的流逝，历史数据很少被访问，主要是访问新产生的数据。这种情况下会把很少访问的数据存储到IO比较慢的存储设备上，而把长期查询的数据存放到IO比较快的存储设备上面。比如，像网上交易系统，可以把几个月前的历史数据存放到机械硬盘上面，而把当月的数据存放到固态硬盘上面。从而让成本最优的情况下，提升用户体验。 pgo
转载
2023-12-28 04:21:31
99阅读
一、冷热分离按《控制Elasticsearch分片和副本的分配》来设置，将hot,stale数据分到不同的集群上去hot集群只保留最近一天或两天数据写一个定时任务每天凌晨将前一天的索引标记为stalePUT /index_name/_settings
{
"index.routing.allocation.include.zone" : "stale"
}这样旧索引数据会自动迁移到stale
转载
2024-05-03 13:07:16
130阅读
当使用ElasticSearch做大规模的时序数据分析的时候，我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构（Master、Hot-Node、Warm-Node），也就是我们所说的"Hot-Warm"架构。Master Nodes我们建议使用3个独立的主节点来提供足够的弹性，为了防止脑裂的问题，你应该把discovery.zen.minimum_master_node
转载
2023-10-09 10:08:50
189阅读
项目背景公司基于elasticsearch实现了很多的业务统计分析与展示服务，而且随着业务的发展，数据量的持续增涨，es的查询效率方面遇到了很多的问题。由于在早期建设该技术平台时，未过多考虑性能加速方面的设计，故均是配置使用的普通大容量、低速磁盘。 现在，为满足业务使用需求，我们需要对es平台继续进行扩容，加入更多的SSD配置的服务器，服务于频繁查询使用的近期数据使用需求。为达到这一设计目的，我们
转载
2024-04-19 12:59:05
125阅读
# 如何实现Redis冷热数据
## 概述
在软件开发中，为了提高系统性能和响应速度，我们通常会将数据分为热数据和冷数据，将热数据存储在内存中，冷数据存储在磁盘中。而Redis作为一款高性能的内存数据库，非常适合用来实现热数据的存储。在本文中，我将教你如何利用Redis实现冷热数据的存储。
### 流程
下面是实现Redis冷热数据的步骤：
```mermaid
sequenceDiagra
原创
2024-06-16 04:48:58
15阅读
对于冷热数据分层存储的最直接的目的就是节省成本，计算机结构里，内存->nvme ssd->ssd->机械盘，访问速度依次降低，单位成本依次降低，存储密度依次增大。对于像redis这种天生为高速大并发设计的高性能系统，数据存储也理应放在内存。但是我们大多数的使用redis的场景可能并不是所有数据冷热度是相同的，有些时候我们的系统中也实在用不到100%的redis性能，能满足场景需求
转载
2023-11-09 01:10:23
115阅读
前言当公司发展到了一定的规模之后，一般都会有多个数据中心，或者多个机房，在大数据场景下就会涉及到数据会存放在不同的数据中心HDFS上，有时又需要使用多个数据中心的数据一起计算某些业务逻辑，我们可以称之为东数西算，说简单点就是跨机房读取数据。但是跨机房读取数据就会涉及到需要消耗大量昂贵的带宽资源，同时容易影响查询的性能，为此openlookeng 基于移动数据不如移动计算的理念，可以把计算逻辑发送到
转载
2024-06-03 11:06:51
62阅读
前言上一篇文章[Apache Doris 技术实现 - 冷热数据存储(一)]主要讲述了冷热数据存储与存算分离之间的关系，结合数据仓库的历史，分析了存算分离在实时数仓上面的局限性，相比起分布式计算类项目（spark、flink），实时数仓只能做到有限制的存算分离。并根据这一现状，描述了一个冷热数据与存算分离结合的模型。接下来，我会先后讲述该模型的几个主要模块的原理与实现：热数据转冷、冷数据读写。热数
转载
2024-05-07 22:13:44
125阅读
本文依据《从程序员到架构师》阅读有感，记录书中案例并且结合作者工作经历进行分析。当数据量过大，业务查询慢甚至导致数据库服务器CPU飙升，导致数据库宕机，影响用户体验。场景： 1.客户两年多产生了近2000万的工单，工单的操作记录近1亿 2.工单表已经达到3000万条数据。 &nb
转载
2024-07-08 23:10:21
344阅读
