业务背景在建立数仓体系过程中，采用ORC+SNAPPY存储，单分区文件大小TB级别，对比前后依赖表以及同样体量的表，只有GB级别，故对这种情况产生怀疑，进行验证 验证一、确定数据量、以及具体字段数据正常 验证二、
转载
2024-05-30 17:17:27
69阅读
数据落盘
原创
2023-03-15 17:23:57
721阅读
一、 redis的编译安装1、依赖的系统包yum install -y wget gcc make tcl2、下载包地址1、各个版本redis的下载地址
http://download.redis.io/releases/
2、本文安装最新版本4.0.9
wget http://download.redis.io/releases/redis-4.0.9.tar.gz3、编译安装1、解压：tar
转载
2023-08-07 23:36:58
951阅读
概述redis是一个缓存数据库，数据通常存放在内存中，以此做到快速读写功能。这样做的弊端就是每次机器重启或者掉线数据都会消失。通常为了解决内存数据再下次重启消失问题，主要方式就是把数据持久化到磁盘中，每次启动的时候就是磁盘数据载入内存，redis也是支持这种模式。持久化方式redis持久化数据到磁盘主要有两种方式：RDB和AOF。RDB方式是根据策略（配置文件）定时把数据持久化到磁盘；AOF方式是
转载
2024-05-31 16:48:22
315阅读
文章目录前言一、架构图1、MySQL架构图2、InnoDB架构图二、落盘分析1.第一阶段2.第二阶段3.第三阶段4.第四阶段5.第五阶段6.第六阶段三、落盘总结四、崩溃恢复 前言在上一章中我们聊到了事务有四大特性：原子性、一致性、隔离性、持久性。本篇文章就持久性重点聊一下，在高性能MySql一书中，对持久性的定义是：一旦事务提交，则起所做的修改就会永久保存到数据库中，此时即使数据库或系统崩溃，修
转载
2023-09-22 14:44:38
505阅读
Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。BrokerBroker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采用了批量刷盘的做法。即，按照一定的消息量，和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。将数据存
背景在了解了flume的工作原理之后，在一定程度上可能会有自定义输入源和输出目的地的需求，因此本文做了一个简单的demo，以备后查自定义Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence genera
转载
2024-04-07 22:50:48
148阅读
1.Sink常用的Sink类型HDFS Sink这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Event数量定期滚动文件（关闭当前文件并创建新文件）。 它还可以根据Event自带的时间戳或系统时间等属性对数据进行分区。 存储文件的HDFS目录路径可以使用格式转义符，会由HDFS S
转载
2023-09-04 11:52:16
55阅读
# Redis AOF落盘策略详解
## 1. 引言
Redis作为一个高性能的键值存储数据库，拥有多种数据持久化策略，其中AOF（Append Only File）是最受欢迎的一种。AOF记录了所有对Redis服务器的写操作，按照顺序追加到文件中，实现了数据的持久化。本文将详细介绍Redis AOF的落盘策略，同时通过代码示例和图表说明其工作原理。
## 2. AOF落盘策略
在Redi
原创
2024-08-11 04:13:28
94阅读
kafka消息丢失解决方案需求：最近项目中遇到的一个需求就是，从kafka读取了相关的消息，并且就是实时写到数据库中，但是因为是线上的环境连接数据库可能会由于网络的问题造成连接失败，所以必须要保证的就是一但数据库写失败了，对应的kafka消息我们是不能去消费的，否则就会造成消息的丢失，这样是不允许的1.首先想到了事务解决方案，一但数据库失败回滚就可以了，相应消费的信息也就回滚了，但是后面发现这样是
转载
2024-02-17 08:45:21
44阅读
本文来自：沃趣科技http://www.woqutech.com/?p=14591.概述前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况。我们这篇文章从InnoDB往下，看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用。我们通过下图看一下相关的缓冲...
转载
2022-06-17 10:01:39
212阅读
# Redis 数据及时落盘
Redis 是一种高性能的键值存储系统，通常用于缓存和消息队列。然而，Redis 的数据存储在内存中，如果发生故障，可能会导致数据丢失。为了确保数据的持久性，我们可以配置 Redis 将数据及时落盘。
## 配置 Redis 数据落盘
Redis 提供了两种持久化方式：RDB（Redis Database）和 AOF（Append Only File）。RDB
原创
2024-07-22 10:19:00
77阅读
# MySQL 数据页落盘详解
## 引言
在现代数据库系统中，MySQL 作为一个广泛使用的开源数据库，在数据管理方面提供了高效的机制。本文将深入探讨 MySQL 数据页的“落盘”过程，了解其背后的原理，并通过代码示例帮助我们更好的理解。
## 什么是数据页？
在 MySQL 中，数据被组织为“页”（page），通常每页尺寸为 16KB。每个页面可以存储多行记录，而数据库的读写操作通常都
原创
2024-10-23 04:18:52
59阅读
ack：acknowledgement 确认收到 acks参数配置： 0：producer不等待broker的ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据； 1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，而由于已经返回了
文章目录一、MyBatis的延迟加载1、使用 assocation 实现延迟加载2、使用 Collection 实现延迟加载二、MyBatis缓存1、Mybatis中的一级缓存2、Mybatis中的二级缓存三、Mybatis的注解开发1、mybatis 的常用注解说明2、使用 Mybatis 注解实现基本 CRUD 一、MyBatis的延迟加载延迟加载：就是在需要用到数据时才进行加载，不需要用到
转载
2024-10-16 14:00:07
53阅读
一条SQL语句，正常执行时候特别快，有时候会突然变得特别慢，而且很难复现，它不只是随机而且持续时间很短。 看上去像数据库抖了一下 – 原因就是MySQL在刷脏页到磁盘。当内存数据页和磁盘数据页内容不一致的时候，这个数据页被称为“脏页”。内存数据写入磁盘后，内存和磁盘的数据页的内容就一致了，称为“干净页”。 不论脏页还是干净页，都存在内存里。触发数据库的刷脏页时机InnoDB的redo log写满了
转载
2023-09-21 10:22:07
156阅读
什么是生产端的可靠性投递？保障消息的成功发出。保障MQ节点的成功接收。发送端收到MQ节点（Broker）确认应答。完善的消息进行补偿机制。互联网大厂的解决方案：消息落库，对消息状态进行打标。消息的延迟投递，做二次确认，回调检查。1.生产端-可靠性投递：消息落库，对消息进行打标Step1：业务数据落库（BIZ DB）（如订单数据），消息落库（MSG DB）。Step2：分布式定时任务查询待发送消息发
转载
2024-06-05 10:38:17
45阅读
Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀。 在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apa
转载
2024-04-04 18:23:31
80阅读
sparkshuffle1.绪论0.8版本之前是 hashbasedshufflewrite0.8到1.2是 优化的hashbasedshuffle1.3开始时sortbasedshuffle1.1 基础shuffle载入shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算如果数据链过长，一直占用内存可能会oo
转载
2023-12-14 12:46:14
155阅读
目录一、拉取镜像二、查看镜像三、创建文件目录四、修改redis.conf的配置 根据个人需要修改五、docker启动redis命令六、解决动态分配空间内核不支持的问题 docker pull redis #后面可以带上tag号, 默认拉取最新版本 docker pull redis:7.0.3二、查看镜像docker images三、创建文件目录/opt/docker/re
转载
2023-11-14 09:24:47
77阅读
