1. 概述前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况。我们这篇文章从InnoDB往下，看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用。我们通过下图看一下相关的缓冲：从上图中，我们可以看到，数据InnoDB到磁盘需要经过InnoDB buffer pool， Redo log buffer。这个是InnoDB
本篇博文主要是翻译User Guide of Prometheus Operator并记录笔记从 v0.39.0 开始，Prometheus Operator 需要使用 Kubernetes v1.16.x 及更高版本。概念简介Operator 是一种可以操作其他软件的软件，就是将人所收集的操作经验转化为软件。Prometheus Operator旨在尽可能简单地在Kubernetes上运行Pro
转载
2024-02-04 14:20:03
59阅读
kube-prometheus 安装完后每个组件会都有默认配置，但是如果要满足基本的生产可用，默认配置是不够的，如数据持久化存储等。这篇文章介绍一些常见的需要初始化的配置。prometheus相关配置kubectl -n monitoring edit prometheuses k8s1.1 首先需要修改的就是数据持久化存储。否则pod重启监控数据就没有了。在spec中加入storage配置（以下
转载
2024-08-14 10:34:57
96阅读
数据落盘
原创
2023-03-15 17:23:57
721阅读
概述redis是一个缓存数据库，数据通常存放在内存中，以此做到快速读写功能。这样做的弊端就是每次机器重启或者掉线数据都会消失。通常为了解决内存数据再下次重启消失问题，主要方式就是把数据持久化到磁盘中，每次启动的时候就是磁盘数据载入内存，redis也是支持这种模式。持久化方式redis持久化数据到磁盘主要有两种方式：RDB和AOF。RDB方式是根据策略（配置文件）定时把数据持久化到磁盘；AOF方式是
转载
2024-05-31 16:48:22
315阅读
一、 redis的编译安装1、依赖的系统包yum install -y wget gcc make tcl2、下载包地址1、各个版本redis的下载地址
http://download.redis.io/releases/
2、本文安装最新版本4.0.9
wget http://download.redis.io/releases/redis-4.0.9.tar.gz3、编译安装1、解压：tar
转载
2023-08-07 23:36:58
951阅读
# MySQL rollback对落盘数据页影响
## 引言
在MySQL数据库中，rollback是一种回滚事务的操作。当一个事务发生错误或者被取消时，可以使用rollback将数据库恢复到事务开始之前的状态。本文将介绍MySQL rollback对落盘数据页的影响，并提供一个实例来说明如何执行rollback操作。
## 流程图
下表展示了执行rollback操作的流程：
| 步骤
原创
2023-12-27 09:32:22
23阅读
文章目录前言一、架构图1、MySQL架构图2、InnoDB架构图二、落盘分析1.第一阶段2.第二阶段3.第三阶段4.第四阶段5.第五阶段6.第六阶段三、落盘总结四、崩溃恢复 前言在上一章中我们聊到了事务有四大特性：原子性、一致性、隔离性、持久性。本篇文章就持久性重点聊一下，在高性能MySql一书中，对持久性的定义是：一旦事务提交，则起所做的修改就会永久保存到数据库中，此时即使数据库或系统崩溃，修
转载
2023-09-22 14:44:38
505阅读
Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。BrokerBroker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采用了批量刷盘的做法。即，按照一定的消息量，和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。将数据存
业务背景在建立数仓体系过程中，采用ORC+SNAPPY存储，单分区文件大小TB级别，对比前后依赖表以及同样体量的表，只有GB级别，故对这种情况产生怀疑，进行验证 验证一、确定数据量、以及具体字段数据正常 验证二、
转载
2024-05-30 17:17:27
69阅读
# Redis AOF落盘策略详解
## 1. 引言
Redis作为一个高性能的键值存储数据库，拥有多种数据持久化策略，其中AOF（Append Only File）是最受欢迎的一种。AOF记录了所有对Redis服务器的写操作，按照顺序追加到文件中，实现了数据的持久化。本文将详细介绍Redis AOF的落盘策略，同时通过代码示例和图表说明其工作原理。
## 2. AOF落盘策略
在Redi
原创
2024-08-11 04:13:28
94阅读
本文来自：沃趣科技http://www.woqutech.com/?p=14591.概述前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况。我们这篇文章从InnoDB往下，看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用。我们通过下图看一下相关的缓冲...
转载
2022-06-17 10:01:39
212阅读
# Redis 数据及时落盘
Redis 是一种高性能的键值存储系统，通常用于缓存和消息队列。然而，Redis 的数据存储在内存中，如果发生故障，可能会导致数据丢失。为了确保数据的持久性，我们可以配置 Redis 将数据及时落盘。
## 配置 Redis 数据落盘
Redis 提供了两种持久化方式：RDB（Redis Database）和 AOF（Append Only File）。RDB
原创
2024-07-22 10:19:00
77阅读
# MySQL 数据页落盘详解
## 引言
在现代数据库系统中，MySQL 作为一个广泛使用的开源数据库，在数据管理方面提供了高效的机制。本文将深入探讨 MySQL 数据页的“落盘”过程，了解其背后的原理，并通过代码示例帮助我们更好的理解。
## 什么是数据页？
在 MySQL 中，数据被组织为“页”（page），通常每页尺寸为 16KB。每个页面可以存储多行记录，而数据库的读写操作通常都
原创
2024-10-23 04:18:52
59阅读
文章目录一、MyBatis的延迟加载1、使用 assocation 实现延迟加载2、使用 Collection 实现延迟加载二、MyBatis缓存1、Mybatis中的一级缓存2、Mybatis中的二级缓存三、Mybatis的注解开发1、mybatis 的常用注解说明2、使用 Mybatis 注解实现基本 CRUD 一、MyBatis的延迟加载延迟加载：就是在需要用到数据时才进行加载，不需要用到
转载
2024-10-16 14:00:07
53阅读
ack：acknowledgement 确认收到 acks参数配置： 0：producer不等待broker的ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据； 1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，而由于已经返回了
一条SQL语句，正常执行时候特别快，有时候会突然变得特别慢，而且很难复现，它不只是随机而且持续时间很短。 看上去像数据库抖了一下 – 原因就是MySQL在刷脏页到磁盘。当内存数据页和磁盘数据页内容不一致的时候，这个数据页被称为“脏页”。内存数据写入磁盘后，内存和磁盘的数据页的内容就一致了，称为“干净页”。 不论脏页还是干净页，都存在内存里。触发数据库的刷脏页时机InnoDB的redo log写满了
转载
2023-09-21 10:22:07
156阅读
什么是生产端的可靠性投递？保障消息的成功发出。保障MQ节点的成功接收。发送端收到MQ节点（Broker）确认应答。完善的消息进行补偿机制。互联网大厂的解决方案：消息落库，对消息状态进行打标。消息的延迟投递，做二次确认，回调检查。1.生产端-可靠性投递：消息落库，对消息进行打标Step1：业务数据落库（BIZ DB）（如订单数据），消息落库（MSG DB）。Step2：分布式定时任务查询待发送消息发
转载
2024-06-05 10:38:17
45阅读
master thread的县城优先级别最高.其内部由几个循环(loop)组成:主循环(loop)、后台循环(background loop)、刷新循环(flush loop)、暂停循环(suspend loop)。master thread 会根据数-据库运行的状态在loop,background loop、flush loop 和susp
转载
2023-09-21 13:27:17
64阅读
Redis为什么慢了文件系统AOF模式AOF持久化模式主要注重点有两个，第一追加日志写入文件的时机也就是写回策略，第二个就是AOF文件的重写操作。日志追加写入一般分为两个步骤Redis执行写命令后，将这个命令写入到文件内存中，系统调用write完成。Redis根据不同的刷盘时机，将内存中的数据刷到磁盘，系统调用fsync完成。不同的刷盘时机其实就是写回策略有三种no：主线程每次写入到内存中就返回，
转载
2024-04-09 10:35:14
61阅读
