前面的话 几乎所有的服务器和代理都会记录下它们所处理的HTTP事务摘要。这么做出于一系列的原因：跟踪使用情况、安全性、计费、错误检测等等。本文将介绍日志记录 记录内容 大多数情况下，日志的记录出于两种原因：査找服务器或代理中存在的问题(比如，哪些请求失败了)，或者是生成Web站点访问方式的统计信息。统计数据对市场营销、计费和容量规划(比如
转载
2023-12-13 17:30:49
48阅读
# 实现“hilog 日志落盘”的步骤
## 引言
在软件开发过程中，日志是非常重要的一部分。它可以记录程序运行过程中的关键信息，对于排查问题和监测系统状态都非常有帮助。本文将介绍如何实现“hilog 日志落盘”的过程，以及每一步需要做什么。
## 1. 准备工作
在开始之前，需要确认以下几点：
- 确定使用的编程语言和框架。
- 确定日志的存储方式和格式。
- 确定日志的输出位置和级别。
原创
2024-01-15 19:45:22
219阅读
# Docker日志落盘
## 前言
Docker是一个用于开发、部署和管理应用程序的开源平台。通过Docker，开发人员可以将应用程序与其依赖项打包为一个独立的容器，然后在任何支持Docker的环境中运行。其中一个关键的特性是Docker提供了强大的日志管理功能，使开发人员能够更轻松地监控、分析和调试应用程序的运行情况。
本文将介绍Docker日志落盘的概念和使用方法，并用代码示例演示如何
原创
2024-02-04 09:25:12
47阅读
目录分类二进制日志（bin log）数据恢复主从复制bin log 刷盘策略读写分离重做日志（Redo log）WAL（Write-Ahead Logging）redo log 要写到磁盘，数据也要写磁盘，为什么要多此一举？redo log的刷盘时机redo log 文件记录策略回滚日志（Undo log）介绍undo log 刷盘时机分类MySQL Server 主要有以下几类日志：日志类型作用
转载
2023-08-17 17:49:10
71阅读
# Redis AOF落盘策略详解
## 1. 引言
Redis作为一个高性能的键值存储数据库，拥有多种数据持久化策略，其中AOF（Append Only File）是最受欢迎的一种。AOF记录了所有对Redis服务器的写操作，按照顺序追加到文件中，实现了数据的持久化。本文将详细介绍Redis AOF的落盘策略，同时通过代码示例和图表说明其工作原理。
## 2. AOF落盘策略
在Redi
原创
2024-08-11 04:13:28
94阅读
什么是生产端的可靠性投递？保障消息的成功发出。保障MQ节点的成功接收。发送端收到MQ节点（Broker）确认应答。完善的消息进行补偿机制。互联网大厂的解决方案：消息落库，对消息状态进行打标。消息的延迟投递，做二次确认，回调检查。1.生产端-可靠性投递：消息落库，对消息进行打标Step1：业务数据落库（BIZ DB）（如订单数据），消息落库（MSG DB）。Step2：分布式定时任务查询待发送消息发
转载
2024-06-05 10:38:17
45阅读
Redis持久化 redis所有数据全部存在内存中，如果突然宕机了，数据就会全部丢失，那么数据必须要持久化到磁盘中。那redis提供了几种持久化机制呢？ redis根据实际业务情况分为二种持久化机制。一种是rdb快照，另外一种是AOF文件RDB快照 rdb快照是一种全量数据备份机制。每次备份数据都是全部内存的数据持久化到磁盘上。大家知道redis是单进程，单线程的程序。这个线程既要负责多个客户端s
转载
2024-06-30 17:25:30
47阅读
Redis为什么慢了文件系统AOF模式AOF持久化模式主要注重点有两个，第一追加日志写入文件的时机也就是写回策略，第二个就是AOF文件的重写操作。日志追加写入一般分为两个步骤Redis执行写命令后，将这个命令写入到文件内存中，系统调用write完成。Redis根据不同的刷盘时机，将内存中的数据刷到磁盘，系统调用fsync完成。不同的刷盘时机其实就是写回策略有三种no：主线程每次写入到内存中就返回，
转载
2024-04-09 10:35:14
61阅读
一、 redis的编译安装1、依赖的系统包yum install -y wget gcc make tcl2、下载包地址1、各个版本redis的下载地址
http://download.redis.io/releases/
2、本文安装最新版本4.0.9
wget http://download.redis.io/releases/redis-4.0.9.tar.gz3、编译安装1、解压：tar
转载
2023-08-07 23:36:58
951阅读
概述redis是一个缓存数据库，数据通常存放在内存中，以此做到快速读写功能。这样做的弊端就是每次机器重启或者掉线数据都会消失。通常为了解决内存数据再下次重启消失问题，主要方式就是把数据持久化到磁盘中，每次启动的时候就是磁盘数据载入内存，redis也是支持这种模式。持久化方式redis持久化数据到磁盘主要有两种方式：RDB和AOF。RDB方式是根据策略（配置文件）定时把数据持久化到磁盘；AOF方式是
转载
2024-05-31 16:48:22
315阅读
sparkshuffle1.绪论0.8版本之前是 hashbasedshufflewrite0.8到1.2是 优化的hashbasedshuffle1.3开始时sortbasedshuffle1.1 基础shuffle载入shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算如果数据链过长，一直占用内存可能会oo
转载
2023-12-14 12:46:14
155阅读
目录一、拉取镜像二、查看镜像三、创建文件目录四、修改redis.conf的配置 根据个人需要修改五、docker启动redis命令六、解决动态分配空间内核不支持的问题 docker pull redis #后面可以带上tag号, 默认拉取最新版本 docker pull redis:7.0.3二、查看镜像docker images三、创建文件目录/opt/docker/re
转载
2023-11-14 09:24:47
77阅读
数据落盘
原创
2023-03-15 17:23:57
721阅读
作者：吴业亮 一、IO落盘原理一个I/O请求，从应用层到底层块设备，路径如下图所示：从上图可以看出IO路径是很复杂的。我们将IO路径简化一下：一个I/O请求进入block layer之后，可能会经历下面的过程： • Remap: 可能被DM(Device Mapper)或MD(Multiple Device, Software RAID) remap到其它设备• Split: 可能会因为I/O请求
一、预备知识1.1、索引不可变看到这篇文章相信大家都知道es是倒排索引，在es的索引过程中为了满足一下特点，落盘的es索引是不可变的。1 不需要锁。如果从来不需要更新一个索引，就不必担心多个程序同时尝试修改。
2 一旦索引被读入文件系统的缓存(内存)，它就一直在那儿，因为不会改变。只要文件系统缓存有足够的空间，大部分的读会直接访问内存而不是磁盘。这有助于性能提升。
3 在索引的声明周期内，所有的
转载
2024-04-30 19:57:26
323阅读
上一篇blog在linux中安装了Redis，并且对Redis进行了启动和操作。本篇blog主要学习下Redis的持久化策略。什么是持久化呢？举个最简单的例子，就是内存中的数据如果突然遭遇断电，将会丢失，那么为了保证数据不丢失，内存中的数据要持久化到硬盘里来，利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。持久化的作用就是防止数据的意外丢失，确保数据安全性！
转载
2023-12-02 15:55:43
325阅读
2.4 RDD 持久化2.4.1 RDD 的缓存 Spark 速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个 RDD 后，每一个节点都将把计算的分片结果保存在内存中，并在对此 RDD 或衍生出的 RDD 进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD 相关的持久化和缓存，是 Spark 最重要的特征之一。可以说，缓存是 Spark 构建迭代式算法
# 如何实现 Spark 数据落盘
在大数据处理的过程中，数据的持久化（即“落盘”）是非常重要的一步。Apache Spark 是一个强大的分布式计算框架，提供了多种方式将处理结果持久化到磁盘上。下面，我们将详细介绍如何实现 Spark 数据的落盘，包括步骤和代码示例。
## 流程概述
下面是将 Spark 数据落盘的基本流程：
| 步骤 | 操作
原创
2024-09-21 04:11:26
62阅读
Hadoop中的MapReduce是一种编程模型，用于大规模数据集的并行运算 下面的连接是我的 文章目录一、切片与MapTask并行度决定机制二、Job提交流程三、切片执行流程解析四、FileInputFormat切片机制五、TextInputFormat六、CombineTextInputFormat切片机制 一、切片与MapTask并行度决定机制MapTask的并行度决定Map阶段的任务处理并
转载
2024-09-25 15:35:33
74阅读
<!-- @page { margin: 2cm } P { margin-bottom: 0.21cm } --> 所谓“落盘”就是落在硬盘上面的意思。也就是说， Linux 是否应当安装在计算机硬盘上？怎么会产生这种想法？是不是头脑发疯了？ 此刻，我利用安装在硬盘上的 Linux 桌面（ Ubu
转载
2023-10-23 21:42:28
156阅读
