ES 中translog是存储于磁盘上的文件，每个ES分片都会一个translog，所以translog的存储路径就位于分片数据目录下。如下图所示：1：索引名称2：分片名称3存放translog文件的目录 Translog目录下有2种格式的文件，tlog后缀的文件和ckp后缀的文件。translog中存储了ES的操作记录，具体的说是ES还没落盘的数据的操作记录。因此不难看出translog的作用就
转载
2024-01-29 11:38:15
95阅读
<!-- @page { margin: 2cm } P { margin-bottom: 0.21cm } --> 所谓“落盘”就是落在硬盘上面的意思。也就是说， Linux 是否应当安装在计算机硬盘上？怎么会产生这种想法？是不是头脑发疯了？ 此刻，我利用安装在硬盘上的 Linux 桌面（ Ubu
转载
2023-10-23 21:42:28
156阅读
# Hive中的`totalsize`详解
在大数据处理和分析中，Apache Hive作为一个数据仓库工具被广泛使用。它为用户提供了一个SQL-like的查询语言，使得用户可以更轻松地处理存储在Hadoop中的大规模数据。在Hive中，有许多重要的概念和参数，其中`totalsize`是一个非常关键的指标。本篇文章将深入探讨`totalsize`的含义，并结合代码示例及可视化图表进行全面的讲解
背景最近在遇到了一个非常奇怪的现象： 程序修改了配置文件中的参数，程序退出之后。cat 配置文件，发现文件内容修改成功。但是断电重启之后，概率性出现配置文件为空或者是配置未修改（概率较大）。 通过简单的思考，判断方向大致如下：1. 和之前mount 顺序有关，可参考之前的一篇博客mount顺序导致读写不一致问题。通过简单的排查，确定不是这个问题，如果是mount顺序的问题，应该是必现才对。2. 重
转载
2024-06-04 05:38:22
35阅读
# Hive Reduce 是什么？
在大数据处理的生态系统中，Apache Hive 是一个重要的工具。它提供了一种类 SQL 的查询语言，使用户能够轻松地对 Hadoop 存储的数据进行分析。而在 Hive 中，reduce 阶段通常指的是 MapReduce 编程模型中的 Reduce 任务。本文将详细介绍 Hive 中的 Reduce 概念、使用场景以及示例。
## 1. 什么是 Hi
在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，在此，我们首先来介绍下数据采集部分所用的的开源框架——Flume。一、FLUME概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，
转载
2023-07-11 17:37:04
136阅读
一 表数据的导入和导出1 表数据的导入方式------hive 交互窗口上1.1 load本地数据load data local inpath "/root/hive/.txt或者 .log" into table tb_name; load data local inpath "/root/hive/.txt" overwrite into tabl
转载
2023-12-01 14:00:20
101阅读
# Redis AOF落盘策略详解
## 1. 引言
Redis作为一个高性能的键值存储数据库，拥有多种数据持久化策略，其中AOF（Append Only File）是最受欢迎的一种。AOF记录了所有对Redis服务器的写操作，按照顺序追加到文件中，实现了数据的持久化。本文将详细介绍Redis AOF的落盘策略，同时通过代码示例和图表说明其工作原理。
## 2. AOF落盘策略
在Redi
原创
2024-08-11 04:13:28
94阅读
什么是生产端的可靠性投递？保障消息的成功发出。保障MQ节点的成功接收。发送端收到MQ节点（Broker）确认应答。完善的消息进行补偿机制。互联网大厂的解决方案：消息落库，对消息状态进行打标。消息的延迟投递，做二次确认，回调检查。1.生产端-可靠性投递：消息落库，对消息进行打标Step1：业务数据落库（BIZ DB）（如订单数据），消息落库（MSG DB）。Step2：分布式定时任务查询待发送消息发
转载
2024-06-05 10:38:17
45阅读
在使用Hive进行大数据分析时，理解数据表的大小（size）是非常重要的。特别是在进行数据处理和优化时，了解Hive中size的含义可以帮助我们提高查询性能和系统效率。接下来，我将详细介绍如何理解Hive中的size，包括环境准备、集成步骤、配置详解、实战应用、排错指南和性能优化。
### 环境准备
要开始我们的Hive之旅，首先需要搭建一个合适的环境。以下是为不同平台安装Hive的依赖指南：
一、 redis的编译安装1、依赖的系统包yum install -y wget gcc make tcl2、下载包地址1、各个版本redis的下载地址
http://download.redis.io/releases/
2、本文安装最新版本4.0.9
wget http://download.redis.io/releases/redis-4.0.9.tar.gz3、编译安装1、解压：tar
转载
2023-08-07 23:36:58
951阅读
Redis持久化 redis所有数据全部存在内存中，如果突然宕机了，数据就会全部丢失，那么数据必须要持久化到磁盘中。那redis提供了几种持久化机制呢？ redis根据实际业务情况分为二种持久化机制。一种是rdb快照，另外一种是AOF文件RDB快照 rdb快照是一种全量数据备份机制。每次备份数据都是全部内存的数据持久化到磁盘上。大家知道redis是单进程，单线程的程序。这个线程既要负责多个客户端s
转载
2024-06-30 17:25:30
47阅读
Redis为什么慢了文件系统AOF模式AOF持久化模式主要注重点有两个，第一追加日志写入文件的时机也就是写回策略，第二个就是AOF文件的重写操作。日志追加写入一般分为两个步骤Redis执行写命令后，将这个命令写入到文件内存中，系统调用write完成。Redis根据不同的刷盘时机，将内存中的数据刷到磁盘，系统调用fsync完成。不同的刷盘时机其实就是写回策略有三种no：主线程每次写入到内存中就返回，
转载
2024-04-09 10:35:14
61阅读
概述redis是一个缓存数据库，数据通常存放在内存中，以此做到快速读写功能。这样做的弊端就是每次机器重启或者掉线数据都会消失。通常为了解决内存数据再下次重启消失问题，主要方式就是把数据持久化到磁盘中，每次启动的时候就是磁盘数据载入内存，redis也是支持这种模式。持久化方式redis持久化数据到磁盘主要有两种方式：RDB和AOF。RDB方式是根据策略（配置文件）定时把数据持久化到磁盘；AOF方式是
转载
2024-05-31 16:48:22
315阅读
sparkshuffle1.绪论0.8版本之前是 hashbasedshufflewrite0.8到1.2是 优化的hashbasedshuffle1.3开始时sortbasedshuffle1.1 基础shuffle载入shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算如果数据链过长，一直占用内存可能会oo
转载
2023-12-14 12:46:14
155阅读
目录一、拉取镜像二、查看镜像三、创建文件目录四、修改redis.conf的配置 根据个人需要修改五、docker启动redis命令六、解决动态分配空间内核不支持的问题 docker pull redis #后面可以带上tag号, 默认拉取最新版本 docker pull redis:7.0.3二、查看镜像docker images三、创建文件目录/opt/docker/re
转载
2023-11-14 09:24:47
77阅读
数据落盘
原创
2023-03-15 17:23:57
721阅读
作者：吴业亮 一、IO落盘原理一个I/O请求，从应用层到底层块设备，路径如下图所示：从上图可以看出IO路径是很复杂的。我们将IO路径简化一下：一个I/O请求进入block layer之后，可能会经历下面的过程： • Remap: 可能被DM(Device Mapper)或MD(Multiple Device, Software RAID) remap到其它设备• Split: 可能会因为I/O请求
2.4 RDD 持久化2.4.1 RDD 的缓存 Spark 速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个 RDD 后，每一个节点都将把计算的分片结果保存在内存中，并在对此 RDD 或衍生出的 RDD 进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD 相关的持久化和缓存，是 Spark 最重要的特征之一。可以说，缓存是 Spark 构建迭代式算法
上一篇blog在linux中安装了Redis，并且对Redis进行了启动和操作。本篇blog主要学习下Redis的持久化策略。什么是持久化呢？举个最简单的例子，就是内存中的数据如果突然遭遇断电，将会丢失，那么为了保证数据不丢失，内存中的数据要持久化到硬盘里来，利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。持久化的作用就是防止数据的意外丢失，确保数据安全性！
转载
2023-12-02 15:55:43
325阅读
