逻辑存储概念（只在oracle层面上能够看到，在操作系统层面上是看不到的）：段segment,区extent,块block,表空间tablespace段：就是数据库中用于某种目的的存储空间，如表段用于存储表的数据，索引表用于存储索引数据。提到segment时强调其存储结构，而如果说表和索引，强调内部逻辑数据区：Oracle分配存储空间的单位，段由若干个区组成，每个区是属于一个数据文件的一块连续空间
转载
2024-04-01 06:12:55
49阅读
在使用 Apache Hive 进行大数据处理时，设置表的存储结构为 Parquet 格式是一项重要的工作。Parquet 是一种列式存储格式，能够有效提高数据的读写性能，特别是在处理大规模数据集时。本文将会详细介绍如何在 Hive 中创建使用 Parquet 格式的表，以及经过这些步骤后，如何评估和优化我们的数据存储以及处理流程。
### 背景定位
随着企业对数据分析需求的增加，数据存储的效
前言数据结构图型（Graph）结构一、图型（Graph）结构：什么是图型结构：由有穷且非空的顶点和顶点之间的边组成的集合
通常表示：G（V，E）G表示一个图，V是图中顶点（元素）集合，E是图中边（元素之间的关系）的集合
无向图：
边用（A，B）方式表示，点与点之间是互通的
在无向图中，任意两个顶点之间都有边，该图称为无向完全图，则含
转载
2024-04-11 22:05:21
41阅读
1、orc索引index、row group index、bloom filter indexset hive.optimize.index.filter=true;打开索引（默认是flase）轻量级索引Row Group Index一个orc文件包含一个或者多个stripe(groups of row data)，stripe里面存放数据和索引和stripe footer。每个stripe包含了
Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。1. Hive架构存储： Hive底层存储依赖于hdfs，因此也支持hdfs所支持的数据存储格式，如text、json、parquet等。当我们将一个文件映射为Hive中一张表时，只需在建表的时告诉Hive，
转载
2023-11-12 09:35:00
142阅读
目录存储格式ORC(Optimized Row Columnar)ORC的数据存储方式ORC具有以下一些优势:存储格式Text，Sequence，RCfile，ORC，Parquet，AVROText：可读性好，占用磁盘空间大（文本 行式存储），使用但是不常用Sequence：Hadoop API提供的一种二进制文件，以key，value的形式序列化带文件中（二进制 行式存储）RCfile：面向列
转载
2024-07-11 10:17:08
287阅读
字典通常可以用三种数据类型表示：线性表，跳表，Hash表。Hash表又称为散列表，使用一个散列函数把字典的数对映射到一个散列表的具体位置。如果数对p的关键字是k，散列函数为f，那么在理想情况下，p在散列表中的位置为f(k)。暂时假定散列表的每一个位置最多能够存储一个记录。为了搜索关键字为k的数对，先要计算f(k)，然后查看在散列表的*f(k)处是否已有一个数对。如果有，便找到该数对。如果没有，字典
转载
2024-02-21 00:11:16
182阅读
其实列存储并不是什么新概念，早在1985年SIGMOD会议上就有文章” A decomposition storage model”对DSM(decomposition storage model)做了比较详细的介绍，而Sybase更在2004年左右就推出了列存储的Sybase IQ数据库系统(见200年VLDB文章” Sybase iq multiplex - designed for an
转载
2024-03-21 10:50:10
72阅读
holodesk为了权衡列式存储的解压带来的性能影响，采用的是行列式混合存储架构，这种架构再压缩列重复数据时会比单纯的列式存储架构的压缩比要小；
原创
2022-06-14 22:41:32
107阅读
原创
2022-06-14 22:38:20
369阅读
# 深入了解 Hive Holodesk
Hive Holodesk 是一种新兴的协作工具，旨在提升团队之间的沟通效率和项目管理的透明度。在这个数字化的时代，特别是在远程工作的背景下，像 Hive Holodesk 这样的工具尤为重要。本文将深入探讨 Hive Holodesk 的功能特点，并附上代码示例，以帮助您更好地理解其使用。
## 什么是 Hive Holodesk？
Hive Ho
原创
2024-08-22 03:59:52
59阅读
目录 问题探讨：Stage3 包含哪些 rdd？问题探讨：小文件参数知识点复习串联RDDSpark 调度流程spark shuffle 过程存储模块整体架构存储的基本单位Block块的唯一标识：BlockID块数据：BlockData块元信息：BlockInfo存储系统BlockManager存储级别StorageLevel 存储实现BlockStoreDiskSt
转载
2023-12-20 10:40:06
90阅读
文章目录Hook框架选择基于微软规范的框架微软规范以外的框架简单介绍一下InfinityHook获取内核中的函数地址内核中导出的函数内核未导出的函数获取 SSDT ShadowSSDT 地址获取系统服务号手动获取获取并判断系统版本代码自动获取获取GUI相关的函数地址，还需附加GUI进程获取进程 PEPROCESS获取函数地址替换被Hook的函数 的函数实现获取函数原型如果被Hook的函数是一个高频
# Spark Holodesk: 大数据处理平台
## 简介
Spark Holodesk是一个基于Apache Spark的大数据处理平台。它提供了一套强大的工具和API，用于处理海量数据集，进行数据分析和机器学习模型训练。
## 特点
1. **高性能**：Spark Holodesk利用Spark的分布式计算引擎，可以在集群中并行处理大规模数据集。它利用内存计算技术，提供了比传统Had
原创
2023-08-25 07:45:05
168阅读
HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)Row Key与no
转载
2023-07-11 13:54:05
388阅读
# MySQL中的存储过程与动态表名
在数据库编程中，我们常常需要将某些逻辑封装到存储过程当中，以提高代码的复用性和维护性。本篇文章将讲解如何在MySQL中创建一个存储过程，并如何使用变量动态指定表名。
## 1. 什么是存储过程？
存储过程是一组预编译的SQL语句集合，可以在MySQL数据库中存储并执行。通过存储过程，可以提高性能、增强安全性、减少网络流量等。
## 2. 存储过程的创建
原创
2024-08-03 08:09:33
198阅读
一.邻接表的存在意义回忆邻接矩阵的顺序存储结构，其内存空间预先分配，容易导致空间的溢出或者浪费。为了使增减结点方便，提高空间利用效率，引入链式存储法——邻接表。二.邻接表的存储结构邻接表的组成分为表头结点表与边表，如下图所示： 由图可见，每一个边表（单链表）的表头结点存放在表头结点中。存储结构分析表头结点表采用顺序存储结构，数组的下标代表该顶点的编号。该表包含数据域data（如顶点
转载
2023-12-31 15:14:08
56阅读
#include<stdio.h>#include<stdbool.h>#define MaxSize 20typedef int DataType;typedef struct{ DataType data[MaxSize]; int length; }SqList; void Init_List ...
转载
2021-11-01 12:53:00
247阅读
2评论
# MySQL 表结构存储文件实现指南
在数据库管理和软件开发领域中，将表结构存储到文件中是一个让人容易迷惑的任务，尤其是对于刚入行的小白。本文将为你详细讲解如何实现“MySQL 表结构存储文件”，并通过实际的代码示例和步骤图解来帮助你理解这个过程。
## 流程概述
实现的步骤可以总结为以下几个部分：
| 步骤 | 描述
原创
2024-10-20 06:57:21
39阅读
目录4. 存储过程和函数4.1 存储过程和函数概述4.2 创建存储过程4.3 调用存储过程4.4 查看存储过程4.5 删除存储过程4.6 语法4.6.1 变量4.6.2 if条件判断4.6.3 传递参数4.6.4 case结构4.6.5 while循环4.6.6 repeat结构4.6.7 loop语句4.6.8 leave语句4.6.9 游标/光标 4.7 存储函数4. 存储过程和函数
