目录存储分析Shuffle分析序列化和压缩共享变量实例Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；在Spark 1.5和之前版本里，两者是静态配置的，不支持借用
转载
2023-07-11 19:43:23
22阅读
简介spark RDD操作具体参考官网：http://spark.apache.org/docs/latest/rdd-programming-guide.html#overviewRDD全称叫做Resilient Distributed Datasets，直译为弹性分布式数据集，是spark中非常重要的概念。首先RDD是一个数据的集合，这个数据集合被划分
转载
2023-06-09 22:40:59
141阅读
谈论数据结构的目的是为了在计算机中实现对数据的操作。因此还需要研究如何在计算机中表示数据。数据的逻辑结构在计算机存储设备中的映像被称为数据的存储结构。也可以说数据的存储结构是逻辑结构在计算机存储器的实现，又称物理结构。数据的存储结构是十分依赖计算机的。常见存储结构有顺序存储结构、链式存储结构等。 总
转载
2017-02-17 12:01:00
311阅读
2评论
Spark 核心编程Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹
Spark 的数据结构，分别是：RDD：弹性分布式数据集；累加器：分布式共享只写变量；广播变量：分布式共享只读变量。 它们分别用于不同的场景解决不同的问题。1.RDDRDD(Resilient Distributed Dataset) 弹性分布式数据集，是 Spark 最基本的数据处理模型，它是代码中的抽象类。对弹性分布式数据集的解释如下：弹性：存储的弹性：内存与磁盘自动切换；容错的弹性：数据丢失
转载
2023-09-27 10:38:18
75阅读
MySQL的存储结构 表存储结构 单位：表>段>区>页>行 在数据库中， 不论读一行，还是读多行，都是将这些行所在的页进行加载。也就是说存储空间的基本单位是页。 一个页就是一棵树B+树的节点，数据库I/O操作的最小单位是页，与数据库相关的内容都会存储在页的结构里。 B+树索引结构 在一棵B+树中，每个节点为都是一个页，每次新建节点的时候，就会申请一个页空间 同一层的节点为之
转载
2023-06-29 19:53:56
133阅读
简要地介绍了图的两种存储结构，邻接矩阵和邻接表，以及他们用C语言的实现代码。
(V, E)来表示的，对于无向图来说，其中 V = (v0, v1, ... , vn)，E = { (vi,vj) (0 <= i, j <= n且i 不等于j)}，对于有向图，E
通过对之前学过的线性表进行时间复杂度分析总结出顺序存储结构线性表的最大问题就是插入和删除需要移动大量的元素，严重影响了效率。为了提高效率，引出一种在逻辑结构上相连但在物理结构上不相连的存储方式--链式存储结构。链式存储结构的定义为了表示每个数据元素与其直接后继元素之间的逻辑关系，创建一种结构，结构除了需要存储数据元素本身的信息之外还需要存储其直接后继的信息。如下图：其中ai和ai+1是线性表中的两
转载
2023-10-27 05:15:58
60阅读
前言 关于对GraphQL的疑问：GraphQL 与图形数据库有什么关系？ 它们真的没有关系，GraphQL 与诸如 Neo4j 之类的图形数据库没有任何关系。名称中的 “Graph” 是来自于 GraphQL 使用字段与子字段来遍历你的 API 图谱；“QL” 的意思是“查询语言”（query language）。我用 REST 用的很开心，为什么我要切换成 GraphQL 呢？ 如果你使用 R
转载
2023-07-24 07:44:04
54阅读
目录1. spark介绍2. RDD理解2.1 RDD概念2.2 Partition分片2.3 Partitioner3. 宽窄依赖4. stage划分4. spark与DAG注脚1. spark介绍spark是基于内存计算的大数据并行计算框架。 特性：DAG执行引擎，可分布式，基于内存计算。2. RDD理解RDD：是弹性分布式数据集（Resilient Distributed Dataset）的
转载
2023-06-07 10:38:32
93阅读
RDD、DataFrame、DataSet是Spark平台下的弹性分布式数据集，为高效处理超大型数据集提供便利一、三者的优缺点的对比RDD优点：编译时类型安全面向对象的编程风格缺点：序列化和反序列化的性能开销无论是集群间的通信、还是IO操作都需要对对象的「结构和数据
」进行序列化和反序列化2. GC的性能开销
频繁的创建和销毁对象，势必会增加GC
DataFrameDataFram
Spark学习笔记之SparkRDD一、 基本概念 RDD（resilient distributed datasets）弹性分布式数据集。 来自于两方面① 内存集合和外部存储系统② 通过转换来自于其他RDD，如map，filter等2.创建操作（creation operation）：RDD的创建由Spa
转载
2023-07-03 13:22:41
73阅读
一、数据结构概念二、数据结构中常见的存储结构二、数据结构中常见的逻辑结构
原创
2023-05-20 00:10:28
257阅读
点赞
Zookeeper内存结构Zookeeper是怎么存储数据的，什么机制保证集群中数据是一致性，在网络异常，当机以及停电等异常情况下恢复数据的，我们知道数据库给我们提供了这些功能，其实zookeeper也实现了类似数据库的功能。1. Zookeeper内存结构
听了国嵌唐老师的课，用C语言实现：GTree.h#ifndef _GTREE_H_#define _GTREE_H_typedef void GTree;typedef void GTreeData;typedef void (GTree_Printf)(GTreeData*);/*创建一个树*/ GTree* GTree_Create();/*销毁一个树*/ void...
原创
2022-07-13 09:47:35
152阅读
跳跃表（skiplist）是一种有序数结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。Redis使用跳跃表作为有序集合键的底层实现之一，如果一个有序集合包含的元素数量比较多，又或者有序集合中元素的成员是比较长的字符串时，Redis就会使用跳跃表来为有序集合键的底层实现。和链表、字典等数据结构被广泛的应用在Redis内部不同，Redis只在两个地方用到了跳跃表，一个是
转载
2023-05-25 17:12:40
80阅读
前言Redis是一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server（远程数据服务），使用C语言编写，Redis是一个key-value存储系统（键值存储系统），支持丰富的数据类型，如：String、list、set、zset、hash。Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字
转载
2023-05-26 17:42:55
32阅读
###简介 树结构是一种非线性存储结构，存储的是具有“一对多”关系的数据元素的集合。 一对多 图 1(A) 是使用树结构存储的集合 {A,B,C,D,E,F,G,H,I,J,K,L,M} 的示意图。对于数据 A 来说，和数据 B、C、D 有关系；对于数据 B 来说，和 E、F 有关系。这就是“一对多 ...
转载
2021-10-17 15:24:00
133阅读
2评论
之前介绍的所有的数据结构都是线性存储结构。本章所介绍的树结构是一种非线性存储结构，存储的是具有“一对多”关系的数据元素的集合。图 1(A) 是使用树结构存储的集合 {A,B,C,D,E,F,G,H,I,J,K,L,M} 的示意图。对于数据 A 来说，和数据 B、C、D 有关系；对...
原创
精选
2023-11-03 14:44:11
230阅读
我们知道，数据之间的关系有 3 种，分别是 "一对一"、"一对多" 和 "多对多"，前两种关系的数据可分别用线性表和树结构存储，本节学习存储具有"多对多"逻辑关系数据的结构——图存储结构。图 1 所示为存储 V1、V2、V3、V4 的图结构，从图中可以清楚的看出数据之间具有的"多...
原创
精选
2023-11-03 14:45:58
325阅读
