前言： sparkRDD的操作，从宏观上分为：Transformation和Action，但是具体的还以分为：输入算子、变换算子、缓存算子，以及行动算子。官网地址： https://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rdds一、Transformation先来
转载
2023-12-20 09:28:07
17阅读
# Spark SQL中的Join与子查询
## 引言
在大数据处理和分析的过程中，数据的整合和查询是非常重要的。Spark SQL提供了一种强大的工具，允许我们使用SQL语言来处理大规模数据。在本文中，我们将探讨如何在Spark SQL中使用Join和子查询，并通过代码示例和流程图来帮助理解。
## 基础概念
### Join
Join操作用于将两张或多张表中的数据结合在一起。常见的J
原创
2024-08-15 04:29:42
60阅读
文章目录AMCL介绍代码结构解析AMCL接口定义介绍链接参考代码地址参考 AMCL介绍AMCL( Adaptive Mentcarto Localization)，自适应蒙特卡洛定位，基于粒子滤波器的定位算法，与gmapping的定位方法类似，但主要实现定位功能。MCL：蒙特卡洛定位介绍 MCL算法流程：随机生成粒子，粒子权重相等。更常用是位置初始化可以设为(0,0,0)。根据运动模型估计新时刻
GraphX是Spark框架上的图计算组件，通过对Spark中RDD进行继承与扩展，引入了弹性分布式属性图，并针对该图提供了丰富的API。GraphX基于Spark中RDD、DAG、高容错性等概念和特性，实现了图计算的高效性与健壮性。Graphx是一种基于内存的分布式的图计算库与图计算框架，用户不仅可以直接使用Graphx提供的经典计算算法库，还可以针对不同的业务需求开发相应的Graphx应用程序
转载
2023-11-23 13:09:56
0阅读
# Java 父转子
在Java中，有时我们需要将父类对象转换为子类对象，这个过程被称为“父转子”。虽然Java不允许直接进行父类到子类的转换，但是我们可以使用类型转换运算符来实现这一目的。
## 父类与子类的关系
在Java中，子类继承了父类的属性和方法。子类可以访问父类中的非私有成员，同时也可以通过重写（override）方法来改变方法的行为。子类对象也可以赋值给父类引用变量，这是因为子
原创
2023-12-18 12:07:59
79阅读
# Spark 图（Graph）及其应用
Apache Spark 是一个快速大规模数据处理框架，广泛应用于大数据分析、机器学习等领域。Spark 的图计算库 — GraphX，提供了一种用于处理图数据的强大 API。本文将介绍 Spark 图的基本概念及其在数据分析中的应用，辅以示例代码和可视化图表。
## 什么是图？
在计算机科学中，图是一种由顶点（节点）和边（连接顶点的链接）组成的结构
01 什么是DAG？DAG：Directed Acyclic Graph，中文意为「有向无环图」。DAG原本是计算机领域一种常用数据结构，因为独特的拓扑结构所带来的优异特性，经常被用于处理动态规划、导航中寻求最短路径、数据压缩等多种算法场景。我们直观点来理解：这就要从太阳系说起了，了解太阳系的运转方式有利于大家更加直观的了解什么是DAG。上学时候老师教我们银河系中的星球都是围绕着太阳旋转的，还在课
转载
2024-01-17 12:33:35
0阅读
Android转子动画的实现流程如下：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 创建一个自定义的View，在该View中绘制转子的图形 |
| 步骤二 | 在Activity或Fragment中使用该自定义的View |
| 步骤三 | 实现转子的动画效果 |
具体的操作步骤和代码如下：
**步骤一：创建自定义的View**
首先，我们需要创建一个继承自Vi
原创
2024-01-17 12:14:34
29阅读
1.1 什么是Spark GraphX Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。那么什么是图，都计算些什么?众所周知社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，数据中出现网状结构关系都需要图计算 GraphX是一个新的Spark
转载
2023-09-06 16:49:21
49阅读
文章目录前言一、基本概念二、转子故障2.1 I型转子故障2.2 II型转子故障2.3 转子弓形三、定子故障——偏心、软脚总结 前言电机相较于其他机械设备来说结构比较简单，主要由定子、转子和冷却系统组成。定子由定子铁芯、定子绕组和基座构成，产生旋转磁场。转子由转子铁芯、转子绕组和转轴(轴承)构成，做切割磁感线运行。冷却系统常采用风冷方式，由风机和热交换器构成。 电机故障包含电气故障和机械故障，其中
转载
2024-06-14 09:19:23
165阅读
图论简介 图的组成 离散数学中非常重要的一个部分就是图论，下面是一个无向连通图 顶点(vertex) 上图中的A,B,C,D,E称为图的顶点。 边 顶点与顶点之间的连线称之为边。 图的数学表示《数学之美》一书时，才发觉，线性代数在一些计算机应用领域，那简直就是不可或缺啊。《数学桥 对高等数学的一次观赏之旅》。 在数学中，用什么来表示图呢，答案就是线性代数里面的矩阵，想想看，图的关联矩阵，图的邻
转载
2023-11-11 23:49:54
101阅读
讲说spark的资源调度和任务调度，基本的spark术语，这里不再多说，懂的人都懂了。。。按照数字顺序阅读，逐渐深入理解：以下所有截图均为个人上传，不知道为什么总是显示别人的，好尴尬，无所谓啦，开始吧~~1 宽窄依赖与Stage划分：上熟悉的图： 在 Spark 里每一个操作生成一个 RDD，RDD 之间连一条边，最后这些 RDD 和他们之间的边组成一个有向无环图
转载
2023-11-16 14:21:28
138阅读
在说ClassCastException之前，先介绍下引用类型转换；向上转型和向下转型两种； 向上转型：多态本身是子类类型向父类类型向上转换的过程，这个过程是默认的；当父类引用指向一个子类对象时，便是向上转换； 使用格式：父类类型 变量名 = new 子类类型(); 向下转型：父类类型向子类类型向下转换的过程，这个过程时强制；一个已经向上转型的子类对象，将父类引用转为子类引用，可以
转载
2023-07-15 21:50:19
499阅读
spark 系列Spark 核心原理及运行架构Spark RDD详解Spark 常用算子大全Spark SQL 详解Spark GraphX 图计算入门基础 Spark GraphX图计算入门基础spark 系列前言Spark GraphX 简介GraphX应用背景GraphX 核心APIGraphX 特点Spark GraphX 实现原理两种视图存储模式计算模式GraphX实例 前言前面几篇
转载
2023-10-08 15:46:52
127阅读
一.概述GraphX是Spark中用于图形和图形并行计算的新组件。在较高的层次上，GraphX 通过引入新的Graph抽象来扩展Spark RDD：一个有向多重图，其属性附加到每个顶点和边上。为了支持图计算，GraphX公开了一组基本的操作符（例如， subgraph，joinVertices和 aggregateMessages），以及所述的优化的变体Pr
转载
2023-07-21 11:56:31
121阅读
1.基于内存实现了数据的复用与快速读取 具有较多迭代次数是图计算算法的一个重要特点。在海量数据背景下，如何保证图计算算法的执行效率是所有图计算模型面对的一个难题。基于MapReduce的图计算模型在进行迭代计算过程中，中间数据的操作都是基于磁盘展开的。这使得数据的转换和复制开销非常大，其中包括序列化开销等。除此之外，许多与图结构信息相关的数据无法进行重用，这使得系统不得不
转载
2024-07-05 21:41:39
22阅读
GraphX是Spark新的组成部分，主要用于图和图的并行计算。在高层，GraphX扩展了Spark RDD，引入新的图抽象：一个属性依附于点和边的有向多图。为支持图计算，GraphX提供一系列基本运算（例如子图、结合点和聚合消息）并优化了Pregel API的变体。此外，GraphX包含了一组图算法和构建器以简化图分析任务。首先需要在项目中载入Spark和GraphX：import org.ap
转载
2023-09-02 14:40:13
80阅读
文章目录1. Spark GraphX1.1 图的应用场景2.Spark GraphX的抽象3.Spark GraphX图的构建4. Spark GraphX图的计算模式4.1 Spark GraphX 图的转换操作4.2 转换操作4.2 结构操作4.3 关联操作4.4 聚合操作5.GraphX实例 1. Spark GraphXSpark GraphX是Spark的一个模块，主要用于进行以图为
转载
2023-10-12 15:49:17
40阅读
DAG在spark里每一个操作生成一个RDD，RDD之间连一条边，最后这些RDD和他们之间的边组成一个有向无环图，这个就是DAG。Spark内核会在需要计算发生的时刻绘制一张关于计算路径的有向无环图，也就是DAG。有了计算的DAG图，Spark内核下一步的任务就是根据DAG图将计算划分成任务集，也就是Stage，这样可以将任务提交到计算（节点进行真正的计算）。Spark计算的中间结果默认是保存在内
转载
2024-07-27 15:53:42
43阅读
小风扇，其实就是一个电机（马达），然后轴子上套一个扇叶。扇叶有两叶的，也有三叶的。这种我们小时候没少玩，太阳能帽子上就有一个小风扇，骑着自行车上学，路上只要有太阳光照射到，小风扇就会转。当然还有装干电池的，天气热的时候，买一把放在课桌上，声音很小，所以老师也不会管。现在的小风扇在供电方式上多了两种：一种是USB风扇，另一种是插在手机上供电的，说实话，风力不怎么样，而且也比较危险。于是，你可能会想，
转载
2024-10-09 10:28:44
26阅读
