一、RDD的实现1、作业调度当对RDD执行“转换操作”时，调度器(DGAScheduler)会根据RDD的血统来构建由若干调度阶段(State)组成的有向无环图（DAG），每个调度阶段包含尽可能多的连续“窄依赖”转换。调度器按照有向无环图顺序进行计算，并最终得到目标RDD。调度器（TaskScheduler）向各节点分配任务采用延时调度机制并根据数据存储位置来确定（数据本地性：移动计算而非移动数据
目录?7.1 什么是分区器？?7.2 RDD之间的依赖关系?1. 窄依赖?2. 宽依赖?7.3 什么时候需要使用分区器?7.4 内置分区器1.?HashPartitioner（哈希分区器）2.?RangePartitioner（范围分区器）7.5 ?自定义分区器?7.1 什么是分区器？分区器是上下游RDD分配数据的规则?7.2 RDD之间的依赖关系RDD之间存在依赖关系,可以通
转载
2024-08-14 18:22:21
25阅读
Spark作业优化总结1 、首先初始化配置文件val conf = new SparkConf().setAppName("spark-demo")2、针对Spark-Streaming作业1） 数据接收并行度调优，除了创建更多输入DStream和Receiver以外，还可以考虑调节block interval。通过参数，spark.streaming.blockInterval，可以设置bloc
转载
2023-12-09 13:21:49
147阅读
JavaScriptJS的特点：1、解释性语言，2、单线程JS三大部分：ECMAScript、BOM、DOM前端的特点：结构、行为、样式相分离ECMAScriptNaN不等于任何东西，包括自己。JS数据类型（原始值和引用值）其中原始值包括：number, string, boolean, undefined, null，引用值包括：array, object, function逻辑运算符：&
spark-sql 缓存数据表(cacheTable/uncacheTable)
Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。 假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生
转载
2024-10-25 17:59:48
27阅读
内容简介数据可视化课程设计上课案例项目、使用简易商城项目产生用户访问日志，使用nginx记录访问日志、使用Flume +kafka完成日志采集到HDFS、使用Spark 完成日志离线分析、使用Sqoop将分析结果抽取到MySQL，最终使用SSM后端项目完成数据可视化展示。一、Hadoop分布式集群安装
二 、Nginx安装配置、部署前端项目
三 、MySQL安装
四 、Tomcat安装、部署后端项
## Hive表插入数据的流程
### 步骤概述
为了实现Hive表的插入数据操作，需要经历以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 创建Hive表 |
| 步骤2 | 准备数据 |
| 步骤3 | 将数据加载到Hive表中 |
下面我将详细介绍每个步骤需要做什么，提供相应的代码和注释来帮助你理解。
### 步骤1：创建Hive表
在插入数据之前，
原创
2023-11-08 09:26:47
65阅读
目录1、多线程插入(单表)2、多线程插入(多表)3、预处理SQL4、多值插入SQL5、事务(N条提交一次)多线程插入(单表)问：为何对同一个表的插入多线程会比单线程快？同一时间对一个表的写操作不应该是独占的吗？答：在数据里做插入操作的时候，整体时间的分配是这样的：1、多链接耗时 (30%) 2、多发送query到服务器 (20%) 3、多解析query (20%) 4
转载
2024-07-22 10:30:06
23阅读
本文的代码来自于《数据结构与算法（JAVA语言版）》，是笔者在网上找到的资料，非正式出刊版物。笔者对代码一些比较难以理解的部分添加了注释和图解，欢迎大家来讨论。public class ArrayList implements List {
private final int LEN = 8;//数组的默认大小
private Strategy strategy;//数据元素比较
目标：将数据中某时刻的缺失值用前后4天相同时刻值的平均值进行填充 日平均变化法插值变量的日变化是有规律性的，相邻天的变量量级水平都是一样的（特殊天除外），所以，当某天某一时刻的数据缺失时，可以用相邻几天的有观测数据的平均值来代替。这个时间窗口一般取7-14天，不同的变量时间窗口宽度可以不一样。根据算法的不同，该方法又可分为“独立”窗口和“滑动”窗口。独立窗口和滑动窗口（图源朱治林老
转载
2023-08-05 20:26:20
79阅读
0.spark
--------------------------------------------
transformation
map
filter
repartition
spark核心API
----------------------------------------------------
[SparkContext]
连接到spark集群上的入口点
转载
2024-08-24 16:07:00
45阅读
# Python四元数插值
## 一、什么是四元数
四元数是一种数学工具，常用于描述三维空间中的旋转。四元数由实部和三个虚部组成，通常表示为$q = w + xi + yj + zk$，其中$i, j, k$是单位虚数，并满足$i^2 = j^2 = k^2 = ijk = -1$。四元数具有独特的性质，可以更有效地描述旋转过程，避免了欧拉角的万向锁问题。
## 二、四元数插值的应用
在计
原创
2024-06-07 06:47:20
335阅读
# Spark 任务数概述与代码示例
Apache Spark 是一个强大的分布式计算框架，广泛应用于大数据处理。Spark 任务数是衡量其处理能力和效率的重要参数，理解任务数能够更好地帮助我们优化 Spark 应用程序的性能。
## 任务数基本概念
在 Spark 中，任务是执行某项计算的基本单位。每个 Spark 作业通常会被划分为多个任务，每个任务在不同的工作节点上并行运行。任务数的设
原创
2024-10-30 06:42:13
22阅读
在处理大数据时，Apache Spark作为一种强大的工具，使用合理的分区数可以大大提高性能。但在实际应用中，往往会遇到“spark分区数”相关的问题。本文将尝试解决这一问题，并分享我的思考过程。
---
### 背景定位
近年来，随着大数据技术的迅猛发展，Apache Spark已成为数据处理的主流框架之一。分区数的设置对Spark的性能和资源利用有着直接影响。合理的分区数能够提升作业运行
# Spark在数据仓库中的应用
随着大数据时代的到来，数据仓库（Data Warehouse，简称DW）作为存储和分析海量数据的重要工具，其重要性愈加显著。而Apache Spark作为一个强大的分布式计算框架，因其高效的内存计算和丰富的库，逐渐成为数据仓库领域的重要一环。本文将探讨Spark在数据仓库中的应用，包括数据处理、ETL（提取、转换、加载）过程以及通过可视化展示分析结果。
##
原创
2024-10-21 05:43:45
27阅读
# Spark任务数
在使用Apache Spark进行大数据处理时，经常需要设置Spark任务的数量来优化作业的性能。Spark任务数的设置直接影响作业的并行度和资源利用情况，因此合理设置Spark任务数对于提高作业的执行效率至关重要。
## Spark任务数的概念
Spark任务数指的是在一个Spark作业中并行执行的任务数量。Spark作业会被划分为多个阶段，每个阶段包含多个任务。通过
原创
2024-05-14 05:19:50
39阅读
目录3.4 RDD的分区3.5 RDD的依赖关系总结3.4 RDD的分区在分布式程序中，网络通信的开销是很大的，因此控制数据分布以获得最少的网络传输开销可以极大的提升整体性能；Spark程序可以通过控制RDD分区方式来减少通信开销。Spark中所有的RDD
转载
2023-09-23 09:11:09
269阅读
spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：① 编写程序和提交任务到集群中 ②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群：①编程spark程序的代码②打成jar包到集群中运行③使用spark-submit命令提交任务在提交任务时，需要指定 --class 程序的入口（有main方法的类），1） s
转载
2024-05-31 23:50:37
32阅读
阅读目录前言环境初步预览探索用户数据探索电影数据探索评级数据
MovieLens数据集包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。
这个数据集经常用来做推荐系统，机器学习算法的测试数据集。尤其在推荐系统领域，很多著名论文都是基于这个数据集的。(PS: 它是某次具有历史意义的推荐系统竞赛所用的数据集)。
前言  
转载
2023-06-19 11:19:46
97阅读
Spark的内核部分主要从以下几个方面介绍： 任务调度系统、I/0模块、通信控制模块、容错模块、shuffle模块一、任务调度系统1、作业执行流程接下来注意几个概念： Application：用户自定义的Spark程序，用户提交后，Spark为App分配资源，将程序转换并执行。 Driver Program：运行Application的main()函数并创建SparkContext RDD
转载
2023-08-17 10:05:06
50阅读
