sparkSpark简述**SparkCore**1.RDD概念RDD的五大特性：RDD理解图注意2.Spark代码流程3. Transformations转换算子概念Transformation类算子：4. Action行动算子概念Action类算子5.控制算子概念cachepersist**cache和persist的注意事项：**checkpointcheckpoint 的执行原理：优化集
转载
2023-05-26 00:37:17
155阅读
Spark概述 Spark定义 spark是一种基于内存的快速、通用、可扩展S的大数据分析计算引擎 Spark Core 中提供了Spark最基础核心的功能 Spark SQL是Spark用来操作结构化数据的组件 Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了 ...
转载
2021-07-16 23:18:00
172阅读
2评论
# Spark 学习
## 什么是Spark
Apache Spark是一个快速、通用的大数据处理引擎，允许用户轻松地编写复杂的分布式应用程序。它提供了高级别的API，支持Java、Scala、Python和R语言，并且能够在Hadoop、Mesos、Kubernetes等集群中运行。
Spark的主要特点包括内存计算、容错性、高性能和易用性，使得它成为大数据处理领域的热门选择。
## 学
一、spark学习 Spark 现在已经广泛使用在各个企业中，常见的应用模式有两种，分别是独立集群模式，以及与 Yarn 整合使用模式，下面分别介绍这两种模式的使用。
原创
2022-08-11 17:09:58
158阅读
仔细研究每一个算子的含义和运行原理，汇总不同算子的适用场景，总结哪些算子会引入 Shuffle，对比同类功能算子的差异与优劣势，比如 map 和 mapPartitions，再比如 groupByKey、reduceByKey 和 aggregateByKey。...
原创
2021-08-04 10:46:23
93阅读
Spark执行原理自我理解： （1） 首先程序有RDD Objects分解为DAG有向无环图 （2） 提交DAGScheduler，依据shuffer将DAG分解为一组taskset，即stages （3） Taskset提交TaskScheduler，每一个taskset在分解为多个task，即一
转载
2018-04-23 09:03:00
60阅读
# Spark学习
## 引言
Spark是一个快速且通用的集群计算系统，它可以用于大规模数据处理，包括数据查询、机器学习和图计算等。Spark具有高效的内存计算和并行处理能力，使得它在大数据处理领域具有广泛的应用。
本文将介绍Spark的基本概念、使用方法以及一些常用的应用场景。我们将通过一些简单的代码示例来说明Spark的使用。
## Spark的基本概念
### RDD
RDD（
原创
2023-09-24 15:55:25
9阅读
Spark安装 spark运行环境 spark是Scala写的，运行在jvm上，运行环境为java7+ 如果使用Python的API ,需要使用Python2.6+或者Python3.4+ Spark1.6.2 - Scala 2.10 Spark 2.0.0 - Scala 2.11 Spark下
原创
2021-07-21 09:52:37
643阅读
下载链接:https://pan.baidu.com/s/1MOrXupl__rFe_uj6pT-82Q 密码:f1po参考：https://
原创
2022-11-03 17:24:28
102阅读
第一章1.spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎特点：对任意数据类型的数据进行自定义计算Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据2.spark和Hadoop的对比hadoop
许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用， 还有自动检测异常的应用。Spark Streaming 是 Spark 为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的 API 来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。
转载
2017-04-25 23:33:00
674阅读
2评论
Spark学习之Spark安装Spark安装spark运行环境spark是Scala写的，运行在jvm上，运行环境为java7+如果使用Python的API,需要使用Python2.6+或者Python3.4+Spark1.6.2-Scala2.10Spark2.0.0-Scala2.11Spark下载下载地址：http://spark.apache.org/downloads.html搭建spa
原创
2020-11-30 13:29:36
711阅读
参考链接：https://github.com/yangjf2019/learning-spark-group/blob/master/s
原创
2022-11-03 14:06:12
70阅读
Spark运行的时候，采用的是主从结构，有一个节点负责中央协调， 调度各个分布式工作节点。这个中央协调节点被称为驱动器（ Driver） 节点。与之对应的工作节点被称为执行器（ executor） 节点。 所有的 Spark 程序都遵循同样的结构：程序从输入数据创建一系列 RDD， 再使用转化操作派
转载
2017-04-10 13:53:00
599阅读
2评论
Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结
SparkStreaming 介绍 流式计算框架 批计算 数据已经存在, 一次性读取所有的数据进行批量处理 流计算 数据源源不断的进来, 经过处理后落地 特点 Spark Streaming 会源源不断的处理数据, 称之为流计算 Spark Streaming 并不是实时流, 而是按照时间切分小批量
原创
2021-07-20 09:33:16
161阅读
RDD概念 定义 RDD（Resilient Distributed Datasets）, 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区. 同时, RDD 还提供了一组丰富的操作来操作这些数据. 在这些操作中, 诸如 map, flatMap, f
原创
2021-07-20 09:33:26
170阅读
两种机器学习库ml 与 mlib mllib contains old RDD-based API ml contains new API build around Dataset and ML Pipelines GBDT 二分类 支持回归 多分类问题： 1、逻辑回归 def multiclass
原创
2021-09-14 11:05:38
106阅读
