本系列笔记主要参考《Spark权威指南2.X》，主要学习在Spark2.X中的DataFrame和DataSet等结构化API。一些Spark的基础知识，可以参考之前我断断续续的学习笔记：《Spark快速大数据分析》- Spark应用运行原理 文章目录1. 结构化API简介1.1 DataSet与DataFrame1.2 行、列、模式与Spark类型2. 结构化API执行逻辑Reference 1
转载
2023-10-29 16:48:09
84阅读
一、Spark核心API
-----------------------------------------------
[SparkContext]
连接到spark集群,入口点.
[HadoopRDD] extends RDD
读取hadoop hdfs上的数据，hbase的数据，s3的数据
[MapPartitionsRDD]
转载
2023-11-15 11:13:49
158阅读
文章目录1. spark集群搭建2. 初步认识Spark3. 理解spark的RDD4. 使用shell方式操作Spark，熟悉RDD的基本操作5. 使用jupyter连接集群的pyspark6. 理解Spark的shuffle过程7. 学会使用SparkStreaming8. 说一说take,collect,first的区别，为什么不建议使用collect？9. 向集群提交Spark程序10.
转载
2023-09-28 13:58:39
99阅读
SPARK的核心就是RDD，对SPARK的使用入门也就是对RDD的使用， 对于JAVA的开发者，Spark的RDD对JAVA的API我表示很不能上手， 单单看文档根本是没有办法理解每个API的作用的，所以每个SPARK的新手，最好按部就班直接学习scale, 那才是一个高手的必经之路，但是由于项目急需使用，没有闲工夫去学习一门语言，只能从JAVA入门的同学， 福利来了：  
转载
2024-05-22 13:23:07
41阅读
一、RDD 的创建1）通过 RDD 的集合数据结构，创建 RDDsc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据，分为 2 个 partition，默认情况会讲数据集进行平分，注意不是两个副本2）通过文件来读取sc.textFile("file.txt")
sc.sequenceFile("file.txt") sequeceFile 是 HDFS 一些数
转载
2024-07-31 10:25:58
100阅读
# 学习Spark常用API的一步步指南
Apache Spark 是一个强大的开源分布式处理系统，广泛用于大数据处理和分析。本教程旨在帮助刚入行的小白了解如何使用Spark常用API。我们将通过简单的步骤来向你解释每一步需要做什么，使用的代码以及它们的含义。
## 流程概述
首先，我们总结一下实现Spark常用API的步骤，以下是一个简单的流程表：
| 步骤 | 描述 |
|------
# Spark DataFrame 常用 API 指南
作为一名刚入行的小白，你可能对 Spark DataFrame 的常用 API 感到困惑。不用担心，这篇文章将为你提供一份详细的指南，帮助你快速掌握这些常用的 API。
## 流程概述
首先，让我们通过一个表格来了解使用 Spark DataFrame 的基本流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入
原创
2024-07-27 10:24:05
95阅读
文章目录说明分享接口说明mapfilterflatMapmapPartitionsmapPartitionsWithIndexmapWithflatMapWithcoalescerepartitionrandomSplitglomunion并集distinct总结 说明本文记录一部分Spark RDD接口Scala代码实现。分享大数据博客列表接口说明map对RDD中的每个元素执行一个指定函数产生
转载
2023-12-11 13:19:24
32阅读
初识spark，需要对其API有熟悉的了解才能方便开发上层应用。本文用图形的方式直观表达相关API的工作特点，并提供了解新的API接口使用的方法。例子代码全部使用python实现。1. 数据源准备准备输入文件：$ cat /tmp/in
apple
bag bag
cat cat cat启动pyspark：$ ./spark/bin/pyspark使用textFile创建RDD:>>&
转载
2023-10-08 09:39:15
106阅读
一、SQLContext.scala中的接口说明 大部分接口都是创建DataFrame 1、构造：SQLContext的构造只需要一个SparkContext参数 2、设置/获取 配置：setConf/getConf 3、isCached/cacheTable/uncacheTable/clearCache:数据缓存相关，提高查询速度，需谨慎防止OOM 4、read：用于从外部数据源读取 //t
转载
2024-05-22 12:51:01
133阅读
Spark简介Spark是加州大学伯克利分校AMP实验室开发的通用内存并行计算框架。Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以下特点。运行速度快：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存
转载
2023-08-08 09:11:22
123阅读
Spark SQL简介Spark SQL 是 Spark 中的一个子模块，主要用于操作结构化数据。它具有以下特点：能够将 SQL 查询与 Spark 程序无缝混合，允许您使用 SQL 或 DataFrame API 对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括 Hive，Avro，Parquet，ORC，JSON 和 JDBC 等；支持 HiveQL 语法以及 Hive
转载
2023-10-05 16:20:28
163阅读
SparkSQL常用API总结读取数据文件读取#本地文件读取
#创建SparkSession
val spark=SparkSession.builder()
.appName("RW")
.master("local[6]") #本地运行
.getOrCreate()
#隐式转换导入，DataFrame、Dataset与序列集合之间的转换
import
转载
2024-06-20 08:54:07
34阅读
本篇接着讲解RDD的API，讲解那些不是很容易理解的API，同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用，最后通过对RDD的API深入学习，我们还讲讲一些和RDD开发相关的scala语法。1) aggregate(zeroValue)(seqOp,combOp) 该函数的功能和reduce函数一样，也是对数据进行聚合操作，不过aggregate可以返
转载
2024-01-03 11:29:47
50阅读
所有功能的入口点都是SparkSession类。要创建基本的SparkSession，只需使用SparkSession.builder()import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("sp
转载
2023-11-08 22:01:09
42阅读
文章目录一、 `map`：二、 `mapPartitions`三、 `mapPartitionsWithIndex`四、`flatMap(func)`五、`glom()`六、`groupBy(func)`七、`filter(func)`八、`sample(withReplacement, fraction, seed)`九、`distinct([numTasks])`十、`coalesce(nu
转载
2023-09-07 22:51:13
26阅读
1、启动spark shell，在doc窗口上打开spark-shell（环境安装见：二、Spark在Windows下的环境搭建）
并行化scala集合(Parallelize)
//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun)val doublenum = num.map(_*2)//内存缓存数
转载
2017-01-20 18:17:00
109阅读
2评论
常用APIclass pyspark.StorageLevel(useDisk, useMemory, useOffHeap, deserialized, repli
原创
2022-12-04 07:38:44
308阅读
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感兴趣和从事大数据开发的人员提供有价值的中文资料，对PySpark开发人员的工作和学习有所帮助。官网地
转载
2023-09-29 10:09:10
101阅读
Shuffle简介Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和
转载
2023-08-13 17:04:45
121阅读
