背景大表2T,小表 30G+，两表join到一新表分区。要求： 尽可能的少用executor core和memory，并减少时间占用 前提executor core和memory占用已经够高（--num-executors 200 --executor-cores 4 --executor-memory 30G ），不能再添加过多了。executor内存 集群统一配置的上限是：ya
转载
2023-11-20 14:33:38
71阅读
每天都在努力的我，每天都在努力的你，总有一天我们会相见 Spark collect和collectAsList是用于将RDD/DataFrame/DataSet的所有元素检索到驱动程序节点的操作。如果数据集较大，使用collect之后可能会导致内存不足val data = Seq(Row(Row("James","","Smith"),"36636","M",30
转载
2023-08-19 00:24:27
311阅读
coalescedef coalesce(numPartitions: Int, shuffle: Boolean = false,partitionCoalescer:Option[PartitionCoalescer] = Option.empty)(implicit ord: Ordering[T] = null): RDD[T]一、功能介绍coalesce算子最基本的功能就是返回一个num
转载
2024-10-03 08:51:36
50阅读
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
Spark扩展持久化RDD Cache缓存RDD CheckPoint 检查点缓存和检查点区别自定义分区存储与读取累加器广播持久化RDD Cache缓存RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系println(wordToOneR.
原创
2022-03-23 10:21:17
998阅读
spark架构设计 1 角色名称 Client,Driver program,cluster manager/Yarn，workerNode 2 角色作用 client：用户通过client提交application程序，shell命令等 Driver：启动sparkContext环境，将application程序转换成任务RDD和DAG有向图，与clustermanger进行资源交互，分配ta
转载
2023-12-09 15:40:46
163阅读
Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx
原创
2017-07-03 11:19:00
6469阅读
点赞
一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因
转载
2023-07-12 09:57:21
441阅读
1、Application application（应用）其实就是用spark-submit提交的程序。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储。2、Driver Spark中的driver感觉其实和yarn中Application Master的
转载
2023-11-02 10:32:42
202阅读
一、定义与特点定义
专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点
速度快
内存计算下，Spark 比 Hadoop 快100倍易用性
80多个高级运算符跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性
Spark 提供了大量的库，包括SQL、DataFrames、MLib、Gra
转载
2023-08-10 09:12:39
366阅读
一、前述Spark是基于内存的计算框架，性能要优于Mapreduce，可以实现hadoop生态圈中的多个组件，是一个非常优秀的大数据
原创
2022-12-30 16:48:57
224阅读
夜深了，，，Paypal黑帮【PayPal Mafia】的传奇估计大家都听说过。过来瞧瞧电子支付..
转载
2023-03-17 19:53:13
188阅读
Spark概念Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎Spark 就是在传统的 MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的 RDD 计算模型Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存，而 Hado
转载
2023-12-20 06:48:37
32阅读
一 运行架构Spark Streaming相对其他流处理系统最大的优势在于流处理引擎和数据处理在同一软件栈，其中Spark Streaming功能主要包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而Spark Core负责处理Spark Streaming发送过来的作业。Spark Streaming分为Driver端和Client端，运行在Driver端为StreamingCont
转载
2023-08-22 19:53:12
76阅读
# Spark中的队列管理及应用
Apache Spark 是一个强大的大数据处理框架，广泛应用于数据处理、数据分析和机器学习等领域。在使用Spark进行大数据处理时，合理管理任务队列是至关重要的。本文将探讨Spark中的队列管理，并通过实例展示如何使用Spark队列。
## 什么是Spark队列？
Spark队列是一种资源调度机制，允许用户在多个作业之间进行资源隔离和管理。在集群环境中，多
# Spark 查询中的 Spark URL
Spark 是一个强大的分布式计算框架，广泛应用于数据处理和分析。为了方便用户使用 Spark，尤其是在基于集群的环境中，Spark 提供了一种允许用户通过 URL 访问集群的方式。本篇文章将深入探讨 Spark URL 的概念及其在 Spark 查询中的应用，并提供示例代码来加深理解。
## 什么是 Spark URL?
一般而言，Spark
原创
2024-08-11 04:03:19
194阅读
Spark + HDFS的运行架构图（）Driver:运行Application的main函数并创建SparkContext，SparkContext准备Spark应用程序的运行环境、负责资源的申请、任务分配和监控等。当Executor运行结束后，Driver负责关闭SparkContextMaster ： Master作为集群的Manager，接收worker
转载
2023-09-25 06:44:18
115阅读
Spark项目之log日志数据分析处理一 项目准备二 项目需求三 项目战斗1、数据清洗日志字段拆分分析IDEA开发程序2、用户留存分析3 活跃用户分析四 项目拓展之复杂Json格式的log日志处理分析Spark-Shell测试环境IDEA开发环境 一 项目准备需要分析处理的数据如下日志数据字段数据字典有需要的点击链接获取 链接: 项目资料.提取码：599q二 项目需求使用Spark完成下列日志分
转载
2023-12-24 09:36:31
139阅读
https://www.youtube.com/watch?v=49Hr5xZyTEA
原创
2022-07-22 16:19:47
277阅读
一，变量1，基本数据类型2，基本运算符3，定义变量4，复杂变量 （1）定义数组Array： 声明：val aList=new Array[数据类型type](n)：声明存储数据类型为type的n个对象，数组初始化为null 声明：val aList=Array（n1,n2,n3...）：声明时，可以不用声明数据类型。
转载
2023-10-03 11:42:46
275阅读
