我们在使用spark进行数据相关的操作的时候，经常会用到的是RDD，但是我们也都知道RDD是一个抽象的数据集，并不是真正的数据存储的地方，RDD使我们对数据的操作更方便，其实RDD的出现避免了我们对数据存储底部的接触，可以更方便的编写我们的应用。其实数据的存储都是由spark的存储管理模块实现和管理的。spark存储管理模块的整体架构：从架构上可以将存储架构管理模块分为通信层和存储层两个部分。通信
转载
2023-06-30 13:18:46
251阅读
目录num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFraction（Spark1.6之前的参数）命令例子总结：driver-memory 使用collect算子需要设置，其他情况不用设置num-executors=50~100 比较好（与集群节点
转载
2024-03-05 15:35:53
29阅读
问题描述同事在执行sql查询直接用limit 查看几条数据时发现报错，但是用count或* 查询是显示有数据。第一感觉真的很奇怪，后面发现是马虎的锅；select * from tableName ; 正确显示数据；select * from tableName limit 2; 查询报错（因为公司日志复制不出来，只好敲出来一部分，剩余上图了）java.lang.UnsupportedO
转载
2024-01-20 22:24:19
73阅读
目录1 构建Maven Project2 应用入口：SparkContext3 编程实现：WordCount4 编程实现：TopKey5 Spark 应用提交5.1 应用提交语法5.2 基本参数配置5.3 Driver Program 参数配置5.4 Executor 参数配置5.5 官方案例6 应用打包运行1 构建Maven Project实际开发Spark 应用程序使用IDEA集成开发环境，S
# Spark Cluster运行结果定位指南
在大数据领域，Apache Spark是一个强大的工具，能够处理大量的实时数据。今天，我们将介绍如何找到Spark集群的运行结果，并将整个流程分解为几个容易理解的步骤。以下是步骤概览：
| 步骤 | 描述 |
|------|------|
| 1 | 启动Spark集群 |
| 2 | 提交Spark任务 |
| 3 | 监控
原创
2024-10-28 06:04:16
73阅读
前情提要：Spark RPC框架源码分析（一）简述一. Spark RPC概述上一篇我们已经说明了Spark RPC框架的一个简单例子，Spark RPC相关的两个编程模型，Actor模型和Reactor模型以及一些常用的类。这一篇我们还是用上一篇的例子，从代码的角度讲述Spark RPC的运行时序，从而揭露Spark RPC框架的运行原理。我们主要将分成两部分来讲，分别从服务端的角度和客户端的角
转载
2024-08-05 22:31:48
24阅读
目录前言磁盘存储DiskStore构造方法与属性成员写入块写入字节读取字节磁盘块数据DiskBlockData转化为ChunkedByteBuffer转化为ByteBuffer总结前言在上一篇文章中，我们认识了Spark管理磁盘块的组件DiskBlockManager，本文接着来看真正负责磁盘存储的组件DiskStore，以及与它相关的BlockData。这部分内容会涉及到一点与Java NIO相
转载
2024-06-27 17:24:52
37阅读
python跑程序结束要记得保存结果哦新学了一手，重新改一下import time
now = time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime())#文件名字不能有：
now1 = str(now) + "train.txt"#前面加上时间防止重复
fh = open(now1, 'w', encoding='utf-8')
ls=[1,2,3,
转载
2023-05-25 14:42:40
88阅读
# SPARK SQL：建表存储查询结果的详细指南
Apache Spark 是一个强大的开源分布式计算框架，广泛用于大数据处理与分析。在 Spark 中，SQL 模块提供了与传统关系数据库相似的处理能力，允许用户采用 SQL 查询语言对数据进行操作。本文将着重介绍如何使用 Spark SQL 创建表来存储查询结果，以及相关的代码示例和最佳实践。
## 什么是 Spark SQL
> **S
原创
2024-10-09 04:46:56
40阅读
spark通常这样开始执行一条SQL语句：val spark_sess = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.sql.shuffle.partitions", "600")
.getOrCreate()
df = spark.rea
转载
2023-06-19 16:59:44
238阅读
一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框架 Driver程序启动很多workers,然后workers在（分布式）文件系统中读取数据后转化为RDD（弹性分布式数据集），最后对R
转载
2023-08-06 08:55:15
173阅读
星期五的存储过程,没有结果.
查oracle日志，
Mon Nov 1 09:31:41 2010
ARC0: Beginning to archive log# 3 seq# 19146
ARC0: Completed archiving log# 3 seq# 19146
Mon Nov 1 09:49:30 2010
Errors in f
原创
2010-11-01 15:44:45
624阅读
Spark存储体系无论是spark的任务提交还是，任务执行，在这过程中始终离不开spark的存储体系。spark为了避免hadoop读写磁盘的IO操作成为性能瓶颈，优先将配置信息、计算结果等数据存入内存，当内存存储不下的时候，可选择性的将计算结果输出到磁盘，为了保证性能，默认都是存储到内存的，这样极大的提高了spark的计算效率。存储体系中核心模块就是bolckmanager。在blockmana
转载
2023-10-11 09:04:08
77阅读
临时表就是那些名称以井号 (#) 开头的表。如果当用户断开连接时没有除去临时表，SQL Server 将自动除去临时表。临时表不存储在当前数据库内，而是存储在系统数据库 tempdb 内。
临时表有两种类型：
本地临时表
以一个井号 (#) 开头的那些表名。只有在创建本地临时表的连接上才能看到这些表，链接断开时临时表即被删除（本地临时表为创建它的该链接的会
当一个job在DAGScheduler中被分隔为stage，将会根据其内部的shuffle关系将整个job整理出ShuffleMapStage，而最后结果的ResultStage在提交时，将会不断遍历其parent stage，而本身被加入DAGScheduler的等待集合，只在所有parent的stage执行完毕之后才会执行任务流程中的child stage。private def submit
转载
2023-09-21 08:41:13
63阅读
Spark 运行环境Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行1 Local 模式所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等，之前在 IDEA 中运行代码的环境我
转载
2023-10-05 16:25:14
98阅读
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等）2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor3、SparkContext 将程序代码
转载
2023-08-13 15:42:44
115阅读
Spark运行环境和架构1. Spark运行环境Spark作为一个数据处理框架和计算引擎，它被设计在所有常见的集群环境下运行，目前主流环境是基于Hadoop的Yarn环境，docker环境也在慢慢流行起来Spark的运行环境目前分为三种模式:local模式、standalone模式和Yarn模式1.1 local模式local模式是不需要其他任何节点资源就可以在本地执行Spark程序的环境，一般用
转载
2023-08-06 12:11:09
244阅读
在开发环境（比如idea）调试通过以后，测试或者生产环境需要在独立的集群环境中允许。此时需要打包成jar。1. 打包jar<build>
<plugins>
<!-- 该插件用于将 Scala 代码编译成 class 文件 -->
<plugin>
<
转载
2023-07-06 23:41:01
61阅读
Spark存储分析整体框架存储级别RDD存储调用读数据过程本地读取远程读取写数据过程写入内存写入磁盘 整体框架Spark的存储采取了主从模式，即Master / Slave模式，整个存储模块使用RPC的消息通信方式。其中：Master负责整个应用程序运行期间的数据块元数据的管理和维护Slave一方面负责将本地数据块的状态信息上报给Master，另一方面接受从Master传过来的执行命令。如获取数
转载
2023-09-19 00:34:17
164阅读
