Spark介绍Spark简介Apache Spark是一个快速的、多用途的集群计算系统，相对于Hadoop MapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入磁盘时在内存中进行运算。 Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统，如果要使用Spark，需要搭载其它的文件系统和成熟的调度系统。spark执行流程 spa
转载
2023-06-12 19:09:15
171阅读
RDD持久化级别持久化级别含义解释MEMORY_ONLY使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的持久化策略，使用cache()方法时，实际就是使用的这种持久化策略。DISK_ONLY使用未序列化的Java对象格式，将数据全部写入磁盘文件
转载
2023-07-09 12:09:09
63阅读
按照惯例，先附上业界那句名言“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。特征工程是指用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果。简而言之，就是为算法提供更友好的输入，以最大化地发挥算法的作用。同时，特征工程虽然是一种技术，但其前提是对数据以及产生这些数据的具体业务场景有比较深入的理解。一般的，python的sklearn、spark的mll
转载
2024-07-31 17:46:07
35阅读
行存储列存储优点写入效率高，保证数据完整性读取效率高，没有冗余缺点数据有冗余现象，计算速度慢写入次数多，速度慢，消耗cpu使用场景关注整张表内容，或者需要经常更新数据、需要经常读取整行数据、不需要聚集运算，或者快速查询需求、数据表本身数据行并不多经常关注一张表某几列而非整表数据的时候、基于一列或比较少的列计算的时候、数据表拥有非常多的列的时候、数据表有非常多行数据并且需要聚集运算的时候、数据表列里
转载
2023-10-20 09:49:58
103阅读
一、Hive下生成DataFrame对象SparkConf sparkConf = new SparkConf().setAppName("名称").setMaster("执行方式");
JavaSparkContext jsc = new JavaSparkContext(sparkConf);
HiveContext hc = new HiveContext(jsc);
#通过执行SQL生
转载
2023-07-10 21:11:12
256阅读
Spark存储分析整体框架存储级别RDD存储调用读数据过程本地读取远程读取写数据过程写入内存写入磁盘 整体框架Spark的存储采取了主从模式，即Master / Slave模式，整个存储模块使用RPC的消息通信方式。其中：Master负责整个应用程序运行期间的数据块元数据的管理和维护Slave一方面负责将本地数据块的状态信息上报给Master，另一方面接受从Master传过来的执行命令。如获取数
转载
2023-09-19 00:34:17
164阅读
文章目录KillTask 消息从提交到执行的传递流程DAGScheduler 提交 cancel job请求SchedulerBackend 发送Kill消息到 ExecutorExecutor 的 killTask 处理过程TaskRunner 线程的生命周期TaskRunner kill Task过程Executor 在 Shutdown 过程中是如果造成 DeadLock 的CoarseG
转载
2023-11-06 22:58:54
80阅读
阅读指导：在《Spark2.1.0——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。 在Spark中，凡是需要执行任务的地方就需要SparkEnv。在生产环境中，SparkEnv往往运行于不同节点的Executor中。但是由于loca
转载
2023-12-25 22:25:50
20阅读
Spark是基于内存计算的通用大规模数据处理框架。Spark快的原因：Spark基于内存，尽可能的减少了中间结果写入磁盘和不必要的sort、shuffleSpark对于反复用到的数据进行了缓存Spark对于DAG进行了高度的优化，具体在于Spark划分了不同的stage和使用了延迟计算技术弹性数据分布集RDD：Spark将数据保存分布式内存中，对分布式内存的抽象理解，提供了一个高度受限
转载
2023-06-14 15:13:37
122阅读
文章目录数据处理场景分类OLTP 联机事务处理OLAP 联机分析处理行式存储和列式存储概念特点对比 数据处理场景分类OLTP 联机事务处理OLTP ： on-line transaction processing 为传统的数据库的主要应用场景。偏向事务处理方向的适合： 增删改查，事务处理不适合： 海量数据处理OLAP 联机分析处理OLAP: on-line analytical processi
转载
2023-08-31 13:34:23
98阅读
目录1 Spark存储系统概述2 存储系统的基本组成3 Spark RDD 缓存之 MemoryStore4 Spark Shuffle 之 DiskStore5 小结1 Spark存储系统概述Spark 存储系统用于存储 3 个方面的数据，分别是： RDD 缓存 Shuffle 中间文件 广播变量。（1）RDD 缓存指的是将 RDD 以缓存的形式物化到内存或
转载
2023-10-25 21:35:19
81阅读
spark优势：Spark 是在借鉴了 MapReduce 之上发展而来的，继承了其分布式并行计算的优点并改进了 MapReduce 明显的缺陷，（spark 与 hadoop 的差异）具体如下：1、Spark 把中间数据放到内存中，迭代运算效率高。MapReduce 中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而 Spark 支持 DAG 图的分布式并行计算的编程框架，减少了迭代过
转载
2023-08-19 20:45:17
60阅读
一般数据存储模式分为行存储、列存储以及混合存储。 行存储模式就是把一整行存在一起，包含所有的列，这是最常见的模式。这种结构能很好的适应动态的查询。但行存储模式有以下两点不足：当一行中有很多列，而我们只需要其中很少的几列时，我们也不得不把一行中所有的列读进来，然后从中抽取一些列。这样大大降低了查询执行的效率。基于多个列做压缩时，由于不同的列数据类
转载
2023-08-30 23:08:21
103阅读
# Spark 遍历列
Apache Spark 是一个用于大规模数据处理的开源分布式计算框架，它提供了丰富的API和工具，使得对海量数据进行处理变得更加高效和简单。在 Spark 中，我们经常会涉及到对数据集中的列进行遍历和操作，这在数据处理过程中是非常常见的需求。本文将介绍如何在 Spark 中遍历列，并给出相应的代码示例。
## Spark DataFrame
Spark 中最常用的数
原创
2024-06-05 05:05:48
27阅读
接上篇博文，继续介绍Spark DataFrame的理解和使用。对于单个DataFrame常见的变换操作有：创建一个DataFrame（创建空的DF ，从文件中读取数据创建DF）增加一行或一列删除一行或一列把行变成列，把列变成行根据某列的值对行进行排序1、创建 DataFrames（createDataFrame()方法、toDF()方法）1.1 创建一个空的DataFrame （1）
转载
2023-07-10 21:08:30
911阅读
# 如何在Spark中删除列
在大数据处理的过程中，数据清理是非常重要的一步。使用Apache Spark进行数据处理时，可能会遇到需要删除某些列的情况。本文将为刚入行的小白开发者详细讲解如何在Spark中删除列的步骤及代码实现。
## 流程概述
下面是删除列的基本流程：
| 步骤 | 操作 | 说明 |
|----
# Spark添加列详解
在Spark中，添加列是一项常见的操作，可以通过添加列来实现数据的转换和处理。本文将介绍如何在Spark中添加列，并给出详细的代码示例。
## 什么是Spark添加列
Spark是一个开源的大数据处理框架，可以处理大规模数据集并提供高性能的数据处理能力。在Spark中，添加列是指在已有的数据集上新增一列，可以根据已有的列计算出新的列的数值，并将其添加到数据集中。
原创
2024-02-23 07:05:45
99阅读
在大数据处理的时代，Apache Spark已经成为了数据清洗和处理的重要工具。其中，清洗列是一个常见且重要的工作。在这篇博文中，我们将深入探讨如何在Spark中有效清洗列，涉及的内容包括背景定位、核心维度、特性拆解、实战对比、深度原理和生态扩展。
## 技术定位
随着数据量的不断增长，数据的质量和准确性变得至关重要。在数据分析和机器学习的工作流中，数据清洗是成功的基础。Spark提供了方便高
# Spark列合并实现详解
在大数据处理领域，Apache Spark 是一个广泛使用的分布式计算框架。在实际的数据处理任务中，经常遇到需要对 DataFrame 中的列进行合并的需求。本篇文章将带您一步一步地了解如何在 Spark 中实现列合并，希望对刚入行的小白开发者有所帮助。
## 文章结构
1. 流程概述
2. 安装与环境准备
3. 创建一个示例 DataFrame
4. 列合并的
介绍SQL Server的Bulk load默认为串行，这意味着例如，一个BULK INSERT语句将生成一个线程将数据插入表中。但是，对于并发负载，您可以使用多个批量插入语句插入同一张表，前提是需要阅读多个文件。考虑要求所在的情景：从大文件加载数据（比如，超过 20 GB）拆分文件不是一个选项，因为它将是整个大容量负载操作中的一个额外步骤。每个传入的数据文件大小不同，因此很难识别大块数（将文件拆
转载
2021-03-04 13:40:37
396阅读
2评论
