## Spark处理流程介绍
### 流程图
```mermaid
flowchart TD
subgraph 数据处理
A[数据读取] --> B[数据清洗]
B --> C[数据转换]
C --> D[数据分析]
end
subgraph 后续操作
D --> E[结果保存]
E -->
原创
2023-10-08 07:03:15
96阅读
RDD数据分区划分，分区依赖如何确定。宽窄依赖概念
原创
2022-11-09 23:17:23
167阅读
概述spark stream是对spark核心api的扩展，其有着很好的扩展性，很高的吞吐量以及容错性的动态数据的流式处理过程。数据可以来自不同的数据源，例如Kafka, Flume, Twitter, ZeroMQ, Kinesis, or TCP sockets，一些具有高级功能的复杂的算法，例如map,reduce,join andwindow，可以使用这些算法来进行数据的处理。最
转载
2023-11-07 15:45:02
75阅读
SparkRDD(resilient distributed dataset):RDD是Spark对分布式数据和计算的基本抽象。spark会自动将函数发到各个执行器节点上，这样，你就可以在单一的驱动器程序中编程，并且让代码自动运行在多个节点上。A.快速入门1.创建方式： 1.1 读取外部数据集 1.2 在驱动器程序中对一个集合进行并行化2.RDD支持两种操作 2.1 转化操作 返回仍然
转载
2023-10-08 15:47:01
84阅读
Spark Streaming介绍 Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和win
转载
2024-03-04 01:18:23
34阅读
Spark和Hadoop的比较 MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD，对数据进行运算和cache编程范式：Map+ReduceDAG：Transformation+Action计算中间结果写入磁盘，IO及序列化、反序列化代价大计算中间结果在内存中维护，存取速度比磁盘高几个数量级Task以进程方式维护需要数秒时间才能够
转载
2023-09-03 16:37:22
100阅读
源码加数据集： 文件源码Gitee好像只收10M一下的文件类型，所以数据集就只能以链接的形式自己下了 KMeans和决策树KDD99数据集，推荐使用10%的数据集： http://kdd.ics.uci.edu/databases/kddcup99/ALS电影推荐的Movielens数据集，推荐使用1m大小：https://files.grouplens.org/da
—————————————————————————！！！！！！进不去主类表象：运行某个.scala文件的时候，一直进不去类 原因：最终找到的原因是，packages名没有写对！！！！！！少写了一个字母————————————————————————————————————spark-shell进不去或者进去非常慢表象：spark-shell太卡了，在进去之后报java内存不够的问题 原因： 开了太
转载
2024-05-07 12:14:17
86阅读
spark的执行流程简介1.类加载,通过反射调用指定类的main方法 2.创建SparkContext,跟Master通信,申请资源 3.Master跟Worker进行通信启动Executor 4.启动Eexcutor,并创建线程池 5.Executor向Driver反向注册 (前5步完成准备工作) 6.创建原始的RDD.例如textFile() 7.调用RDD中的Transformations算
转载
2023-08-02 13:32:57
125阅读
Spark系列01，Spark简介、相关名词解释导论Spark 概述Spark集群的安装本地提交一个Spark的作业Spark的安装单机式安装完全分布式的配置修改spark文件夹下conf目录中的spark-env.sh修改slaves配置文件名词解释Spark编程相关名词 导论Spark 概述Spark就是一款全栈的计算引擎，底层基于RDD(弹性式分布式数据集 Resilient Distri
转载
2023-09-15 16:21:57
100阅读
在大数据的诸多技术框架当中，Spark发展至今，已经得到了广泛的认可。Hadoop与Spark可以说是大部分企业级数据平台的主流选择，基于不同的应用场景，结合实际需求，来选择相应的技术架构。今天我们来聊聊Spark运行原理。 Spark继承了Hadoop MapReduce的特性，是典型的master/worker架构。这种架构就是把计算任务进行划分，然后进行分配给多个slave，也就是进行map
转载
2023-06-19 09:54:05
133阅读
本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。文中对Spark Streaming的讲解主要使用到Scala语言，其他语言请参考官方文档，这点请知晓。 概述 Spark Streaming是Spark核心API的扩展
转载
2023-08-29 08:35:41
38阅读
在Spark实际应用中，会用到很多数值处理方法，我将一些比较常用的方法写在这里，供新手向的学习参考一下。1.1 读取文件至RDDvar rdd = sc.textFile("文件路径")
var rddfromhdfs = sc.textFile("hdfs://hadoop-master-001:9000/hdfs文件路径")这个当中有很多方法，比较常用的是 //返回一个K,V形式的RDD
转载
2023-11-01 17:17:48
55阅读
Spark StreamingSpark Streaming核对实时流式数据的处理具有可扩展性、高吞吐量、可容错性。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据，也可以通过高阶函数map、reduce、join、window等组成的复杂算法计算出数据。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数据应用到Spa
转载
2024-06-12 00:34:49
29阅读
深度剖析spark原理简介深度剖析源码加图解spark处理数据全流程spark内核开篇图下面是Standalone集群模式的情况，yarn集群也是大同小异 向集群submit一个应用以后，启动一个Application,里面会启动一个Driver进程Driver里面会生成一个sparkContext，每一个action执行都会启动一个job初始化sparkContext以后会生成一个DA
转载
2023-08-12 23:53:26
180阅读
目录一、RDD的处理过程二、RDD算子（一）转换算子（二）行动算子三、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell四、掌握转换算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射
转载
2023-09-09 13:50:42
173阅读
目录一.Kafka选型二.kafka和streaming理论指导三.从kafka消费数据1三.从kafka消费数据2三.从kafka消费数据3 一.Kafka选型http://spark.apache.org/docs/2.1.1/streaming-programming-guide.htmlhttp://spark.apache.org/docs/2.1.1/streaming-kafka-
转载
2023-11-26 11:18:20
86阅读
本文写在进行spark学习的过程中，学习过程主要参考 1、导包from pyspark import SparkContext2、提交脚本spark-submit pythonapp.py3、导入数据user_data = sc.textFile('/路径/ml-100k/u.user')4、查看某数据集的某一条数据movie_data.first()tip1:把map()理解为要对每一行做这个事
转载
2024-02-10 07:54:52
27阅读
1. 运行架构SparkStreaming的主要功能包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而Spark核心负责处理Spark Streaming发送过来的作用。Spark Streaming分为Driver端和Client端，运行在Driver端为Streaming Context实例。该实例包括DStreamGraph和JobScheduler（包括ReceiveTrack
转载
2023-10-27 20:26:09
125阅读
Spark 任务执行的流程四个步骤1.构建DAG（调用RDD上的方法）2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以TaskSet的形式给TaskScheduler3.TaskScheduler调度Task（根据资源情况将Task调度到相应的Executor中）4.Executor接收Task，然后将Task丢入到线程池中执行&nb
转载
2023-06-16 19:38:33
148阅读
