Spark整理(1)一，介绍1.1 什么是sparkApache Spark 是为大规模数据处理设计的快速通用的计算引擎(框架).从右侧的新闻中看，Spark也用于AI人工智能Spark 是 UC Berkeley AMP lab (加州大学伯克利分校的 AMP 实验室)所开源的类 Hadoop MapReduce 的通用并行计算框架，Spark 拥有Hadoop MapReduce 所具有的优点
转载
2024-06-22 15:06:03
28阅读
## Spark分批写入的科普文章
Apache Spark是一个快速通用的集群计算系统，它提供了易于使用的API来进行大规模数据处理。在大数据处理过程中，有时候需要将数据分批写入到存储系统中，以避免一次写入过大数据量的问题。本文将介绍如何使用Spark进行分批写入操作。
### Spark分批写入操作示例
首先，我们需要创建一个Spark会话：
```scala
import org.a
原创
2024-04-23 03:16:47
135阅读
怀念看论文的日子~/打算写一个Spark系列，主要以Scala代码实现，请赐予我力量吧！！！Spark的特点运行速度：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用性强：能够读取HDFS、Cassandra、HBase、S3和Techyon为
转载
2024-02-17 11:10:59
88阅读
本篇文章继续上篇关于启动流程分析后进行，上篇中主要介绍了启动流程中主要涉及的JobScheduler和DStreamGraph在启动时的工作，已经知道启动起来之后，主要支撑运作的应该是JobScheduler->JobGenerator->Timer，通过定时器的形式每一个批次进行一次处理，那么每个批次开始定时器发布任务后，一直到当前批次处理完成，中间主要经历了哪些事前呢？对此，本文
SparkContext:Spark上下文：作用：连接Spark集群，用户创建RDD、累加器和广播。RDD：Resilient Distributed Dataset，弹性式分布式数据集：RDD代表一个不可变的,可并行操作的元素分区集合。RDD4种类型：a.创建RDD：3类(parallelize:将Seq序列数据转化为RDD、textFile将外部文件转化RDD、makeRDD将Seq序&nbs
转载
2024-01-03 12:27:42
30阅读
一、分区原理1.为什么要分区？（这个借用别人的一段话来阐述。） 为了减少网络传输，需要增加cpu计算负载。数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件， 从而减少网络传输，但是增加了cpu的计算负载。Spark里面i
转载
2023-10-04 20:41:04
183阅读
1. 什么是RDD
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
2. RDD的属性
1) A
转载
2023-08-18 14:34:40
235阅读
1、RDD 基本概念：一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算。RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改，只能基于稳定的物理存储中的数据集来创建RDD，或者通过在其他RDD上执
转载
2024-10-09 13:34:21
26阅读
目录一 认识SparkSQL1.1 什么是SparkSQL1.2 SparkSQL的作用1.3 运行原理1.4 特点1.5 SparkSession1.6 DataFrames二 RDD转换为Dataframe方式一：通过 case class 创建 DataFrames（反射）方式二：通过 structType 创建 DataFrames（编程接口）方式三：通过 json 文件创建 DataF
转载
2024-07-31 16:43:58
150阅读
一、规划和策略策略：
在bigdata6上安装，然后分发到其他机器规划
集群一(保障各个节点上的Scala已经安装完成)
master port 8888
znode /spark
bigdata001 master
bigdata002 master
bigdata001
转载
2023-11-23 13:47:33
71阅读
RDD操作transformation:转换 它不会立即执行，spark所有操作都是懒执行的，所有的转换只有到action的时候才会运行action 动作Transformation算子http://spark.apache.org/docs/latest/rdd-programming-guide.html#transformationsAction算子http://spark.apache.o
★★★ transformation： 1、sortBy ： 对于RDD的是非元组型，rdd1.soreBy(x=>x),元组型按value排序 rdd.soreBy(_._2)（进行shuffle）2、sortByKey ： 对于RDD内存的是元组类型的使用（进行shuffle） ，sortBy和 sortByKey都是transformation算子，但都会触发job任务，底层new了一
转载
2024-01-08 21:29:33
74阅读
文章目录RDD持久化向HDFS写数据向MySql写数据RDD缓存缓存的存储级别StorageLevelcache()和persist()的区别是什么？缓存什么时候失效？RDD.cache后是否真正缓存？ RDD持久化向HDFS写数据向HDFS写数据时，当前RDD的分区即为HDFS上的文件数。 为避免生成多个小文件，可以先重分区。rdd.repartition(4).saveAsTextFile(
转载
2024-09-18 21:40:46
52阅读
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6术语Master(standalone)：资源管理的主节点(进程) Cluster Manager：在集群上获取资源的外部服务(例如standalone,Mesos,Yarn
转载
2024-06-17 18:45:44
64阅读
RDD, DataFrame, DataSet相互装换假设有个样例类：case class Emp(name: String),它们相互转换如下：1. RDD ->DataFrame 和 RDD ->DataSetRDD ->DataFrame：rdd.toDF("name")RDD ->DataSet：rdd.map(x => Emp(
转载
2023-12-31 15:13:13
573阅读
Spark Streaming流式处理1. Spark Streaming介绍1.1 Spark Streaming概述1.1.1什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。
文章目录 Transformation算子Spark算子：RDD基本转换操作(1)–map、flatMap、distincmapflatMapdistinctSpark算子：RDD基本转换操作(2)–coalesce、repartitioncoalescerepartitionSpark算子：RDD基本转换操作(3)–randomSplit、glomrandomSplitglomSpark算子：R
转载
2023-11-23 20:20:10
51阅读
本章导读RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供多种
转载
2024-08-14 18:54:57
64阅读
一、Spark概述1.1. 什么是SparkSpark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项
转载
2023-09-08 15:16:51
103阅读
SparkSpark 是什么?Apache Spark™是用于大规模数据处理的快速和通用引擎.速度:在内存中,运行程序比Hadoop MapReduce快100倍，在磁盘上则要快10倍.Apache Spark具有支持非循环数据流和内存计算的高级DAG执行引擎.易用:可以使用Java，Scala，Python，R快速编写程序.Spark提供80+高级操作方法，可以轻松构建并行应用程序.Spark提
转载
2023-08-01 20:03:38
120阅读
