Spark是专门为大规模数据设计的快速通用计算引擎。Spark应用（Application）为用户提交的应用程序。执行模式有Local（测试），Standalone、Yarn和Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为CustomerCluster模式和Client模式。Spark涉及的基本概念：Applic
转载
2023-07-25 23:01:05
67阅读
引入
java pom依赖<dependency>
<groupId>org.apache.
spark</groupId>
<artifactId>
spark-core_2.11</artifactId>
<version>2.3.1</version>
</dependency>
转载
2023-07-17 23:59:03
48阅读
Spark 1.3 引入了第一版的数据源 API，我们可以使用它将常见的数据格式整合到 Spark SQL 中。但是，随着 Spark 的不断发展，这一 API 也体现出了其局限性，故而 Spark 团队不得不加入越来越多的专有代码来编写数据源，以获得更好的性能。Spark 2.3 中，新一版的数据源 API 初见雏形，它克服了上一版 API 的种种问题，原来的数据源代码也在逐步重写。本文将演
转载
2024-01-18 17:42:51
61阅读
Spark的Java和Scala API的使用实验环境Linux Ubuntu 16.04 前提条件：Java 运行环境部署完成Spark Local模式部署完成 上述前提条件，我们已经为你准备就绪了。实验内容在上述前提条件下，完成Spark中Scala和Java API的使用实验步骤1.点击"命令行终端"，打开新窗口2.启动Scala的Shell在命令行终端中输入下面的命令即可启动Scala S
转载
2023-08-23 15:41:10
86阅读
1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在集群中的不同节
转载
2024-07-02 08:03:50
29阅读
RDD 介绍RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定数据存储到内存和磁盘中，掌握了RDD编程是SPARK开发的第一步。 1:创建操作（creat
转载
2023-06-14 15:43:42
79阅读
Spark API创建spark环境方法一：SparkConf//spark环境配置对象
val conf = new SparkConf()
//设置spark任务的名称
conf.setAppName("Demo1WordCount")
//设置spark运行模式，local:本地运行
conf.setMaster("local")
//创建spark上下文对象，sc是spark写代码的
转载
2023-07-05 14:38:53
65阅读
因为Spark是用Scala实现的，所以Spark天生支持Scala API。此外，还支持Java和Python API。
以Spark 1.3版本号的Python API为例。其模块层级关系例如以下图所看到的： 从上图可知，pyspark是Python API的顶层package，它包括了几个重要的subpackages。当中：1) pyspark.SparkContext它抽象了指向sp
转载
2023-08-11 15:17:53
152阅读
reduce官方文档描述：Reduces the elements of this RDD using the specified commutative and associative binary operator.函数原型：def reduce(f: JFunction2[T, T, T]): T根据映射函数f，对RDD中的元素进行二元计算（满足交换律和结合律），返回计算结果。源码分析：de
转载
2023-10-10 19:42:24
70阅读
Shuffle简介Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和
转载
2023-08-13 17:04:45
121阅读
首先在Linux环境安装spark：可以从如下地址下载最新版本的spark：https://spark.apache.org/downloads.html这个下载下来后是个tgz的压缩包，解压后spark环境就安装好了或者从github上下载： #git clone git://github.com/apache/spark.git安装好后，进入到spark的根目录，就可以通过spark提供的一些
转载
2023-09-04 17:16:19
104阅读
1、RDD的APIRDD的使用主要分转换操作和动作操作，其中转换操作输入值是RDD，返回值是RDD，且其是惰性的，也就是说不会真的去操作，只有当动作操作到来时才会全部一次性去操作类似于链条一样。动作操作的输入值是RDD，输出值的值，也就是RDD操作的终结。1-0、创建RDD/*
*创建rdd的方式有多种
*从文件读取、从数据源获取、手动创建
*步骤都是：
* 1、创建sparkconf进行配置
*
转载
2023-09-26 18:39:01
0阅读
一.环境说明和使用软件的版本说明:hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgzjava-version:jdk1.8.0_151集群环境：单机伪分布式环境。二.适用背景 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道的）：第一种
转载
2024-05-29 06:18:16
27阅读
一、RDD 的创建1）通过 RDD 的集合数据结构，创建 RDDsc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据，分为 2 个 partition，默认情况会讲数据集进行平分，注意不是两个副本2）通过文件来读取sc.textFile("file.txt")
sc.sequenceFile("file.txt") sequeceFile 是 HDFS 一些数
转载
2024-07-31 10:25:58
100阅读
API应用可以通过使用Spark提供的库获得Spark集群的计算能力，这些库都是Scala编写的，但是Spark提供了面向各种语言的API，例如Scala、Python、Java等，所以可以使用以上语言进行Spark应用开发。 Spark的API主要由两个抽象部件组成：SparkContext和RDD，应用程序通过这两个部件和Spark进行交互，连接到Spark-集群并使用相关资源。1.Spar
转载
2023-10-05 16:31:43
406阅读
Spark的核心就是RDD，对SPARK的使用入门也就是对RDD的使用，包括action和transformation对于Java的开发者，单单看文档根本是没有办法理解每个API的作用的，所以每个SPARK的新手，最好按部就班直接学习scale, 那才是一个高手的必经之路，但是由于项目急需使用，没有闲工夫去学习一门语言，只能从JAVA入门的同学， 福利来了。。。。对API的解释
转载
2023-07-05 13:06:46
123阅读
本文测试的Spark版本是1.3.1Text文本文件测试一个简单的person.txt文件内容为：JChubby,13
Looky,14
LL,15分别是Name和Age在Idea中新建Object，原始代码如下：object TextFile{
def main(args:Array[String]){
}
}SparkSQL编程模型：第一步： 需要一个SQLContext
转载
2024-06-11 12:51:33
64阅读
本文介紹如何基于
Spark和
Java来实现一个单词计数（Word Count）
的程序。创建工程创建一个Maven工程，pom.xml文件如下：<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation=
转载
2023-06-11 15:59:50
233阅读
# Java启动Spark
## 简介
Apache Spark是一个快速而通用的集群计算系统，它提供了用于大规模数据处理的统一API。Spark具有基于内存的计算能力和容错性，并提供了丰富的库和工具，使得处理大规模数据集变得更加简单和高效。
在本文中，我们将学习如何使用Java启动Spark，并使用一些简单的示例代码来说明。
## 准备工作
在开始之前，我们需要确保在我们的开发环境中已
原创
2023-07-14 13:25:07
105阅读
spark常用的启动方式一、Local(本地模式) Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --master local 效果是一样的，同理spark-shell 和 spark-shell --ma
转载
2023-08-18 11:00:54
171阅读
