Shuffle简介Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和
转载
2023-08-13 17:04:45
121阅读
spark简介Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架，大小只有1MB。Spark允许用户自己选择设计应用程序的模板引擎以及选择最适合他们项目的库，比如，HTML解析功能就有Freemarker、Mustaches、Velocity、Jade、Handlebars、Pebble或Water等选项可
转载
2023-12-13 23:10:57
222阅读
Spark介绍按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的数据需要反复
转载
2023-06-19 05:48:49
508阅读
Spark是最近比较火的数据处理平台，相对于Hadoop的Mapreduce(MR)，既具有运行速度的优势，又打破的Hadoop MR交互性差的局限，同时，其机器学习组件MLlib可以极大的满足数据处理过程中的算法需求。Spark采用Scala语言编写，但同时支持Scala，Python与Java做为开发语言，甚至SparkR项目的出现某种程度上支持了R语言。MongoDB做为NoSQL比较早的实
转载
2023-12-28 11:04:14
31阅读
Spark API创建spark环境方法一：SparkConf//spark环境配置对象
val conf = new SparkConf()
//设置spark任务的名称
conf.setAppName("Demo1WordCount")
//设置spark运行模式，local:本地运行
conf.setMaster("local")
//创建spark上下文对象，sc是spark写代码的
转载
2023-07-05 14:38:53
65阅读
SPARK的核心就是RDD，对SPARK的使用入门也就是对RDD的使用， 对于JAVA的开发者，Spark的RDD对JAVA的API我表示很不能上手， 单单看文档根本是没有办法理解每个API的作用的，所以每个SPARK的新手，最好按部就班直接学习scale, 那才是一个高手的必经之路，但是由于项目急需使用，没有闲工夫去学习一门语言，只能从JAVA入门的同学， 福利来了：  
转载
2024-05-22 13:23:07
41阅读
文章目录1. spark集群搭建2. 初步认识Spark3. 理解spark的RDD4. 使用shell方式操作Spark，熟悉RDD的基本操作5. 使用jupyter连接集群的pyspark6. 理解Spark的shuffle过程7. 学会使用SparkStreaming8. 说一说take,collect,first的区别，为什么不建议使用collect？9. 向集群提交Spark程序10.
转载
2023-09-28 13:58:39
101阅读
一、Spark核心API
-----------------------------------------------
[SparkContext]
连接到spark集群,入口点.
[HadoopRDD] extends RDD
读取hadoop hdfs上的数据，hbase的数据，s3的数据
[MapPartitionsRDD]
转载
2023-11-15 11:13:49
158阅读
# Spark与MongoDB集成
## 引言
Apache Spark是一个用于大规模数据处理的分布式计算引擎，而MongoDB是一个面向文档的NoSQL数据库。将两者结合可以使得数据处理更加高效和便捷。本文将介绍如何使用Spark与MongoDB集成，并提供一些示例代码来演示其用法。
## Spark与MongoDB集成的优势
- 处理大规模数据：Spark可以处理大规模数据集，而Mong
原创
2023-07-15 09:15:23
96阅读
：Scala操作MongoDB（比较全） ：使用用户名和密码进行连接。 ：Spark写入数据到mongDB注意：casbah-core_2.10版本需要与scala版本保持一致。本项目中：scala采用2.11，所以配置如下。<dependency>
<groupId>org.mongodb.spark</groupId&
转载
2024-02-28 14:59:50
366阅读
# MongoDB API 科普文章
## 简介
MongoDB是一个开源的、面向文档的NoSQL数据库系统。它以高性能、高可扩展性和灵活的数据模型而闻名。在MongoDB中，我们可以使用各种编程语言提供的API来与数据库进行交互。本文将介绍MongoDB API的基本用法，并提供一些代码示例。
## 安装
在开始使用MongoDB API之前，我们需要首先安装MongoDB数据库和相应的
原创
2023-10-06 03:43:30
58阅读
1、创建一个MongoDB数据库连接对象，它默认连接到当前机器的localhost地址，端口是27017。 Mongo mongo=new Mongo();2、获得与某个数据库（例如“test”）的连接。数据库中如果没有这个数据库，程序依然可以正常执行，原因在与Mongo可以根据需要创建数据库。 DB db=mongo.getDB("test');3、获取该数据库(test)下的某个表
转载
2023-06-08 13:39:40
162阅读
Spark 1.3 引入了第一版的数据源 API，我们可以使用它将常见的数据格式整合到 Spark SQL 中。但是，随着 Spark 的不断发展，这一 API 也体现出了其局限性，故而 Spark 团队不得不加入越来越多的专有代码来编写数据源，以获得更好的性能。Spark 2.3 中，新一版的数据源 API 初见雏形，它克服了上一版 API 的种种问题，原来的数据源代码也在逐步重写。本文将演
转载
2024-01-18 17:42:51
64阅读
Spark的核心就是RDD，对SPARK的使用入门也就是对RDD的使用，包括action和transformation对于Java的开发者，单单看文档根本是没有办法理解每个API的作用的，所以每个SPARK的新手，最好按部就班直接学习scale, 那才是一个高手的必经之路，但是由于项目急需使用，没有闲工夫去学习一门语言，只能从JAVA入门的同学， 福利来了。。。。对API的解释
转载
2023-07-05 13:06:46
123阅读
因为Spark是用Scala实现的，所以Spark天生支持Scala API。此外，还支持Java和Python API。
以Spark 1.3版本号的Python API为例。其模块层级关系例如以下图所看到的： 从上图可知，pyspark是Python API的顶层package，它包括了几个重要的subpackages。当中：1) pyspark.SparkContext它抽象了指向sp
转载
2023-08-11 15:17:53
152阅读
一、RDD 的创建1）通过 RDD 的集合数据结构，创建 RDDsc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据，分为 2 个 partition，默认情况会讲数据集进行平分，注意不是两个副本2）通过文件来读取sc.textFile("file.txt")
sc.sequenceFile("file.txt") sequeceFile 是 HDFS 一些数
转载
2024-07-31 10:25:58
100阅读
初识Spark之 Spark API
原创
2019-11-27 21:56:05
1583阅读
Spark UIExecutorsEnvironmentStorageSQLExchangeSortAggregateJobsStagesStage DAGEvent TimelineTask MetricsSummary MetricsTasks 展示 Spark UI ，需要设置配置项并启动 History Server# SPARK_HOME表示Spark安装目录
${SPAK_HOME
转载
2023-08-11 15:21:58
287阅读
点赞
IDEA 应用开发Spark构建Maven Project创建Maven Project工程【bigdata-spark_2.11】，设置GAV三要素的值如下： 创建Maven Module模块【spark-chapter01_2.11】，对应的GAV三要素值如下： 至此，将Maven Module模块创建完成，可以开始编写第一个Spark程序。应用入口SparkContextSpark Appl
转载
2023-10-29 15:37:36
94阅读
免责声明 ：这篇文章是关于名为Spark的Java微型Web框架的，而不是关于数据处理引擎Apache Spark的 。 在此博客文章中，我们将看到如何使用Spark构建简单的Web服务。 如免责声明中所述，Spark是受Ruby框架Sinatra启发的Java微型Web框架。 Spark的目的是简化操作，仅提供最少的功能集。 但是，它提供了用几行Java代码构建Web应用程序所需的一切。 入门
转载
2023-08-11 19:15:19
114阅读
