文章目录Spark基础知识一、Spark框架1.Spark介绍2.Spark四大特点3.Spark框架模式4.Spark运行模式二、本地模式1.环境配置2.运行spark-shell3.Spark WordCount4.WEB UI监控5.运行圆周率PI三、Spark Standalone集群1.Standalone 架构2.解压、配置环境变量3.Spark 应用架构4.WEB UI 监控5.S
转载
2023-08-25 13:37:32
88阅读
文章目录Spark介绍启动工作（单机伪分布式）数据以学生成绩数据创建RDD从内存中已有数据创建RDDparallelizemakeRDD从外部存储创建RDD从HDFS文件创建RDD从Linux本地文件创建RDD任务实现查询学生成绩表中的前5名使用map转换数据使用sortBy()排序使用collect()查询使用flatMap转换数据使用take()方式查询某几个值任务实现 Spark介绍Apa
转载
2023-08-21 16:49:44
134阅读
RDD操作详解1——Transformation和Actions概况http://www.jianshu.com/p/4ff6afbbafe4 Spark Programming Guide（比较好）http://spark.apache.org/docs/latest/programming-guide.html#tab_java_0 Spark编程指引(三)
原创
2021-09-02 17:45:27
83阅读
官方文档：spark.apache.org/docs/latest Spark背景 MapReduce局限性： 1>) 繁杂 map/reduce (mapjoin没有reduce) low_level constained 需求 测试 每次改代码再测试 2>) 技术效率低
原创
2018-05-07 14:49:10
851阅读
点赞
# Spark基础
## 引言
Spark是一个用于大规模数据处理的开源分布式计算框架。它提供了高效的数据处理能力和丰富的数据处理工具，可以用于处理结构化数据、文本数据和图形数据等多种数据类型。本文将介绍Spark的基础知识和使用方法，并给出一些代码示例。
## Spark的核心概念
### RDD
RDD（Resilient Distributed Dataset）是Spark中的基本
RDD编程RDD是什么弹性分布式数据集RDD是Spark中不可变的分布式对象集合，每个RDD被分为多个分区，分区运行在集群不同节点上。我们可以通过Java、Scala、Python语言操作RDD，进行数据的处理。RDD操作类型转化操作(transformation)
转化操作指将一个RDD转换成另一个RDD，就像我们将List转换成Map一样。行动操作(action)
行动操作指将RDD计算出一个
作者：强哥。前情提要为什么要学Spark，没有别的，强哥就是觉得这框架牛逼而且热门，现在学大数据，不学Spark你就等于孙悟空飞到如来佛祖的手上没刻“到此一游”并拉上一炮尿一样少了点味道。迈出第一步首先，要学Spark，你如果连它是个什么都不懂这个说不过去吧。这里你就需要先了解两点：它是做大数据计算的它是用Scala开发的为什么要了解这两点呢？第一点自然不用多说了。为什么要懂第二点，因为要学Spa
转载
2023-10-26 09:22:33
34阅读
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark特点Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘
原创
2023-09-12 19:18:42
48阅读
Apache Spark 是一个快速和通用的大型数据处理引擎。 一、Spark 的特点 速度：在内存中运行程序要比Hadoop MapReduce快100倍，磁盘上的速度要快10倍。Apache Spark拥有一个先进的DAG执行引擎，它支持非循环数据流和内存计算。易用性：在Java、Scala、Python、r中快速编写应用程序。Spark提供了超过80个高级运算，这些运算可以轻松构建并行应用
第一章1.spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎特点：对任意数据类型的数据进行自定义计算Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据2.spark和Hadoop的对比hadoop
将相同国家进行分组，然后将count相加sum(count)， 对sum(count)进行排序，输出top5 val path="/Volumes/Data/BigData_code/data/flight-data/csv/2015-summary.csv" val data = spark.re
原创
2021-07-15 15:06:30
108阅读
spark 基础解释
原创
2021-04-22 22:42:24
234阅读
什么是spark 定义：spark是一种基于内存快速、通用、可扩展的大数据分析引擎。spark内置模块底层的调度器区分三种：基于独立调度器，yarn,mesos中间层：spark core 提供几种类：spark sql ,spark streaming 实时计算，spark mlib 机器学习，spark graghx图计算spark core实现了spark 的基本功能，包括任务调度，内存管理
原创
2021-04-25 22:41:05
209阅读
RDD基础概念创建RDD 创建RDD的方法： 1.载入外部数据集 2.分布一个对象的集合前边几次的笔记已经提到过多次了，因此，这里只列出几个注意事项： 1.利用sc.parallelize创建RDD一般只适用于在测试的时候使用，因为这需要我们将整个数据集放入一台机器的内存中。因此，除了我们学习使或者测试时，很少使用。 2.更通用的方法是从外部存储系统上加载数据创建RDDSpark支持两种
最近本人对各种分布式计算平台研究的比较火热，上周的时间简单了了解了Storm的用法，今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台，Spark，跟Hadoop属于同类型的。Spa...
转载
2020-01-12 19:09:00
83阅读
Spark安装错误修改yarn-site.xml过程中遇到：hadoop=
原创
2022-12-03 00:01:11
88阅读
Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于 处理不同的应用场景。三大数据结构分别是：RDD : 弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量1. RDD1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个
上一节简单介绍了Spark的基本原理以及如何调用spark进行打包一个独立应用，那么这节我们来学习下在spark中如何编程，同样先抛出以下几个问题。Spark支持的数据集，如何理解？Spark编程中常用到的操作？一、RDD基础 1、RDD简介 在上一节的组件图Spark Core中我们简单提到了对弹性分布式数据集：RDD（Resilient Distributed DataSet），它表示
目录一、了解Scala1.1 了解Scala语言1.2了解Scala特性1.3 函数组合器1.3.1 map()方法1.3.2foreach()方法1.3.3flter()方法1.3.4flatten()方法1.3.5flatMap()方法1.3.6.groupBy()方法二、Scala编程基础2.1创建RDD2.1.1从内存中读取数据创建RDD2.1.2从外部存储系统中读取数据创建RDD2.2R
文章目录Spark编程基础-搭配Jupyter1.1 RDD编程1.1.1 RDD创建1.1.2 文件系统中加在数据集1.1.3 通过并行集合创建RDD1.1.4 RDD操作1.1.4.1 转换操作1.1.4.2 行动操作1.2 键值对RDD1.3 共享变量（分布式）1.4 数据读写1.4.1 文件数据读写 Spark编程基础-搭配Jupyter上节我们说道了Spark的基础知识和原理，这一节我
转载
2023-08-20 22:41:42
131阅读
