全文共10887字，预计阅读时间70分钟。第二章 Spark入门介绍与基础案例1. 第一步：下载Apache Spark安装包 1.1 Spark的目录和文件2. 第二步：使用Scale或者PySpark Shell 2.1 使用本地机器3. 第三步：理解Spark应用的概念
转载
2023-08-15 18:15:20
292阅读
Spark生态圈1. Spark Core（重点）1.1 Spark特点1.2 spark的体系构架1.3 spark的安装配置1.3.1 准备工作：1.3.2 伪分布1.3.3 全分布1.3.4 HA1.3.5 spark任务的提交1.4 Spark Shell1.4.1 两种运行模式1.4.2 wordcount案例1.5 RDD弹性分布式数据集（重点）1.5.1 RDD特性1.5.2 Tr
转载
2023-08-07 22:09:26
562阅读
Spark下载与入门下载Spark访问 http://spark.apache.org/downloads.html， 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”，然后选择“Direct Download”直接下载。得到文件名为 spark-1.2.0-bin-hadoop2.4.tgz.cd ~
# x 标记指定 tar 命令执行解压缩操作，f
转载
2023-09-27 15:30:52
83阅读
好的，下面是Spark入门教程：# 1. Spark概述Spark是一种基于内存计算的大数据处理框架，它提供了高效的分布式数据处理能力，使得处理大规模数据变得更加容易。Spark最初是由加州大学伯克利分校AMPLab实验室开发的，后来被捐赠给了Apache软件基金会，成为了Apache的顶级项目。Spark最主要的特点是内存计算，它能够将数据存储在内存中进行计算，大大提高了计算速度。此外，Spar
转载
2023-07-28 20:32:54
1350阅读
概论
在高层中，每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的mian 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分布式数据集(RDD)，RDD 是指能横跨集群所有节点进行并行计算的分区元素集合。 RDDs 从 Hadoop 的文件系统中的一个文件中创建而来(或其他 H
转载
2024-02-06 21:57:42
39阅读
Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark特点Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘
原创
2023-09-12 19:18:42
48阅读
先来一个简单的spark小程序,这是官网上的小样例,目的就是统计spark以下的README文档中包括字母a和字母b的个数,然后打印,代码例如以下:object BasicStandaloneApp extends App{
val logFile = "/home/xiaoyi/software/spark/README.md" // Should be some file on your
转载
2024-02-08 06:47:34
42阅读
Spark菜鸟学习营Day2分布式系统需求分析本分析主要针对从原有代码向Spark的迁移。要注意的是Spark和传统开发有着截然不同的思考思路，所以我们需要首先对原有代码进行需求分析，形成改造思路后，再着手开发。
对于输入和输出，请注意，指的是以程序为边界的输入和输出情况。主要迁移点：A:批量数据清理重点：分析要清理的表在哪里A1.参数表：存放Oracle、Redis。清理Oracle就可以，Re
转载
2023-10-11 12:45:50
158阅读
Scala基础Spark的原生语言是Scala，因此入门一下Scala是学习Spark的第一步，下面就快速入门一下，争取不花太多的时间。之后的简书中还会有Scala进阶，交代一些其他特性。这篇Scala基础应该可以暂时应付之后Spark的学习。Scala运行在JVM上Scala是纯面向对象的语言Scala是函数式编程语言Scala是静态类型语言1. HelloWorldobject HelloWo
转载
2023-12-04 22:15:26
105阅读
大数据之Spark案例实操完整使用一、案例一1、准备数据2、需求 1：Top10 热门品类3、需求说明方案一、实现方案二实现方案三二 、需求实现1、需求 2：Top10 热门品类中每个品类的 Top10 活跃 Session 统计2、页面单跳转换率统计三、工程代码三层架构1、三层介绍2、结构图3、代码 一、案例一1、准备数据 上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数
转载
2023-08-11 09:27:15
70阅读
# Spark使用教程
