文章目录一、Spark作业执行流程（重点）二、RDD编程2.1创建RDD的⼆种⽅式：2.2Transformation算⼦2.3Action算子三、简单算子（必须掌握）3.1 map、mapPartitions、mapPartitionsWithIndex3.1.1 ⽐较map flatMap mapPartitions mapPartitionsWithIndex3.2 flatMap3.3
转载
2024-09-23 12:49:14
92阅读
一、sbt安装（jdk、spark、scala均配置完成）1.下载sbt安装包（注意Scala与sbt版本对应关系）2.创建安装目录等（如下代码）mkdir /home/WBQ/soft/sbt # 创建安装目录
cd /home/WBQ/soft/sbt
tar -zxvf ./sbt-1.8.0.tgz
cd /home/WBQ/soft/sbt
chown
转载
2024-06-23 08:47:30
183阅读
目录：一、计算级数二、模拟图形绘制三、统计学生成绩环境：已经配置完成的Scala开发环境。Scala版本2.11.8 安装教程 一、计算级数问题：请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=5
目录1、RDD属于Spark Core2、RDD的创建文件加载通过并行集合（数组）创建RDD3、RDD的操作（Transformation）filter(func)：高阶函数→参数是函数map(func)：一对一的映射flatmap(func)：groupByKey():应用于键值对reduceByKey(func)4、RDD的操作（action）count()collect()first()ta
转载
2024-01-13 13:52:33
110阅读
前言：我们来继续学习Spark基础吧!如何创建一个Pair的RDD我们有很多种方式创建一个pair的RDD，为了我们演示方便，我们使用在已有的RDD中使用map()方法来创建一个RDD的方式。如下：rdd4 = sc.parallelize(['age 29', 'count 3', 'age 33', 'count 55'])
D = rdd4.map(lambda x: (x.split("
本課課程：
零基礎实战Scala 函数式编程Spark 源碼中的 Scala 函数式编程鑒賞
Spark 源碼中的 Scala 函数式编程鑒賞
這些是函数，里面傳進出的方法要麼是自己本身，要麼是自己的子類。
沒有函数體表明這是抽象函数 這里 SparkContext 函数里有一個 sc，這個 sc 又是另外一個函数（
转载
2024-10-05 14:04:31
70阅读
林子雨老师《Spark编程基础》_第二章scala语言_重点1、scala基础知识1.1基本数据类型和变量基本数据类型字面量（literal）操作符富包装类变量1.2输入输出输入输出写入文件读取文件1.3控制结构1.3.1if控制1.3.2while循环1.3.3for循环1.3.4异常处理1.3.5对循环的控制1.4数据结构1.4.1数组Array1.4.2元组Tuple1.4.3容器Coll
转载
2024-05-29 21:30:51
222阅读
正文①虚拟硬盘选择50G②在创建时选择的光盘映像文件(.iso)一定要和自己的Ubuntu版本匹配③一定要注意Ubuntu版本和Spark版本能不能匹配！④不要选择自动安装启动后，点击virtualbox的菜单“设备”选项，选择“安装增强功能”，系统便会自动安装好增强的功能，如果如果需要提示需要确认，输入return即可。打开终端，执行 sudo apt-get install virtualbo
本文主要参考厦门大学林子雨老师的课程《Spark编程基础》（Scala版）大数据技术概述大数据时代大数据时代技术支撑（存储，计算，网络）存储，存储设备容量越来越大，价格越来越便宜计算，CPU处理能力不断提升（摩尔定律），多核网络，网络带宽提高，分布式处理数据产生方式的变革促使大数据时代的来临，从运营式（沃尔玛大型超市购物系统），到用户原创（微博、微信），再到感知式（物联网）。大数据概念Volume
转载
2024-01-15 09:02:27
399阅读
目录1.读取员工薪资数据创建RDD从内存中读取数据创建RDD从外部存储系统中读取数据创建RDD2.查询上半年实际薪资排名前3的员工信息使用map()方法转换数据使用sortBy()方法进行排序使用collect()方法查询数据使用flatMap()方法转换数据使用take()方法查询某几个值3.查询上半年或下半年实际薪资大于20万元的员工姓名使用union()方法合并多个RDD使用filter()
转载
2024-09-16 00:58:00
639阅读
本节主要内容shell编程简介变量定义常用特殊变量1. shell编程简介学习linux操作系统最让人着迷的事情莫过于shell脚本编程，这是因为如果要完成某些复杂的功能，单纯地通过GUI操作不可能达到，shell脚本可以直接与操作系统内核打交道，从而完成任意复杂的任务。shell有很多种，最常用的是Bash (Bourne Again Shell)，它是Linux操作系统默认的shell环境。在
RDD设计与运行原理RDD结构不存储中间结果，减少磁盘损耗。采用了惰性调用，即在RDD的执行过程中，真正的计算发生在RDD的“行动”操作，对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹，即相互之间的依赖关系，而不会触发真正的计算。Spark操作中经常会用到“键值对RDD”（Pair RDD），用于完成聚合计算。普通RDD里面存储的数据类
转载
2024-08-28 21:59:51
169阅读
步骤一：Windows环境安装非常感谢林子雨教授的淘宝双11数据分析与预测案例，本篇90%以上都是借用了林教授的教程过程，我不过将其高度整合起来并解决一些因为软件更新造成的代码不兼容或者软件不兼容的bug。放上林教授的原地址，有兴趣的小伙伴可以去深入学习淘宝双11数据分析与预测案例林教授的案例很详细，但可能是时间久远原因，在实际操作中，林子雨教授的案例中有不少bug和软件不兼容的情况，所以此次整合
2016.02.05Hadoop学习51CTO是一个神奇的网站！Hadoop安装要点： 1. HADOOP_HOME不可用（/bin和/sbin中可能会生成对于该系统变量的使用），所以用HADOOP_INSTALL来替代 2. 在Linux中配置path是用:冒号进行分隔的 3. which gedit 可以查看gedit的目录 4. 若用Ubuntu或者debain系统，sudo ged
转载
2024-08-26 16:32:49
72阅读
# 踏入数据分析的世界：林子雨 Spark
在当今大数据时代，数据的获取与分析变得越来越重要。随着数据量的激增，传统的数据处理方法已经无法满足需求，而 **Apache Spark** 凭借其快速、高效的特性，正逐渐成为数据分析领域的主流工具。本文将介绍 Spark 的基础知识，并提供一些简单的代码示例，帮助你快速上手这项技术。
## 什么是 Spark？
**Apache Spark**
# Spark 编程基础 Python 版课后答案指南
学习 Spark 编程是数据处理和分析的重要一步，本文将指导你如何实现“spark编程基础Python版课后答案林子雨”，并提供你所需的步骤、代码示例以及所需的工具和环境配置。
## 实现流程
以下是实现这个任务的整体流程：
| 步骤 | 描述 | 代码示例
目录TT数鸭子题目描述输入描述输出描述样例输入样例输出数据组成思路代码ZJM要抵御宇宙射线题目描述输入描述输出描述样例输入样例输出数据组成思路代码宇宙狗的危机题目描述输入描述输出描述样例输入1样例输出1样例输入2样例输出2数据组成思路代码 TT数鸭子时间限制空间限制1S256MB题目描述这一天，TT因为疫情在家憋得难受，在云吸猫一小时后，TT决定去附近自家的山头游玩。 TT来到一个小湖边，看到了
转载
2023-12-26 12:40:38
689阅读
第1章 大数据技术概述（8节）第三次信息化浪潮：以物联网、云计算、大数据为标志（一）大数据大数据时代到来的原因：技术支撑：存储设备（价格下降）、CPU计算能力（多核CPU）、网络带宽（单机不能够完成海量数据的存储和处理，借助网络分布式的集群运算）数据产生方式的变革：运营式系统阶段（如超市购物在数据库系统中生成购物信息） —> 用户原创内容阶段 —> 感知式系统阶段（物联网感
转载
2024-08-20 13:52:30
220阅读
1.实验学时8学时2.实验目的熟悉linux，Mysql，Hadoop，Hbase，Hive，R，eclipse等系统的安装和配置，了解大数据处理的基本流程。熟悉不同类型的数据库的导入到处。熟悉R语言的可视化分析。3.实验内容（一）完成基础大数据组件的安装。由于之前实验完成了对应组件的安装，这里就放出截图：Hbase:Hadoop:Hive:Ecplise:（二）对原始数据进行预处理。首先得到这些
文章目录前言一、大数据概述 前言大数据导论期末考试内容以林子雨老师的《大数据技术原理与应用》为主，这里整理一下林子雨老师慕课上的习题的知识点，帮助和大家进行复习。一、大数据概述第一次信息化浪潮标志是个人计算机、第二次是互联网，第三次信息化浪潮的标志是：云计算、大数据、物联网技术的普及。1Byte(字节) = 8bit； 1KB（Kilobyte，千字节）= 1024 Byte; 1MB（Mega
转载
2024-08-26 10:29:36
39阅读
