目录一、了解Scala1.1 了解Scala语言1.2了解Scala特性1.3 函数组合器1.3.1 map()方法1.3.2foreach()方法1.3.3flter()方法1.3.4flatten()方法1.3.5flatMap()方法1.3.6.groupBy()方法二、Scala编程基础2.1创建RDD2.1.1从内存中读取数据创建RDD2.1.2从外部存储系统中读取数据创建RDD2.2R
转载
2024-06-01 12:08:24
203阅读
Spark编程基础1、创建RDD1）从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD// 创建 Spark 运行配置对象
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("CreateRDD01")
// 创建 Spark 上下文
目录TT数鸭子题目描述输入描述输出描述样例输入样例输出数据组成思路代码ZJM要抵御宇宙射线题目描述输入描述输出描述样例输入样例输出数据组成思路代码宇宙狗的危机题目描述输入描述输出描述样例输入1样例输出1样例输入2样例输出2数据组成思路代码 TT数鸭子时间限制空间限制1S256MB题目描述这一天，TT因为疫情在家憋得难受，在云吸猫一小时后，TT决定去附近自家的山头游玩。 TT来到一个小湖边，看到了
转载
2023-12-26 12:40:38
689阅读
选择题1. spark 的四大组件下面哪个不是 (D)A.Spark Streaming B Mlib C Graphx D Spark R2.下面哪个端口不是 spark 自带服务的端口 ( C)A.8080 B.4040 C.8090 D.180803.spark 1.4 版本的最大变化 ( B)A spark sql Release 版本 B 引入 Spark R C DataFrame D
转载
2023-08-06 00:40:00
1738阅读
3.5 常见的转化操作和行动操作 3.5.1 基本RDD 1. 针对各个元素的转化操作 两个最常用的转化操作是map()和filter()。转化操作map()接受一个函数，把这个函数用于RDD中的每个元素，将函数的返回结果作为结果RDD中对应元素的值。而转化操作filter()则接收一个函数，并将RDD中满足该函数的元素放入新的RDD中返回。 inputRDD{1，2，3，4}
转载
2024-01-21 10:54:13
51阅读
使用的文件内容如下：用户表： 电影表：评分表：三个表数据详情如下：1、求被评分次数最多的 10 部电影，并给出评分次数（电影名，评分次数）package com.spark.homework.movie
import org.apache.spark.{SparkConf, SparkContext}
object code_01{
def main(args: Array[Stri
转载
2023-11-25 20:28:39
161阅读
文章目录一、RDD行动算子1.1 reduce1.2 collect1.3 count1.4 first1.5 take1.6 takeOrdered1.7 aggregate1.8 fold1.9 countByKey1.10 foreach1.11 save相关算子二、RDD序列化三、RDD依赖关系四、RDD持久化五、RDD文件读取与保存 一、RDD行动算子行动算子不会产生新的RDD，而是触
转载
2023-12-01 11:56:55
74阅读
Spark编程指南译者说在前面：最近在学习Spark相关的知识，在网上没有找到比较详细的中文教程，只找到了官网的教程。出于自己学习同时也造福其他初学者的目的，把这篇指南翻译成了中文，笔者水平有限，文章中难免有许多谬误，请高手不吝赐教。本文翻译自Spark Programming Guide，由于笔者比较喜欢Python，在日常中使用也比较多，所以只翻译了Python部分，不过Java和Scala大
转载
2024-06-11 12:50:09
138阅读
系列博客：Spark学习笔记(一）：Spark概述与运行原理 RDD编程位置
RDD创建（1）从文件中加载数据创建调用SparkContext的textFile（）lines=sc.textFile("word.txt")
lines.foreach(print) （2）通过并行集合（列表）创建RDD调用SparkContext的parallelize方法array=[1
转载
2023-11-23 18:26:06
74阅读
1. 交互式Spark-Shell根据前一节已经搭建好的Hadoop和Spark环境，直接通过脚本启动Hadoop和Spark服务。如果 http://localhost:8080 能够访问，说明Spark服务已经启动。Spark为我们提供了PySpark以及Spark-shell，可以方便的通过交互试界面调试Spark应用。接下来我们将采用Spark-Shell来调试Spar
转载
2023-12-13 22:23:42
136阅读
文章目录一、实验目的二、实验平台三、实验步骤1. 准备工作（1）安装spark及其API程序（2）配置环境变量（3）启动Hadoop2. Spark读取文件系统的数据3. 编写独立应用程序实现数据去重4. 编写独立应用程序实现求平均值问题四、实验总结 一、实验目的掌握使用 Spark 访问本地文件和 HDFS 文件的方法掌握 Spark 应用程序的编写、编译和运行方法二、实验平台操作系统：Ubu
转载
2023-10-26 21:55:00
580阅读
Spark 第四章 Spark RDD 实验手册实验4.1：RDD 的创建创建一个文档：324.txt虚拟机创文件： 上传文件到虚拟机里：把文件拖到finalshell启动pyspark：pyspark（小写）使用文件创建RDD实验4.2：常见RDD算子练习 注意：用英文空格（文档和操作中中英文符号要一致）>>> rdd=sc.textFile("/home/
转载
2024-06-25 16:30:47
155阅读
【题目】
Spark
上机练习题：统计人口平均年龄 （
1
）请编写
Spark
应用程序，该程序可以在本地文件系统中生成一个数据文件
peopleage.txt
，数据 文件包含若干行（比如
1000
行，或者
100
万行等等）记录，每行记录只包含两列数据，第
1
列是序 号，第
2
列是年龄。效果如下： 1 89 2
转载
2024-07-04 10:21:31
81阅读
单项选择题1、Scala程序编译后的文件以什么结尾：A、.class B、java C、.scala D、.sc2、以下哪种Scala方法可以正确计算数组a的长度： A、count() B、take（1） C、tail(） D、length()3、以下语句中符合Scala编程规范的是： ①val s=“Spark” ②"abc".contains（“a”） ③"123".equals（123） ④
转载
2024-02-06 15:40:05
363阅读
# Spark 编程基础 Python 版实验3指南
欢迎来到 Spark 编程的世界！本文将为您详细介绍如何实现“Spark 编程基础 Python 版实验3”。即使您是刚入行的小白，也无需担心，我们将一步一步来。
## 1. 整体流程
在实现这个实验之前，我们首先要了解整个流程。下面的表格总结了实验的主要步骤：
| 步骤 | 描述 |
|----
文章目录一、创建RDD1.1、启动Spark shell1.2、创建RDD1.2.1、从集合中创建RDD1.2.2、从外部存储中创建RDD任务1：二、RDD算子2.1、map与flatMap算子应用2.1.1、map2.1.2、flatMap2.1.3、mapPartitions2.2、sortBy与filter算子应用2.2.1、sortBy2.2.2、filter任务2：2.3、交集与并集计
转载
2023-11-25 14:04:16
542阅读
1、实验环境：设备名称 LAPTOP-9KJS8HO6 处理器 Intel® Core™ i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse
转载
2023-11-15 18:40:19
279阅读
RDD基础概念创建RDD 创建RDD的方法： 1.载入外部数据集 2.分布一个对象的集合前边几次的笔记已经提到过多次了，因此，这里只列出几个注意事项： 1.利用sc.parallelize创建RDD一般只适用于在测试的时候使用，因为这需要我们将整个数据集放入一台机器的内存中。因此，除了我们学习使或者测试时，很少使用。 2.更通用的方法是从外部存储系统上加载数据创建RDDSpark支持两种
转载
2023-12-31 14:59:41
59阅读
RDD设计与运行原理RDD结构不存储中间结果，减少磁盘损耗。采用了惰性调用，即在RDD的执行过程中，真正的计算发生在RDD的“行动”操作，对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹，即相互之间的依赖关系，而不会触发真正的计算。Spark操作中经常会用到“键值对RDD”（Pair RDD），用于完成聚合计算。普通RDD里面存储的数据类
转载
2024-08-28 21:59:51
169阅读
目录Spark编程基础一、配置Spark运行环境1.1 Spark安装步骤1.2 编写Spark程序1.3 从内存中读取数据创建RDD1.3.1 parallelize()1.3.2 makeRDD()1.4 从外部存储系统中读取数据创建RDD二、RDD方法2.1 使用map()方法转换数据2.2 使用sortBy()方法进行排序2.3 使用collect()方法查询数据2.4
转载
2024-06-16 10:03:49
196阅读
