1.词频统计任务要求首先，在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt。在实际应用中，这两个文件可能会非常大，会被分布存储到多个节点上。但是，为了简化任务，这里的两个文件只包含几行简单的内容。需要说明的是，针对这两个小数据集样本编写的MapReduce词频统计程序，不作任何修改，就可以用来处理大规模数据集的词频统计。创建wordfile1.txt文
转载
2023-10-08 09:19:54
268阅读
一、Spark包括什么spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是spark core，而Spark core的核心就是RDD操作，RDD的操作重要的就是算子，也就是说，掌握了算子基本上就掌握了spark的基础。二、RDD1、是什么？ 
只需将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操作形成依赖关系，可以实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销。 一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算。 RDD提
转载
2023-12-14 10:15:45
0阅读
1：什么是Spark的RDD？？？
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
2：RDD
转载
2018-02-23 18:25:00
159阅读
一 RDD依赖关系1 LineageRDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage
原创
2022-11-11 10:37:09
77阅读
只需将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操作形成依赖关系，可以实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销。 一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算。 RDD提
转载
2023-12-14 10:23:23
107阅读
大数据智能综合训练编程题（Spark、RDD、Hadoop）做题准备环境准备做题前需要安装好spark环境
原创
2022-03-28 17:14:46
1195阅读
大数据智能综合训练编程题（Spark、RDD、Hadoop）做题准备环境准备做题前需要安装好spark环境，以及python环境，当然有个Hadoop环境更好了，环境搭建参考链接：spark环境，hadoop集群搭建知识储备熟练掌握python基础语法及编程训练熟悉spark rdd编程了解Scala基础知识题目一：全校2018级学生名单分析1、使用RDD编程的方式，找到自己的那一行信息编写spark脚本from pyspark import SparkConf, SparkCo
原创
2021-07-22 09:56:24
392阅读
RDD的特性二 ： RDD的缓存一、RDD缓存的意义首先让我们来看一个小案例查看数据
原创
2022-08-12 10:16:06
191阅读
1.流批对比Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点.2.输入位置和输出位置和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream 是随时间推移而收到的数据的序列。在内
转载
2023-12-10 10:39:12
46阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本概念1.RDD的生成2.RDD的存储3.Dependency4.Transformation和Action4.1 Transformation操作可以分为如下几种类型：4.1.1 视RDD的元素为简单元素。4.1.2 视RDD的元素为Key-Value对:4.2 Action操作可以分为如下几种：5.shuffl
转载
2023-11-14 09:26:59
105阅读
一、键值对RDD的创建 1.从文件中加载 2.通过并行集合（数组）创建RDD 二、常用的键值对RDD转换操作 1.reduceByKey(func) 功能：使用func函数合并具有相同键的值 2.groupByKey() 功能：对具有相同键的值进行分组 3.keys 4.values 5.sortB
转载
2019-11-07 14:38:00
149阅读
2评论
一.RDD是什么 RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。 在spark的源码里面我们可以看到，rdd是被abstract所修饰的，他是一个抽象类，它代表一个不可变，可分区，里面的元素可并行计算的集合。 而在spark的工作流程中，RDD的主要作用是对数据进行结构的转换，在对RDD的方法源码中可以看到，方法传参
转载
2023-07-28 21:13:54
739阅读
RDD简介
在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed Dataset，RDD）。RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数
转载
2022-09-27 11:29:10
297阅读
RDD的特性 ---- RDD的checkpoint一、Checkpoint的作用Checkpooint的主要作用是斩直接通过赋值HDFS中的文件实现容
原创
2022-08-12 10:15:47
116阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
是什么 SparkSql 是Spark提供的 高级模块，用于处理结构化数据，开发人员可以使用HiveQL 和SQL语言 实现基于RDD的大数据分析， 底层基于RDD进行操作，是一种特殊的RDD，DataFrameRDD类型 1. 将SQL查询与Spark无缝混合，可以使用SQL或者Da
转载
2023-08-10 20:44:14
114阅读
文章目录pyspark读取数据参数介绍formatschemaloadtableoption读取文件jsoncsvparquet和orc读取数据表hivejdbc pyspark读取数据参数介绍formatDataFrameReader.format(source)指定不同格式来读取文件，例如以下为指定json格式读取数据：df = spark.read.format('json').load(
转载
2023-08-22 12:34:53
107阅读
窄依赖所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的Partition。另外一种是范围的依赖，RangeDependency，它仅仅被org.apache
转载
2023-06-11 15:26:05
137阅读
RDD（Resilient Distributed DataSets）弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象地代表对应一个HDFS上的文件，但是它实际上是被分区的，分为多个分区洒落在Spark集群中的不同节点上。1 RDD五大特性 （1）A list of partitions：RDD是由一组partiti
转载
2023-09-16 13:10:38
77阅读
