学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map ...
转载
2021-04-23 17:23:00
90阅读
2评论
06 RDD编程 学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filt ...
转载
2021-04-23 21:12:00
70阅读
2评论
总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map().countByValue() //map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分 ...
转载
2021-04-23 17:27:00
101阅读
2评论
1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter()
转载
2021-03-28 08:42:05
236阅读
2评论
RDD（弹性分布式数据集）RDD是Spark中最基本的数据抽象，其实就是分布式的元素集合。RDD有三
原创
2023-02-17 09:16:59
241阅读
本文介绍了Apache Spark。它讨论了什么是Spark，如何获取Spark以及如何运行Spark。Apache Spark是一个用于大规模数据处理的统一分析引擎。它提供了Java、Scala、Python和R的高级API，以及支持通用执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括用于SQL和结构化数据处理的Spark SQL、用于pandas工作负载的pandas API on Spark、用于机器学习的MLlib、用于图处理的GraphX以及用于增量计算和流处理的Structured Streaming。您可以从项目网站下载Spark。下载包适用于少数流行的Hadoop版本。您还可以下载“Hadoop free”二进制文件，并通过增强Spark的类路径来运行Spark与任何Hadoop版本。Scala和Java用户可以使用其Maven坐标将Spark包含在他们的项目中，而Python用户可以从PyPI安装Spark。
原创
2024-10-18 10:39:31
58阅读
x
转载
2022-11-03 14:31:27
57阅读
1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性就是提供
原创
2019-09-21 22:15:02
2237阅读
java基础06 变量 变量是什么：就是可以变化的量！ Java是一种强类型语言，每个变量都必须声明其类型。 Java变量是程序中最基本的存储单元，其要素包括变量名，变量类型和作用域。 type varname [=value] [{,varName[=value]}];//数据类型。变量名 = 值 ...
转载
2021-09-14 22:51:00
54阅读
2评论
Java基础面 什么是jvm jre jdk? JVM是Java Virtual Machine（Java虚拟机）的缩写，它是整个Java实现跨平台的最核心的部分，所有的java程序会首 先被编译为.class的类文件，这种类文件可以在虚拟机上执行，JVM的主要工作是解释自己的指令集 （即字节码）到 ...
转载
2021-09-14 10:52:00
62阅读
2评论
异常 什么是异常 指程序运行中出现的不期而至的各种状况，如：文件找不到、网络连接失败、非法参数等 分类 检查型异常 运行时异常 由程序逻辑错误引起，应从逻辑角度尽可能避免这类异常发生 数组下标越界异常 空指针异常 算术异常 .... 错误ERROR Error类对象由java虚拟机生成并抛出 ERR ...
转载
2021-08-01 20:01:00
47阅读
2评论
使用parallelize创建RDD 也 可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过 .textFile 可以通过文件读取项目路径 和 hdfs 文件路径*makeRDD 和 parallelize 第二个参数为处理的并行度数量不给定时，默认值为 通过conf.getInt("spark.default
原创
2019-09-21 22:13:15
1102阅读
转载
2021-03-27 10:43:45
297阅读
2评论
1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter()
转载
2021-03-27 10:12:19
121阅读
2评论
下面是Pair RDD的API讲解 下面有两段示例代码，注意下面示例代码中返回值的数据类型
原创
2022-06-01 05:14:31
115阅读
# PySpark RDD基础统计操作
在PySpark中，RDD（弹性分布式数据集）是一种基本的数据结构，可以进行各种操作来进行数据分析和处理。在数据分析中，基础统计操作是非常重要的，可以帮助我们了解数据的分布情况和特征。本文将介绍如何使用PySpark进行基础的统计操作，包括计数、求和、平均值等。
## PySpark RDD基础统计操作示例
首先，我们需要创建一个SparkSessio
原创
2024-06-26 06:15:19
50阅读
---------------------本节内容：· Spark转换 RDD操作实例· Spark行动 RDD操作实例· 参考资料--------------------- 关于学习编程方式的，每个人都有自己的方式。对我个人来说，最好的方法还是多动手写demo，要多写代码，才能理解的更加深刻，本节以例子的形式讲解各个Spark RDD的使用方法和注意事项，本文一共讲解了20个RDD的使用dem
转载
2017-05-05 23:18:00
69阅读
2评论
Java基础06 组合
欢迎转载，谢谢！ 我们已经尝试去定义类。定义类，就是新建了一种类型(type)。有了类，我们接着构造相应类型的对象。更进一步，每个类型还应该有一个清晰的接口(interface)，供用户使用。我们可以在一个新类的定义中使用其他对象。这就是组合(composition)。组合是在Java中实现程序复用(reusibility)的基本手段之一。 组
原创
2022-08-11 14:36:28
48阅读
1.sublime多行编辑：shift+鼠标右键下拉2.list-style：none ； 作用就是去li前的小点3.最新文章练习总结： *{margin：0；padding：0 }的重要性 li标签中嵌套a标签，设置字体要在li选择器中设置4.alt+放大镜：缩小二、补充 1 行高是可以继承的，如下123123会
原创
2021-08-02 15:19:24
150阅读
数组是存储多个变量(元素)的东西(容器),这多个变量的数据类型要一致数组概念数组是存储同一种数据类型多个元素的容器。数组既可以存储基本数据类型，也可以存储引用数据类型。数组的定义格式格式1：数据类型[] 数组名; 格式2：数据类型 数组名[];注意：这两种定义做完了，数组中是没有元素值的.举例:int[] arr; 定义一个int类型的数组,数组名是arr(推荐)int arr[];定义了一
原创
2021-05-31 23:15:49
806阅读
