spark dataframe基础函数和Action函数基础函数columnsdtypesinputFilesprintSchemarddschemawriteAction函数countforeachPartitionhead 和 firsttakeAsList spark dataframe–基础函数和Action函数基础函数说明 基础函数主要包括对dataframe的行列元数据的获取和操作
转载
2023-10-03 15:12:17
180阅读
点击关注上方“SQL数据库开发”，设为“置顶或星标”，第一时间送达干货SQL Server从2012版本开始，引入了LEAD和LAG函数，这两个函数可以把之前要关联查询的方法，改为可直接获取当前数据上下相邻多少行数据，可以很方便的对上下相邻两行的数据进行加减乘除。今天我们就给大家介绍一下这两个函数的用法。LAG函数LAG的作用LAG 以当前行之前的给定物理偏移量来提供对行的访问。 在 S
转载
2023-11-24 22:04:51
89阅读
Hive｜Spark 函数详解基本比较运算函数=、==!!=、<><=><、<=>、>=特殊比较运算函数BETWEENIS [NOT] NULLINANDANYassert_truebool_and基本数学运算函数+-/*类型转换相关函数bigint - 转换为 bigint 类型binary - 转换为 binary 类型bin常用的数学函数ab
转载
2023-05-24 09:51:49
256阅读
定义不带参数也不带返回值的函数（def :定义函数的关键字 printz:方法名称） scala> def printz = print("scala hello")
定义带参数也带返回值的函数（这种函数在定义时也可以不带返回值的类型，scala会自动推算出。建议还是带上）
scala> def minNu
转载
2024-06-06 14:00:02
28阅读
（1）进入spark ./bin/spark-shell （2）创建RDD val rdd=sc.parallelize(Array(1,2,3,4,5,6,8)) 或者 val rdd1=sc.makeRDD(Array(1,2,3,4,5,6,8)) （3）map实例1. 作用：返回一个新的RDD，该RDD由每一个输入元素经过func函
转载
2024-06-28 10:06:00
36阅读
聚合函数分为两类，一种是spark内置的常用聚合函数，一种是用户自定义聚合函数UDAF不带类型的UDAF【较常用】继承UserDefinedAggregateFunction定义输入数据的schema定义缓存的数据结构聚合函数返回值的数据类型定义聚合函数的幂等性，一般为true初始化缓存更新缓存合并缓存计算结果import org.apache.spark.{SparkConf, SparkCon
转载
2023-08-07 21:52:57
199阅读
例子：将原始类型转处理布尔类型换为Spark 类型，使用 lit 函数 函数：lit() 用例：lit 函数：把其他语言的类型转换为与其相对应的Spark表示// lit 函数：把其他语言的类型转换为与其相对应的Spark表示
df.select(lit(5),lit("five"),lit(5.0)).show()处理布尔类型例子：布尔语句由四个要素组成：and,or,true 和 fa
转载
2023-10-19 12:01:40
895阅读
本人菜鸡一只，正在努力学习提升自己，在工作中遇到了这个问题，因此记录下来！ 前言：提到窗口函数，我会第一个想起ROW_NUMBER()这个函数，实际上他还有两个兄弟，他们三个的区别这里稍微说下（因为我主要不是来介绍他们三个的）以下三个函数相同点：新增一列，根据一定规则将数据分区然后按照一定规则排序三个函数的不同点：ROW_NUMBER() ：当有重复数据的时候，字段按照顺序会一直往下RA
转载
2024-02-04 21:42:10
144阅读
Spark 基本函数学习笔记一¶
spark的函数主要分两类，Transformations和Actions。Transformations为一些数据转换类函数，actions为一些行动类函数：转换：转换的返回值是一个新的RDD集合，而不是单个值。调用一个变换方法， 不会有任何求值计算，它只获取一个RDD作为参数，然后返回一个新的RDD。行动：行动操
转载
2023-12-25 21:20:48
44阅读
1. RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1) map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a = sc.parallelize(1 to 9, 3)
scala>
转载
2023-08-09 20:36:47
48阅读
在spark里操作和函数是两个东西。操作分为转化操作和行动操作两种，区别是：转化操作：返回一个新的RDD，惰性求值行动操作：向驱动器程序(driver)返回结果，或者把结果写入外部系统，触发实际计算函数是用在转化操作内的，用来自己定义具体怎么转化的，详见第3小节。1、针对各个元素的转化操作 基本RDD
函数名目的注意filter（Func）找满足条件的返回使用的Function一定是Boo
转载
2023-11-29 06:53:14
89阅读
Spark SQL函数定义5.1 如何使用窗口函数回顾:窗口函数格式:
分析函数 over(partition by xxx order by xxx [asc|desc] [rows between xxx and xxx])
学习的相关分析函数有那些?
第一类: row_number() rank() dense_rank() ntile()
第二类: 和聚合函数组合使用 sum(
转载
2023-05-22 10:03:04
464阅读
Spark之RDD函数RDD 函数分类RDD 的操作主要可以分为 Transformation 和 Action 两种。
Transformation 转换，将1个RDD转换为另一个RDD
Action 触发，当1个RDD调用函数以后，触发一个Job执行（调用Action函数以后，返回值不是RDD） RDD中2种类型操作函数：Transformation（lazy）和Action（eager）函数
转载
2023-09-07 17:36:08
105阅读
一.内置函数聚合函数：count()，countDistinct()，avg()，max()，min()
集合函数：sort_array、explode
日期，时间函数：hour、quarter、next_day
数学函数：asin、atan、sqrt、tan、round
开窗函数：row_number
字符串函数：concat、format_number、regexp_extract
其他函数:
转载
2023-06-15 19:40:03
380阅读
RDD创建RDD：弹性分布式数据集。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。而在这一切背后，Spark 会自动将 RDD 中的数据分发到集群上，并将操作并行化执行。可以使用两种方法创建 RDD:读取一个外部数据集，val lines = sc.textFile("/path/to/README.md")在驱动器程序里分发驱动器程序中
转载
2023-08-09 20:42:47
154阅读
函数原型 def coalesce(numPartitions: Int, shuffle: Boolean = false)
(implicit ord: Ordering[T] = null): RDD[T] 返回一个新的RDD，且该RDD的分区个数等于numPartitions个数。如果shuffle设置为true，则会进行shuffle。 实例/**
* Us
转载
2023-05-23 13:25:26
98阅读
今天在写一个统计用户信息的程序时出现了bug，导致统计结果与真实值有很大差距。经过仔细检查，我发现是错误地使用split函数导致的。看来还是对scala中的split函数的理解不够透彻。本篇博文将详细解释scala中String.split的参数及用法。 因为scala中的String复用了Java的String，因此这也是Java中String.split的用法。split函数主要有两种参
转载
2023-11-28 13:56:14
111阅读
1 功能Lag和Lead函数可以在一次查询中取出同一字段的前N行的数据和后N行的值2 语法lag(col, offset=1, default=None)col 被对比的字段offset 偏移量default 默认值3 不多说，直接上案例session_window = Window.partitionBy("user_id", "sponsor_id").orderBy(functions.co
转载
2023-05-22 15:35:05
113阅读
RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记
Scala条件运算符Scala条件运算符在下表中列出。运算符操作描述&&与运算符左侧和右侧的值为true。仅当左侧为真时，右侧才被计算。||或左侧或右侧的至少一个值为true。仅当左边为假时才计算右侧。>大于左侧的值大于右侧的值。>=大于或等于左侧的值大于或等于右侧的值。<少于左侧的值小于右侧的值。<=小于或等于左侧的值小于或等于右侧的值。==等于左侧的值与
转载
2023-07-17 23:17:20
109阅读
