Overview (概述)Spark SQL is a Spark module for structured data processing. It provides a programming abstraction called DataFrames and can also act as distributed SQL query engine. Spark SQL can also b
转载
2024-07-23 10:24:18
13阅读
一、概述DataFrames的内置函数提供了常见的聚合函数，比如count(), countDistinct(), avg(), max(), min()等，但是这些函数是为DataFrames而设计的，Spark SQL也有适用于强类型的Datasets的类型安全的函数。此外，用户也可以自定义聚合函数。自定义聚合函数有两种类型，一种是无类型的自定义聚合函数(适用于DataFrame)，另一种是安
转载
2024-04-02 20:04:11
8阅读
第五章 Spark-SQL进阶（三）3.SQL函数3.1内置函数3.1.1数学函数3.1.2集合函数3.1.3类型转换函数3.1.4日期函数3.1.5条件函数3.1.6字符函数3.1.7聚合函数3.1.8表生成函数3.1.9窗口函数1.函数分类2.通用格式3.编程格式3.2UDF3.3UDAF4.Catalog对象 3.SQL函数3.1内置函数3.1.1数学函数*返回类型**姓名（签名）**描述
一、UDF package com.zgm.sc.day14
import org.apache.spark.sql.SparkSession
/**
* 用udf实现字符串拼接
*/
object UDFDemo1 {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.
转载
2024-03-11 07:29:06
105阅读
XY个人记SparkSQL的函数HIve支持的函数，SparkSQL基本都是支持的，SparkSQL支持两种自定义函数，分别是：UDF和UDAF，两种函数都是通过SparkSession的udf属性进行函数的注册使用的；SparkSQL不支持UDTF函数的 自定义使用。☆ UDF：一条数据输入，一条数据输出，一对一的函数，即普通函数☆ UDAF：多条数据输入，一条数据输出，多对一的函数，即聚合函数
转载
2023-09-08 09:28:33
124阅读
1 SparkSQL 定义UDF函数目前在SparkSQL中，仅仅支持UDF和UDAF函数，python仅支持UDF。1.1 定义方式定义方式有两种：sparksession.udf.register() 注册的UDF可以用于DSL和SQL，返回值用于DSL风格，传参内的名字用于SQL风格。udf对象 = sparksession.udf.register(参数1，参数2，参数3）参数1：UDF名
转载
2023-06-19 17:30:05
103阅读
一、简介
Spark SQL是Spark中处理结构化数据的模块。与的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最
转载
2023-09-05 09:59:37
209阅读
1.1. hive基本思想Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.2. 为什么使用HiveØ 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 Ø 为什么要使用Hive 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写Map
转载
2023-08-22 14:20:27
106阅读
前言这一篇来介绍Spark3.0版本中Spark Sql新增的重要特性AQEAQE全称Adaptive Query Execution，在3.0版本中主要包含以下三个功能（1）Dynamically coalescing shuffle partitions（2）Dynamically switching join strategies（3）Dynamically optimizing skew
转载
2023-07-31 20:23:13
266阅读
目录SQL on HadoopSpark SQL 前身Spark SQL架构Spark SQL运行原理Spark SQL APIDataSetDataSet创建使用Case Class 创建DataSetRDD->DataSetDataFrame创建DataFrameRDD->DataFrameDataFrame->RDDSpark SQL操作外部数据源 SQL on Hado
转载
2023-09-04 23:43:27
73阅读
一、Spark SQL的发展1、spark SQL和shark Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop
转载
2023-08-23 20:01:38
78阅读
1. Spark SQL基本概念1.1 了解什么是Spark SQL什么是结构化数据:Spark SQL是Spark多种组件中其中一个, 主要是用于处理大规模的结构化数据一份数据集, 每一行都是有固定的列, 每一列的类型都是一致的, 我们将这种数据集称为结构化的数据例如: MySQL表数据1 张三 202 李四 183 王五 21Spark SQL的特点:1- 融合性: 既可以使用标准SQL语言
转载
2023-08-22 20:49:53
89阅读
Spark SQL简介Spark SQL是Spark处理数据的一个模块，跟基本的Spark RDD的API不同，Spark SQL中提供的接口将会提供给Spark更多关于结构化数据和计算的信息。Spark SQL is not about SQL Spark SQL is about more than SQL 从严格意义上来说sparkSQL不仅仅是SQL，更加准确的来说，他是超乎SQL的作用。
转载
2024-07-10 20:12:30
42阅读
目录sparkSQL概述sparkSQLsparkSQL特点DataFrameDataSet sparkSQL概述sparkSQL定义：sparkSQL是spark用于结构化数据处理的spark模块。优势：（1）数据兼容：SparkSQL不但兼容Hive，还可以从RDD、parquet文件、JSON文件中获取数据，未来版本甚至支持获取RDBMS数据以及cassandra等NOSQL数据；
转载
2023-08-11 22:27:40
82阅读
Spark 1.5.x版本引入的内置函数在Spark 1.5.x版本，增加了一系列内置函数到DataFrame API中，并且实现了code-generation的优化。与普通的函数不同，DataFrame的函数并不会执行后立即返回一个结果值，而是返回一个Column对象，用于在并行作业中进行求值。Column可以用在DataFrame的操作之中，比如select，filter，groupBy等。
转载
2023-07-28 12:17:39
737阅读
目录前言DataFrame 创建DataFrame SQL语法DSL语法RDD转换为DataFrameDataFrame转换为RDDDataSet创建DataSetRDD转换为DataSetDataSet转换为RDDDataSet和DataFrame的转换RDD、DataFrame、DataSet之间的关系相同点区别点相互转换sparkSQL-IDEA编程添加依赖RDD<
转载
2023-08-01 14:20:13
162阅读
用time模块的strftime函数时间日期的格式化时间import timeprint(time.strftime('%y/%m/%d %H:%M:%S %A'))格式化符号说明格式化符号说明格式化符号说明%Y年(2019)%B月(June)%A星期(Thursday)%y年(19)%b月(Jun)%a星期(Thu)%I时(02)%m月(06)%w星期(4)(0~6)(0是周日)%H时(14)%
转载
2023-06-21 22:55:56
138阅读
# Spark SQL Pivot函数实现
## 简介
在Spark SQL中，Pivot函数可以将行数据转换为列数据，实现数据的透视。如果你是一位刚入行的小白，不知道如何使用Spark SQL的Pivot函数，本文将为你介绍如何实现Pivot函数。
## 流程
下表展示了实现Spark SQL Pivot函数的整个流程：
| 步骤 | 描述 |
|----|----|
| 1. | 创建S
原创
2023-10-18 11:48:29
400阅读
# Spark SQL 常用函数科普
Apache Spark 是一种开源的大数据处理框架，提供了强大的分布式计算功能。Spark SQL 是 Spark 中用于操作结构化数据的模块，它提供了许多常用的函数来进行数据处理和分析。本文将介绍一些 Spark SQL 中常用的函数，并给出相应的代码示例。
## 常用函数介绍
以下是一些 Spark SQL 中常用的函数：
1. `select`
原创
2024-03-28 04:12:53
83阅读
# Spark SQL Strip函数实现指南
## 1. 概述
在本文中，我将向你介绍如何在Spark SQL中使用Strip函数。Strip函数用于去除字符串两端的空格，并返回新的字符串。我将按照以下步骤逐步指导你完成操作。
## 2. Strip函数的使用流程
```mermaid
journey
title Strip函数使用流程
section 准备工作
s
原创
2023-10-02 09:35:04
454阅读
