SQL Server从2012版本开始，引入了LEAD和LAG函数，这两个函数可以把之前要关联查询的方法，改为可直接获取当前数据上下相邻多少行数据，可以很方便的对上下相邻两行的数据进行加减乘除。今天我们就给大家介绍一下这两个函数的用法。LAG函数LAG的作用LAG 以当前行之前的给定物理偏移量来提供对行的访问。 在 SELECT 语句中使用此分析函数可将当前行中的值与先前行中的值进行比较
转载
2024-07-11 07:50:12
38阅读
Spark Day04：Spark Core 02-[了解]-今日课程内容提纲主要讲解RDD函数，分为2类：Transformation转换函数和Action触发函数RDD中函数： - 函数分类，不同类型函数功能 - 常见函数概述 - 5种类型RDD函数 实际项目中使用最多的，必须要掌握 - RDD 持久化函数 可以将RDD分布式集合数据进行缓存，比如缓存到Executor内存中
原创
2021-12-07 16:43:11
464阅读
Spark Day04：Spark Core02-[了解]-今日课程内容提纲主要讲解RDD函数，分为2类
原创
2022-01-18 10:07:30
84阅读
Spark Day10：Spark Streaming01-[了解]-昨日课程内容回顾 实战练习：以DMP广告行业背景为例，处理广告点击数据，分为2个方面【广告数据ETL转换和业务报表开发】，具体说明如下：【前提】：使用SparkSQL完成案例练习，进行代码编写1、广告数据ETL转换 JSON文本数据 -> DataFrame：提取IP地址，解析转换为省份和城市 -> 保存到Hive分区表中 数据源 文件系统（HDFS、LocalFS）文本文件数据：JSON格式
原创
2021-06-21 10:36:20
211阅读
Spark Day11：Spark Streaming01-[了解]-昨日课程内容回顾主要讲解：Spark Streaming 模块快速入门1、Streaming 流式计算概述 - Streaming 应用场景 实时报表RealTime Report 实时增量ETL 实时预警和监控 实时搜索推荐 等等 - 大数据架构：Lambda架构 离线分析，实时计算 分为三层： - 批处理层，BatchLayer - 速度层，SpeedLayer - 服务层
原创
2021-06-21 10:36:22
183阅读
Spark Day08：Spark SQL01-[了解]-昨日课程内容回顾上次课程主要讲解3个方面内容：SparkSQL模块概述、DataFrame数据集及综合案例分析。1、SparkSQL 模块概述 - 发展史【前世今生】 Shark -> SparkSQL（1.0） -> DataFrame(1.3) -> Dataset(1.6) -> Dataset/DataFrame(2.0) Spark2.0中SparkSQL模块 不仅可以处理离线数据（批处理
原创
2021-06-21 10:36:23
338阅读
Spark Day07：Spark SQL01-[了解]-昨日课程内容回顾主要讲解2个方面内容：Spark 调度内核和SparkSQL 快速体验。1、Spark 内核调度 讲解Spark框架如何对1个Job作业进行调度执行，将1个Job如何拆分为Task任务，放到Executor上执行。 【以大数据经典案例：词频统计WordCount】 - 每个Job是RDD Action函数触发，比如foreachPartition、saveAsTextFile、count等等 - 预备知识： R
原创
2021-06-21 10:36:25
539阅读
Spark Day04：Spark Core01-[了解]-昨日课程内容回顾讲解2个方面内容：spark on yarn和RDD弹性分布式数据集。1、Spark on YARN 将Spark 应用提交运行到Hadoop YARN集群上，实际企业中最常见运行模式，必须掌握 - Hadoop YARN集群架构 如何运行一个应用到YARN上流程 - spark on yarn 配置 四个方面 虚拟机集群，配置资源检查 - 启动服务和提交运行应用 4类服务：HDFS集群服务、YA
原创
2021-06-21 10:36:28
214阅读
Spark Day06：Spark Core01-[了解]-昨日课程内容回顾主要讲解三个方面内容：Sogou日志分析、外部数据源（HBase和MySQL）和共享变量。1、Sogou日志分析 以搜狗官方提供用户搜索查询日志为基础，使用SparkCore（RDD）业务分析 数据格式： 文本文件数据，每条数据就是用户搜索时点击网页日志数据 各个字段之间使用制表符分割 业务需求： - 搜索关键词统计，涉及知识点中文分词：HanLP - 用户搜索点击统计 - 搜索时间段统计 编
原创
2021-06-21 10:36:26
215阅读
Spark Day05：Spark Core01-[了解]-昨日课程内容回顾主要讲解：RDD函数，分为两类Transformation转换函数和Action触发函数。1、RDD函数类型 - 转换函数 当RDD调用转换函数，产生新的RDD lazy懒惰，不会立即执行 - 触发函数 当RDD调用Action函数，返回值不是RDD，要么没有返回值Unit，要么就是非RDD 立即执行 2、RDD 常用函数 - 基本函数使用 map、flatMap、filter、reduce
原创
2021-06-21 10:36:27
192阅读
spark dataframe基础函数和Action函数基础函数columnsdtypesinputFilesprintSchemarddschemawriteAction函数countforeachPartitionhead 和 firsttakeAsList spark dataframe–基础函数和Action函数基础函数说明 基础函数主要包括对dataframe的行列元数据的获取和操作
转载
2023-10-03 15:12:17
180阅读
点击关注上方“SQL数据库开发”，设为“置顶或星标”，第一时间送达干货SQL Server从2012版本开始，引入了LEAD和LAG函数，这两个函数可以把之前要关联查询的方法，改为可直接获取当前数据上下相邻多少行数据，可以很方便的对上下相邻两行的数据进行加减乘除。今天我们就给大家介绍一下这两个函数的用法。LAG函数LAG的作用LAG 以当前行之前的给定物理偏移量来提供对行的访问。 在 S
转载
2023-11-24 22:04:51
89阅读
Spark Day10：Spark Streaming01-[了解]-昨日课程内容回顾 实战练习：以DMP广告行业背景为例，处
推荐
原创
2021-12-01 13:56:18
2025阅读
点赞
Spark Day03：Spark 基础环境02-[了解]-今日课程内容提纲主要讲解2个方面
原创
2022-01-18 10:08:44
202阅读
Spark 基础环境预习视频： https://www.bilibili.com/video/BV1uT4y1F7ap Spark：基于Scala语言Flink：基于Java语言01-[了解]-Spark 课程安排总的来说分为Spark 基础环境、Spark 离线分析和Spark实时分析三个大的方面，如下图所示：目前在企业中使用最多Spark框架中模块
原创
2021-07-09 12:54:04
205阅读
Spark Day03：Spark 基础环境 02-[了解]-今日课程内容提纲主要讲解2个方面内容：Spark on YARN集群和RDD 是什么1、Spark on YARN 将Spark应用程序，提交运行到YARN集群上，企业中绝大多数运行模式，必须掌握 - 如何配置 - 提交应用运行 - Spark应用运行在集群上2种Deploy-Mode - yarn-client模式 -
原创
2021-12-07 16:46:14
292阅读
stypora-copy-images-to: img typora-root-url: ./
Spark Day01：Spark 基础环境预习视频： https://www.bilibili.com/video/BV1uT4y1F7apSpark：基于Scala语言Flink：基于Java语言
01-[了解]-Spark 课程安排总的来说分为Spark 基础环境、Spark 离线分析和Spa
原创
2022-03-04 18:36:25
81阅读
Spark Day11：Spark Streaming01-[了解]-昨日课程内容回顾主要讲解：Spark Streaming 模块快速入门1、Streaming
原创
2021-12-01 13:58:40
162阅读
Spark Day11：Spark Streaming01-[了解]-昨日课程内容回顾主要讲解：Spark
原创
2022-01-18 10:17:23
120阅读
Spark Day10：Spark Streaming01-[了解]-昨日课程内容回顾
原创
2022-01-18 10:18:31
291阅读
