02_spark_sql
原创
2020-10-18 17:33:46
351阅读
spark sql加载txt文件02加载映射#方法2需要复制这三行import findsparkfindspark.init()im
原创
2022-07-18 14:57:01
111阅读
在前面的内容，我们针对于RpcEndpoint启动以及RpcEndpoint消息处理机制进行了详细的介绍，在我们的大脑里，基本上可以构建Spark各节点的模样。接下来的章节将会从Spark如何从业务代码分解为Spark的任务，并最终调度这些任务进行详细的介绍。
转载
2024-01-14 20:21:15
54阅读
sql 被保存在 share pool 后, 开始解析, 解析包括语句的语法, 检验及对象, 以确认该用于是否有该对象的权限, 如果这些都通过了, 接下来就要看这个语句之前是否被执行过, 如果是, oracle 将取回之前解析的信息并重用, 这就是软解析, 如果没有被执行过, 那么oracle就将执...
转载
2014-04-10 16:27:00
89阅读
2评论
数据读写 DataFrameReader 组件解释 schema 结构信息, 因为 Dataset 是有结构的, 所以在读取数据的时候, 就需要有 Schema 信息, 有可能是从外部数据源获取的, 也有可能是指定的 option 连接外部数据源的参数, 例如 JDBC 的 URL, 或者读取 CS
原创
2021-07-20 09:33:20
158阅读
Spark Day02：Spark 基础环境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次课程内容回顾主要讲解2个方面的内容：Spark 框架概述和
推荐
原创
2021-06-21 10:36:31
1087阅读
http://jerryshao.me/http://yanbohappy.sinaapp.com/http://www.ylzx8.cn/zonghe/open-source/250615.htmlhttps://github.com/akka/akkahttp://code.alibabatech.com/blog/dev_related_1279/simple-introduction-on
转载
精选
2014-10-23 07:25:02
335阅读
Action算子 Action function 解释 reduce((T,T)=>U) 对整个结果集规约, 最终生成一条数据, 是整个数据集的汇总 count() 返回元素个数 collect() 以数组形式返回数据集中所有元素 first() 返回第一个元素 take(N) 返回前N个元素 co
原创
2021-07-20 09:33:24
83阅读
1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。2、spar...
原创
2019-04-11 09:27:35
89阅读
之前已经对spark core做了较为深入的解读，在如今SQL大行其道的背景下，spark中的SQL不仅在离线batch处理中使用广泛，structured streamming的实现也严重依赖spark SQL。因此，接下来，会对spark SQL做一个较为深入的了解。本文首先介绍一下spark sql的整体流程，然后对这个流程之中涉及到的第一个步骤：SQL语法解析部分做一下较为深入
转载
2023-12-31 22:19:27
83阅读
Druid是Apache 下开源的一款存储与计算一体的olap查询引擎，spark则是纯计算引擎。Druid的数据存储在历史节点，通过broker节点查询，整体的查询流程是两阶段的聚合。数据分布在多个历史节点，查询时，第一阶段在各个历史节点并行计算，第二阶段，多个历史节点的数据汇聚到broker节点，做最后的聚合结算。架构上，broker存在单点瓶颈的风险。通常的意义的聚合，例如sum，max，m
转载
2023-10-05 08:46:46
70阅读
spark的定位是是替换掉hive和storm，企业里面hive百分之八十的命令都是通过hive－cli命令来调的，sparksql的作用等同于hive－cli。hive－cli是跑在mapreduce，sparksql是运行在spark上，通过sparksql --help可以看cli，比如指定内存，核数，以及执行cli的命令，他是完全仿造hive的。
转载
2023-06-02 10:46:27
484阅读
一、SparkSQL简介1、简介Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将
转载
2023-08-08 15:28:50
144阅读
一、UDF package com.zgm.sc.day14
import org.apache.spark.sql.SparkSession
/**
* 用udf实现字符串拼接
*/
object UDFDemo1 {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.
转载
2024-03-11 07:29:06
105阅读
SparkSQL是Spark生态系统中非常重要的组件。面向企业级服务时，SparkSQL存在易用性较差的问题，导致难满足日常的业务开发需求。本文将详细解读，如何通过构建SparkSQL服务器实现使用效率提升和使用门槛降低。前言Spark 组件由于其较好的容错与故障恢复机制，在企业的长时作业中使用的非常广泛，而SparkSQL又是使用Spark组件中最为常用的一种方式。相比直接使用编程式的方式操作S
转载
2023-09-03 11:34:14
84阅读
一、DataFrame的两种编程风格DSL语法风格
DSL称之为：领域特定语言其实就是指DataFrame的特有APIDSL风格意思就是以调用API的方式来处理Data比如：df.where().limit()SQL语法风格
SQL风格就是使用SQL语句处理DataFrame的数据比如：spark.sql(“SELECT * FROM xxx)二、DSL风格show方法：功能：展示Da
转载
2023-09-06 14:23:32
202阅读
XY个人记SparkSQL的函数HIve支持的函数，SparkSQL基本都是支持的，SparkSQL支持两种自定义函数，分别是：UDF和UDAF，两种函数都是通过SparkSession的udf属性进行函数的注册使用的；SparkSQL不支持UDTF函数的 自定义使用。☆ UDF：一条数据输入，一条数据输出，一对一的函数，即普通函数☆ UDAF：多条数据输入，一条数据输出，多对一的函数，即聚合函数
转载
2023-09-08 09:28:33
124阅读
Spark SQL一、Spark SQL基础 1、Spark SQL简介Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。http://spark.apache.org/sql/为什么要学习Spark SQL？我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了
转载
2023-06-19 14:49:40
435阅读
一、简介
Spark SQL是Spark中处理结构化数据的模块。与的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最
转载
2023-09-05 09:59:37
209阅读
文章目录1. 什么是 Spark SQL2. 特点3. 为什么要学习Spark SQL4. 核心的概念：表（DataFrame 或 Dataset）1. 什么是 Spark SQLSpark
原创
2024-04-22 10:58:52
26阅读
