02_spark_sql
原创
2020-10-18 17:33:46
345阅读
spark sql加载txt文件02加载映射#方法2需要复制这三行import findsparkfindspark.init()im
原创
2022-07-18 14:57:01
103阅读
在前面的内容，我们针对于RpcEndpoint启动以及RpcEndpoint消息处理机制进行了详细的介绍，在我们的大脑里，基本上可以构建Spark各节点的模样。接下来的章节将会从Spark如何从业务代码分解为Spark的任务，并最终调度这些任务进行详细的介绍。
经典SQL语句大全 一、基础 1、说明：创建数据库CREATE DATABASE database-name 2、说明：删除数据库drop database dbname3、说明：备份sql server 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice ' ...
转载
2021-07-26 23:14:00
68阅读
2评论
http://jerryshao.me/http://yanbohappy.sinaapp.com/http://www.ylzx8.cn/zonghe/open-source/250615.htmlhttps://github.com/akka/akkahttp://code.alibabatech.com/blog/dev_related_1279/simple-introduction-on
转载
精选
2014-10-23 07:25:02
312阅读
Action算子 Action function 解释 reduce((T,T)=>U) 对整个结果集规约, 最终生成一条数据, 是整个数据集的汇总 count() 返回元素个数 collect() 以数组形式返回数据集中所有元素 first() 返回第一个元素 take(N) 返回前N个元素 co
原创
2021-07-20 09:33:24
74阅读
1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。2、spar...
原创
2019-04-11 09:27:35
89阅读
数据读写 DataFrameReader 组件解释 schema 结构信息, 因为 Dataset 是有结构的, 所以在读取数据的时候, 就需要有 Schema 信息, 有可能是从外部数据源获取的, 也有可能是指定的 option 连接外部数据源的参数, 例如 JDBC 的 URL, 或者读取 CS
原创
2021-07-20 09:33:20
140阅读
sql 被保存在 share pool 后, 开始解析, 解析包括语句的语法, 检验及对象, 以确认该用于是否有该对象的权限, 如果这些都通过了, 接下来就要看这个语句之前是否被执行过, 如果是, oracle 将取回之前解析的信息并重用, 这就是软解析, 如果没有被执行过, 那么oracle就将执...
转载
2014-04-10 16:27:00
86阅读
2评论
1.规划 三台服务器 s101 //master(进程) s102 ~ s104 //worker(进程) 2.在每个主机上分别安装spark 3.配置spark(每个节点进行相同操作) 3.1)在spark的conf目录下创建hadoop的core-site.xml和hdfs-site.xml软连 ...
转载
2021-08-11 20:03:00
329阅读
2评论
Spark Day03：Spark 基础环境02-[了解]-今日课程内容提纲主要讲解2个方面
原创
2022-01-18 10:08:44
192阅读
Spark Day03：Spark 基础环境 02-[了解]-今日课程内容提纲主要讲解2个方面内容：Spark on YARN集群和RDD 是什么1、Spark on YARN 将Spark应用程序，提交运行到YARN集群上，企业中绝大多数运行模式，必须掌握 - 如何配置 - 提交应用运行 - Spark应用运行在集群上2种Deploy-Mode - yarn-client模式 -
原创
2021-12-07 16:46:14
292阅读
Spark Day02：Spark 基础环境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次课程内容回顾主要讲解2个方面的内容：Spark 框架概述和
推荐
原创
2021-06-21 10:36:31
1016阅读
文章目录1. 什么是 Spark SQL2. 特点3. 为什么要学习Spark SQL4. 核心的概念：表（DataFrame 或 Dataset）1. 什么是 Spark SQLSpark
spark的shuffle和原理分析1 、概述Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。
在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以
转载
2023-08-02 07:48:43
58阅读
1、Shuffle概念shuffle是spark中数据重分发的一种机制，以便于在跨分区进行数据的分组。 shuffle通常会引起executor与节点之间的数据复制，这期间会有大量的网络I/O,磁盘I/O和数据的序列化。这使得shuffle操作十分地复杂和昂贵。 在shuffle内部，单个map tasks的结果被保存在内存中，直到放不下为止。然后，根据目标分区对它们进行排序，并将它们写入单个文件
转载
2023-07-07 23:29:06
128阅读
一、简介
Spark SQL是Spark中处理结构化数据的模块。与的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最
转载
2023-09-05 09:59:37
150阅读
spark SQL的DataFrame的操作以及和RDD的转换相关概念：
spark的核心是RDD，它是弹性分布式数据集，对应着一
转载
2023-06-19 16:58:57
75阅读
一、Spark.Sql简介Spark.sql是Spark四大组件之一，是Spark数据处理中用的最多的组件。SparkSQL在SparkCore的基础上对外提供了SQL接口，可以让熟悉SQL的技术人员快速上手。其编程入口为SparkSession。.SparkSQL所有的内容位于pyspark.sql这个模块下，包含了SparkSession、Column、Row等众多的核心内容。SparkSQL
转载
2023-06-19 16:33:50
215阅读
一、认识Spark sql1、什么是Sparksql?spark sql是spark的一个模块，主要用于进行结构化数据的处理，它提供的最核心抽象就是DataFrame。2、SparkSQL的作用？提供一个编程抽象（DataFrame），并且作为分布式SQL查询引擎DataFrame：它可以根据很多源进行构建，包括：结构化的数据文件、hive中的表，外部的关系型数据库、以及RDD3、运行原理将Spa
转载
2023-07-18 22:29:52
93阅读
