在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。 我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。1）灵活性高相比sqoop和HSQL，spark可以更灵活的控制过滤和裁剪逻辑，甚至你可以通过外部的配置或者参
转载
2023-08-07 20:00:27
151阅读
目录一、SparkSQL 是什么 ?二、Hive and SparkSQL三、SparkSQL 特点四、DataFrame 是什么?五、DataSet 是什么 ? 一、SparkSQL 是什么 ? Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。二、Hive and SparkSQLSparkSQL 的前身是 Shark，给熟悉 RD
转载
2023-09-25 10:44:49
521阅读
一、sparkcore的复习一. spark的简介
1. spark是scala语言编写的一个计算框架
2. spark是一个快速的，通用的，运行在分布式上的一个大数据集的计算分析框架
3. 快速的原因就是因为spark处理的数据是基于内存存储的（与MR相比的非常重要的区别）
4. spark的组件包括：
sparkcore(提供了RDD的通用编程模型),
sparksql(交互式
转载
2023-12-01 11:39:49
44阅读
Spark SQLSpark SQL和我们之前讲Hive的时候说的hive on spark是不一样的。
hive on spark是表示把底层的mapreduce引擎替换为spark引擎。
而Spark SQL是Spark自己实现的一套SQL处理引擎。Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。DataFrame=R
转载
2023-08-08 07:23:49
117阅读
首先介绍一下Shark的概念 Shark简单的说就是Spark上的Hive，其底层依赖于Hive引擎的 但是在Spark平台上，Shark的解析速度是Hive的几多倍 它就是Hive在Spark上的体现，并且是升级版，一个强大的数据仓库，并且是兼容Hive语法的下面给出一张来自网上的Shark构架图从图上可以看出，Spark的最底层大部分还是基于HDFS的，Shark中的数据信息等也是对应着
一 Spark sql1. spark rddSpark整个生态群中，底层计算引擎是基于RDD的。这个也是为什么Spark计算性能比较快的原因。通常我们狭隘上理解的SparkRDD计算引擎，是指RDD底层生成DAG执行计划，基于DAG生成详细的excutor和更细粒度的多线程池模型来减少task启动开销。有如下特点：使用内存计算引擎，提供Cache缓存机制支持迭代计算或多次数据共享，减少数据读取的
转载
2023-10-09 12:49:35
309阅读
文章目录背景SQL on Hadoop框架介绍Spark SQL概述Spark SQL, DataFrames and Datasets 向导SQLDatasets and DataFrames面试题：RDD、DataFrame、Dataset的区别？入口点SparkSessionSpark SQL整合Hive以及性能对比使用spark-sql替换spark-shellcache 一个表到内存中
转载
2023-11-30 18:43:20
78阅读
【spark核心模块】【Spark Core 】 Spark 由 Scala 语言开发的，Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的。 SparkCore是Spark的基础，底层的最小数据单位是：RDD ; 主要是处理一些
转载
2023-10-22 08:25:35
141阅读
SparkSQL基本介绍什么是SparkSQL?用于处理结构化数据的Spark模块。可以通过DataFrame和DataSet处理数据。 SparkSQL特点1、易整合可以使用java、scala、python、R等语言的API操作。2、统一的数据访问连接到任何数据源的方式相同。3、兼容Hive4、标准的数据连接（JDBC/ODBC） SQL优缺点优点：表达非常清晰，难度低、易
转载
2023-11-14 22:41:29
543阅读
目录介绍特点SQL优缺点Hive和SparkSQLDataFrameDataSetRDD&DataFrame&DataSet的区别介绍Spark SQL是Spark用来处理结构化数据的一个模块。Spark SQL还提供了多种使用方式，包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎，因此你可以在不同的API之间
转载
2023-08-08 11:01:54
227阅读
一：Spark SQL与DataFrame1， Spark SQL之所以是除了Spark Core以外最大的和最受关注的组件，原因是：a) 处理一切存储介质和各种格式的数据（您同时可以方便的扩展Spark SQL的功能来支持更多类型的数据，例如Kudu）；b) Spark SQL把数据仓库的计算能力推向了新的高度，不仅是无敌的计算速度（Spark SQL比Shark快
转载
2023-11-19 18:40:25
94阅读
工作学习笔记首先复习了一下 Spark 简介Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark and Hadoop(Mapleduce )Hadoop的 Mapleduce 已经是不错的计算框架了，为什么还要学习新的计算框架Spark呢？首先明确 Spark 与 Hadoop中的MapReduce 是完全不同的计算引擎。两者各自存在的目的不尽相同。Had
转载
2023-12-27 16:16:38
44阅读
简介：基于内存的并行计算，Facebook推出的分布式SQL交互式查询引擎 多个节点管道式执行支持任意数据源 数据规模GB~PB 是一种Massively parallel processing（mpp）(大规模并行处理)模型数据规模PB 不是把PB数据放到内存，只是在计算中拿出一部分放在内存、计算、抛出、再拿为什么要用&优点&特点多数据源、支持SQL、扩展性（可以自己扩展新的co
转载
2023-11-19 12:50:44
138阅读
Big Data Management笔记04：SparkSQL和PySpark MLlibSpark SQLDataframeCreate DataframeDataframe OperationsMore on DataframesColumnar Storage（柱状存储）Dataframe and RDDSchemas in DataFramePlan Optimization &
转载
2023-10-28 12:51:24
202阅读
Spark基于内存的迭代计算框架，适合实时统计分析的计算需求 Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法特点： 1.速度快 2.通用性 3.容错性两类操作安装目前Apache Spark主要支持三种分布式部署方式：分别是standalone、
转载
2023-11-03 12:36:10
384阅读
Spark思维导图 一、Spark 基础篇1、Spark 是什么？Spark 是一个通用分布式内存计算引擎。2009 年在加州大学伯克利分校 AMP 实验室诞生，2014 年 2 月，Spark 成为 Apache 的顶级项目。2、Spark 有哪些特点？Spark 使用 Scala 语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集，具有以
今天的三个问题是：1.Spark1.0和2.0有什么区别？（真心不想重装2.0，但是没有办法啊）2.Spark RDD、DataFrame和DataSet的区别 ？（往期第33题写过一次，但没有解释清楚）3.如何选择RDD还是DataFrame/DataSet？话不多说，直接上干货，最后附上了原文参考文献，觉得有翻译不到位的地方可以看看原文，欢迎各位指出更正。首先，Spark RDD、D
转载
2023-10-17 10:54:19
172阅读
Spark SQL简介SparkSQL 的前身是 Shark, SparkSQL 产生的根本原因是其完全脱离了 Hive 的限制。(Shark 底层依赖于 Hive 的解析器, 查询优化器)
SparkSQL 支持查询原生的 RDD。能够在 scala/java 中写 SQL 语句。 支持简单的 SQL 语法检查, 能够在 Scala 中 写Hive 语句访问 Hive 数据, 并将结果取回作为R
转载
2024-05-20 22:56:41
53阅读
SparkSQL和Hive On Spark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。这是Spark官方Databricks的项目，Spark项目本身主推的SQL实现。Hive On Spark比SparkSQL稍晚。Hive原本是没有很好支持MapReduce之外的引擎的，而Hive On Tez项目让H
转载
2016-03-27 11:26:00
174阅读
2评论
# Hive on Spark 和 SparkSQL：大数据处理的双剑合璧
在大数据时代，Hadoop生态系统中涌现出了许多优秀的数据处理工具，其中Hive和Spark是两个非常重要的组件。Hive是一个数据仓库工具，用于对存储在Hadoop文件系统中的数据进行查询和管理；而Spark是一个大数据处理框架，以其快速和通用性著称。本文将介绍如何将Hive与Spark结合使用，以及使用SparkSQ
原创
2024-07-22 06:48:25
32阅读
