1 Spark概述1.1 什么是Spark1、定义 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 2、历史 2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写。 2010年开源; 2013年6月成为Apache孵化项目 2014年2月成为Apache顶级项目。1.2 Spark内置模块Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错
转载
2023-10-18 21:18:11
109阅读
原文链接:https://blog.csdn.net/Myx74270512/article/details/128649850
第1章 Spark SQL概述
1.1什么是Spark SQL
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：==DataFrame和DataSet==，并且作为分布式SQL查询引擎的作用。
它是将Hive SQL转换成MapRedu
转载
2023-09-09 10:46:50
168阅读
点赞
1评论
大数据之sparkSQL
原创
2022-01-12 15:49:09
81阅读
官网http://spark.apache.org/docs/1.6.2/sql-programming-guide.html
val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.jso
转载
2019-06-12 19:45:00
174阅读
2评论
Querying Large Quantities of Data<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 越快剔除不需要的数据，查询的后续阶段必须处理的数据量就越少，自然查询的效率就越高，这听起来显而易见。集合操作符（set operat
在说Spark之前，笔者在这里向对Spark感兴趣的小伙伴们建议，想要了解、学习、使用好Spark，Spark的官网是一个很好的工具，几乎能满足你大部分需求。同时，建议学习一下scala语言，主要基于两点：1. Spark是scala语言编写的，要想学好Spark必须研读分析它的源码，当然其他技术也不例外；2. 用scala语言编写Spark程序相对于用Java更方便、简洁、开发效率更高（后续我会
转载
2024-06-21 16:13:09
46阅读
# Spark SQL 中的 GroupBy 操作效率分析
## 引言
在大数据处理场景中，我们常常需要对大量数据进行分组统计。Apache Spark 是一个强大的大数据处理框架，Spark SQL 允许通过 SQL 查询对 DataFrame 和 Dataset 进行分析。在我们进行数据分组（`groupBy`）时，效率往往是一个重要的考量因素。本文将探讨 Spark SQL 中的 `gr
文章目录一、组件版本二、问题描述三、问题分析四、解决办法 一、组件版本组件版本Hadoop3.0.0+cdh6.1.1Hive2.1.1+cdh6.1.1spark2.4.0+cdh6.1.1二、问题描述在 Spark 向 Hive分区表 写入数据时，抛出异常如下：org.apache.spark.SparkException: Requested partitioning does not ma
转载
2024-09-07 09:03:29
206阅读
1. 安装mysql
2. 上传、解压、重命名
2.1. 上传
在随便一台有hadoop环境的机器上上传安装文件
su - hadoop
rz –y
2.2. 解压
解压缩：apache-hive-1.0.1-bin.tar.gz
tar -zxvf apache-hive-1.0.1-bin.tar.gz
2.3. 重命名
mv apache-hive-1.0.1-bin hive
转载
2019-06-13 14:05:00
96阅读
2评论
1上传jar
2 加载驱动包
[root@mini1 bin]# ./spark-shell --master spark://mini1:7077 --jars mysql-connector-java-5.1.32.jar --driver-class-path mysql-connector-java-5.1.32.jar
create table dept(
dep
转载
2019-06-13 00:04:00
140阅读
2评论
、Scala开发IDE：IDEA和Eclipse。
开发系统：一般推荐Windows7 64位。
Eclipse开发
开发第一个Scala程序
第一步：修改依赖的Scala版本为Scala 2.10.x
Scala Library container: 2.10.6
第二步：
一、Spark简介1、Spark概述 Spark：由美国加州伯克利大学的AMP实验室于2009年开发，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 三大分布式计算系统开源项目：Hadoop、Spark、Storm。 Spark的特点： （1）运行速度块：使用DAG执行引擎以支持循环数据流与内存计算。 （2）容易使用：支持使用scala、Java、python和R语
转载
2023-08-04 17:47:55
269阅读
一、Spark是什么？快速且通用的集群计算平台二、Spark的特点：快速：Spark扩充流行的Mapreduce计算模型，是基于内存的计算通用：Spark的设计容纳了其它分布式系统拥有的功能，批处理、迭代式计算、交互查询和流处理等，降低了维护成本高度开放：Spark提供Python、Java、Scala、SQL的API和丰富的内置库，Spark和其它的大数据工作整合得很好，包括hadoop、Kaf
转载
2023-08-30 11:02:16
258阅读
大数据 Hive 管理界面中，备份与恢复的有效策略至关重要。这篇博文将详细讲述如何设计一个全面的备份策略、恢复流程、应对灾难场景的预案、工具链的集成、验证方法以及监控告警。我将逐步阐述每个部分的重要性并提供相关的代码和图示。
### 备份策略
为了确保 Hive 数据的安全，我们首先需要明确定义备份策略。以下是我们备份的思维导图，展示了备份策略的核心要素。这些包括每日全量备份、每小时增量备份及
有赞技术 有赞coder作者：胡加华团队：大数据团队一、前言在 2019 年 1 月份的时候，我们发表过一篇博客 SparkSQL在有赞大数据的实践，里面讲述我们在 Spark 里所做的一些优化和任务迁移相关的内容。本文会接着上次的话题继续讲一下我们之后在 SparkSQL 上所做的一些改进，以及如何做到 SparkSQL 占比提升到 91% 以上，最后也分享一些在 Spark 踩过的坑和经验希
原创
2021-05-02 15:39:36
299阅读
2015年前后，互联网行业中的“ 大数据” 概念掀起一股热潮。而Apache Spark作为类Hadoop MapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人员的青睐。Spark的框架使用Scala编写 （注：Scala是一种运行在Java虚拟机上，实现和Java类库互联互通的面向对象及函数式编程语言） ， 而Spar
转载
2023-10-20 22:08:28
30阅读
俗话说的好：工欲善其事，必先利其器!一款好的工具可以让你事半功倍，尤其是在大数据时代，更需要强有力的工具通过使数据有意义的方式实现数据可视化，还有数据的可交互性;我们还需要跨学科的团队，而不是单个数据科学家、设计师或数据分析员;我们更需要重新思考我们所知道的数据可视化，图表和图形还只能在一个或两个维度上传递信息， 那么他们怎样才能与其他维度融合到一起深入挖掘大数据呢?此时就需要倚仗大数据可视化(B
转载
2024-01-31 22:27:33
28阅读
数据倾斜是一种很常见的问题（依据二八定律），简单来说，比方WordCount中某个Key对应的数据量非常大的话，就会产生数据倾斜，导致两个后果：OOM（单或少数的节点）；拖慢整个Job执行时间（其他已经完成的节点都在等这个还在做的节点）数据倾斜主要分为两类: 聚合倾斜 和 join倾斜聚合倾斜双重聚合（局部聚合+全局聚合）场景: 对RDD进行reduceByKey等聚合类shuffle算子，Spa
转载
2023-09-11 22:44:32
106阅读
本文来自 网易云社区 。 Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。 Join背景介绍 Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-wher
转载
2018-06-01 14:32:00
62阅读
2评论
转载
2018-11-21 10:41:00
51阅读
2评论
