一、简介 1、什么是Spark 官网地址：://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用
转载
2019-04-03 14:59:00
105阅读
2评论
从今天开始我们进入数据仓库的查询引擎篇了，前面我们已经写了大量的文章介绍Hive,具体
原创
2022-12-10 07:45:32
164阅读
Spark初识 spark是一个快速的统一的引擎，基于内存的运算 spark有一个高级的DAG(有向无环图)引擎，支持循环的数据流和基于内存的计算 spark支持的开发语言Java\Scala\Python\R spark提供了80多种算子操作 在一个应用中可以无缝整合spark组件 spark可运
原创
2022-06-10 20:01:52
55阅读
Spark特点Spark是Apache的一个顶级项目，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要
原创
2018-04-09 17:35:15
3507阅读
点赞
（摘自xiaohu_bigdata） Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyc ...
转载
2021-07-16 22:01:00
116阅读
2评论
Spark SQL 初识今天我们们学习一下Spark 的最最核心的组件，也是Spark中代码量最大，社区花费大量精力的模块在实际工作中，使用频率最高的当属 Spark SQL，通常一个大数据处理项目中，70% 的数据处理任务都是由 Spark SQL 完成，它贯穿于数据预处理、数据转换和最后的数据分析。由于 SQL 的学习成本低、用户基数大、函数丰富，Spark SQL 也通常是使用 Spark 最方便的方式。此外，由于 SQL 包含了丰富的应用语义，所以 Catalyst 优化器带来的性能巨大提升也使
原创
2021-11-04 15:01:49
201阅读
Spark 初识从今天开始我们进入数据仓库的查询引擎篇了，前面我们已经写了大量的文章介绍Hive,具体你可以看hive 的专栏,而且关于工具这一块我们的重点就在hive 上，后面关于spark、presto、impala、clickHouse的介绍都不会像前面这样细了，因为我们的重点是在数仓建设的方法论上面
原创
2021-10-26 13:49:47
177阅读
SparkSql初识目录：一、SprkSQL是什么 1.数据分析的两种形式 2.命令式、SQL的区别 3.SparkSQL的诞生及其特点 4.SparkSQL的应用场景二、SparkSQL案例一、Sp
原创
2022-08-12 10:33:50
357阅读
《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算
原创
2021-06-10 18:18:18
215阅读
目录一、官网介绍 1、什么是Spark 二、Spark的四大特性 1、高效性
转载
2022-01-15 10:26:40
65阅读
《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算
原创
2021-06-10 21:03:05
472阅读
Spark学习入门初识 QQ：564740439目录一、官网介绍1、什么是Spark二、Spark的四大特性1、高效性2、易用性3、通用性4、兼容性三、Spark的组成四、应用场景一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新...
原创
2021-06-21 16:00:54
322阅读
目录SparkSpark的特点？Spark具备的能力spark与Hadoop的异同？Spark的应用场景Spark的生态系统spark的构架和
原创
2022-06-29 17:26:50
157阅读
Spark初识spark与hadoop的历史回顾Spark框架
原创
2022-08-12 10:25:27
81阅读
1.Spark Graph简介 GraphX 是 Spark 一个组件，专门用来表示图以及进行图的并行计算。GraphX 通过重新定义了图的抽象概念来拓展了 RDD： 定向多图，其属性附加到每个顶点和边。为了支持图计算， GraphX 公开了一系列基本运算符（比如：mapVertices、mapEd ...
转载
2021-05-13 22:51:08
149阅读
2评论
