959_1x的博客_Spark

Spark Sql_UDF_UDAF_Mysql_Hive

文章目录1.UDF2.UDAF3.Mysql数据源1.UDFobject Spark03 { def main(args: Array[String]): Unit = { val sparkC

mysql

spark

big data

ide

sql

原创 2022-09-04 00:00:12 266 阅读

Spark Structured Streaming - 1

Spark Structured Streaming 介绍和WC案例

spark

大数据

分布式

数据

sql

原创 2022-09-03 07:03:48 444 阅读

Spark Streaming - 1

Spark Streaming 简单介绍以及WC案例

spark

大数据

java

数据

离散化

原创 2022-08-28 00:50:20 164 阅读

Spark Core - RDD_Transfom_转换算子

RDD的算子:转换算子和行动算子1.单valuemap,mapPar,mapParIndex,flatMap,glom,groupBy,filter,sample,distinct,coalesce,r

Spark

RDD

spark

d3

数据

原创 2022-08-28 00:35:40 60 阅读

Spark Sql

Spark SQL简介Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame的编程抽象

Spark

Spark sql

RDD

DataFrame

DataSet

原创 2022-08-28 00:35:32 115 阅读

Spark Core - Shuffle过程详解

Shuffle洗牌Map阶段处理的数据如何传递给reduce阶段，shuffle在其中起到了很关键的作用，shuffle分布在MapReduce的map阶段和reduce阶段。Map

spark

大数据

数据

环形缓冲

原始数据

原创 2022-08-28 00:35:24 97 阅读

Spark Core - RDD_数据源与数据位置

RDD(弹性分布式数据集)是Spark的核心抽象。它是一组元素，在集群的节点之间进行分区，以便我们可以对其执行各种并行操作

java

spring cloud

架构

spark

并行操作

原创 2022-08-28 00:35:18 54 阅读

Spark GraphX_1

文章目录1.基本概念1.基本概念图（Graph）由顶点（Vertex）和边（Edge）组成图根

java

Spark

大数据

spark

持久化

原创 2022-08-28 00:16:34 140 阅读

Spark GraphX_2

文章目录1.PageRank2.Pregel1.PageRank历史上，PageRank算法作为计算互联网网机跳

java

大数据

OLAP

spark

迭代

原创 2022-08-28 00:16:24 71 阅读

Spark Core - Spark_rdd

文章目录1.RDD特点:2.RDD的 5大属性3.RDD的执行原理4.Spark的核心组件1.RD

Spark

大数据

spark

依赖关系

移动计算

原创 2022-08-28 00:12:14 176 阅读

Spark Streaming - 2

Spark Streaming Source/Transform/Sink/优雅关闭

spark

kafka

scala

linux

原创 2022-08-28 00:04:38 170 阅读

Shuffle过程详解

Shuffle洗牌Map阶段处理的数据如何传递给reduce阶段，shuffle在其中起到了很关键的作用，shuffle分布在MapReduce的map阶段和reduce阶段。

spark

大数据

数据

环形缓冲

原始数据

原创 2022-05-26 01:33:31 5549 阅读

RDD_Transfom_转换算子

RDD的算子:转换算子和行动算子1.单valuemap,mapPar,mapParIndex,flatMap,glom,groupBy,filter,sample,d

Spark

RDD

spark

d3

数据

原创 2022-05-26 01:33:22 170 阅读 1点赞 1收藏

RDD_数据源与数据位置

RDD(弹性分布式数据集)是Spark的核心抽象。它是一组元素，在集群的节点之间进行分区，以便我们可以

java

spring cloud

架构

spark

最小值

原创 2022-05-26 01:32:48 150 阅读

Spark架构与组件

Spark遵循主从架构。它的集群由一个主服务器和多个从服务器组成。Spark架构依赖于两个抽象：弹性分布式数据集(RDD)有向无环图(DAG)RDDRDD

spark

大数据

big data

计算逻辑

封装

原创 2022-05-26 00:46:37 371 阅读

Spark_Sql

Spark SQL简介Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame的编程抽象，并且可以充当分布式SQL查询引擎。

Spark

Spark sql

RDD

DataFrame

DataSet

原创 2022-05-26 00:46:30 179 阅读

Spark面试_1_基础

1.Spark 是什么？Spark 是一个通用分布式内存计算引擎。2009 年在加州大学伯克利分校 AMP 实验室诞生，2014 年 2 月，Spark 成为 Apache 的顶级项目。

spark

面试

scala

数据

sql

原创 2022-05-26 00:46:23 385 阅读

Spark Core_面试题

文章目录1.什么是 RDD ?2.RDD 的五大属性是啥3.说一些常用的 RDD 算子4.你知道 map 和 mapPartitions 有啥区别吗5.reduceByKey 和 groupByKey6

spark

big data

大数据

数据

数据集

原创 2022-05-26 00:46:15 215 阅读

Spark Streaming_面试题

文章目录1.什么是 Spark Streaming2.Spark Streaming 如何执行流式计算的?3.WordCount4. Spark Streaming 常用算子5.有状态转换算子6.Spark Streaming 如何实现精确一次消费

spark

big data

大数据

数据

kafka

原创 2022-05-26 00:46:05 649 阅读

Spark_rdd_1

文章目录1.RDD特点:2.RDD的 5大属性3.RDD的执行原理4.Spark的核心组件1.RDD特点:可变:存储的弹性容错的弹性计算的弹性分片的弹性RDD 代码中是一个抽象类

Spark

大数据

spark

移动计算

封装

原创 2022-05-26 00:46:02 116 阅读

Spark_GraphX_2

文章目录1.PageRank2.Pregel1.PageRank历史上，PageRank算法作为计算互联网网页重要度的算法被提出。PageRank是定义在网页集合上的一个函数，它对每个网页给出一个正实数

java

大数据

OLAP

spark

迭代

原创 2022-05-26 00:45:42 242 阅读

Spark_GraphX_1

文章目录1.基本概念1.基本概念图（Graph）由顶点（Vertex）和边（Edge）组成图根据边是否有方向，可以分为有向图和无向图有环图和无环图:

java

Spark

大数据

spark

持久化

原创 2022-05-26 00:45:31 176 阅读

SparkSql_UDF_UDAF_Mysql_Hive

文章目录1.UDF2.UDAF3.Mysql数据源1.UDFobject Spark03 { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("Sql").setMaster("local")

mysql

spark

big data

ide

sql

原创 2022-05-26 00:11:03 198 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

959