文章目录RDD 清理策略缓存RDD方法本质: 将反复用到的数据存储到内存或其他存储介质中好处: 1. 容错,2.对于多次使用的RDD.缓存提高效率persist 与cache 本质上cache 是 persist 的简略版本RDD 清理策略1.4版本之前通过ttl设置过期时间,但是对于一直运行的spark程序是不合理的,1.4之后
原创
2022-02-10 10:32:17
214阅读
文章目录RDD 的初步了解数据存储分布式存储内存优先数据可靠性数据分析程序调度DriverJobstagetaskmasterworkerexecutorRDD 的初步了解数据存储RDD 是一种集合,用来存储和管理数据分布式存储分布式运算思想是 将大数据量数据分成多份,使用多台机器处理,待所有机器处理完毕汇总到同一台机器上
原创
2022-02-10 10:32:27
117阅读
文章目录RDD 清理策略缓存RDD方法本质: 将反复用到的数据存储到内
原创
2021-05-31 17:18:02
212阅读
文章目录RDD 的初步了解数据存储分布式存储内存优先数据可靠性数据分析程序调度DriverJobstagetaskmasterworkerexecutorRDD 的初步了解数据存储RDD 是一种集合,用来存储和管理数据分布式存储分布式运算思想是 将大数据量数
原创
2021-05-31 17:19:16
403阅读
文章目录
原创
2021-05-31 17:19:04
365阅读
文章目录
原创
2022-02-10 10:32:40
302阅读
文章目录宅依赖宽依赖以worldCount解析宽窄依赖宅依赖一个父RDD 对应一个子RDD 例如map ,filter多个父RDD 对应一个子RDD 利于union宽依赖一个父RDD对应一个子RDD例如groupByKey,父RDD中某个分区被子RDD多个分区依赖多个父RDD
原创
2021-05-31 17:17:49
257阅读
文章目录宅依赖宽依赖以worldCount解析宽窄依赖宅依赖一个父RDD 对应一个子RDD 例如map ,filter多个父RDD 对应一个子RDD 利于union宽依赖一个父RDD对应一个子RDD例如groupByKey,父RDD中某个分区被子RDD多个分区依赖多个父RDD对应一个子RDD宽依赖必定伴随着shuffle
原创
2022-02-10 10:31:24
73阅读
什么是SparkSpark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache的顶级项目，2014年5月发布spark1.0，2016年7月发布spark2.0，2020年6月18日发布spark3.0.0Spark的特点Speed：快速高效 Hadoop的MapReduc
转载
2023-08-31 14:07:57
277阅读
文章目录RDD 与DataFrame转换RDD 与dataSet 转换DataFrame 与 DataSet转换RDD 与DataFrame转换RDD 通过toDF函数转换 DataFrame val rddData1 = spark.sparkContext.parallelize(Array((
原创
2022-02-10 10:29:21
119阅读
文章目录RDD 与DataFrame转换RDD 与dataSet 转换DataFrame 与 DataSet转换RDD 与DataFrame转换RD
原创
2021-05-31 17:16:00
249阅读
Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上进行的复杂计算，Spark 依然比MapReduce 更加高效。总的来说，Spark 适用于各种各样
转载
2023-07-10 21:14:48
290阅读
本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.2节Spark Streaming，作者高彦杰 倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看3.2 Spark StreamingSpark Streaming是一个批处理的流式计算框架。它的核心执行引擎是Spark，适合处理实时数据与历史数据混合处理的场景，并保证容错性。下面将对Spark Streaming进行
转载
2023-10-10 14:57:19
142阅读
在前面几篇文章中，介绍了Spark的启动流程Spark内核架构流程深度剖析，Spark源码分析之DAGScheduler详解，Spark源码解读之Executor以及Task工作原理剖析，Spark源码解读之Executor以及Task工作原理剖析等Spark重要组件的源码剖析之后，接着之前的文章，本篇文章来剖析Shuffle的原理，shuffle阶段无论是mapreduce还是Spark都是其核
转载
2023-12-20 09:05:24
36阅读
一、Spark是什么引用官方文档的一句话Apache Spark™ is a unified analytics engine for large-scale data processing.Apache Spark™是用于大规模数据处理的统一分析引擎。可以从这句话拆分出几个关键点统一大数据分析引擎/计算引擎何为统一Spark的主要目标是为编写大数据应用程序提供统一的平台，其中包括统一计算引擎和统
文章目录原理CheckPoint与缓存区别原理由于单台机器资源原因,一些RDD缓存内部不现实,需要借助外部机器共同承担资源问题引入了checkPointCheckPoint与缓存区别缓存不会切断RDD的依赖链,如果持久化缓存失效,依赖链重新计算
原创
2021-05-31 17:18:21
286阅读
文章目录原理CheckPoint与缓存区别原理由于单台机器资源原因,一些RDD缓存内部不现实,需要借助外部机器共同承担资源问题引入了checkPointCheckPoint与缓存区别缓存不会切断RDD的依赖链,如果持久化缓存失效,依赖链重新计算恢复RDD中数据checkPoint
原创
2022-02-10 10:31:14
162阅读
概述 数据可视化是指将数据或信息表示为图形中的可视对象来传达数据或信息的技术，目标是清晰有效地向用户传达信息，以便用户可以轻松了解数据或信息中的复杂关系。用户可以通过图形中的可视对象直观地看到数据分析结果，从而更容易理解业务变化趋势或发现新的业务模式。数据可视化是数据分析中的一个重要步骤。本章
Spark高效数据分析04、RDD创建?前言?红目香薰?2022年最大愿望：【服务百万技术人次】?环境需求环境：win10开发工具：IntelliJ IDEA 2020.1.3 x64maven版本：3.0.5RDD产生背景RDD产生的目的是为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是 RDD 提出的
原创
2022-08-14 00:57:26
116阅读
在大数据时代，Spark作为一个快速通用的大数据处理引擎，被广泛应用于各种大数据分析任务中。然而，用户在进行Spark快速大数据分析时，往往会遇到性能瓶颈、资源分配不合理、任务调度延迟等问题。在这篇博文中，我将详细分享如何有效解决这些问题，带领大家深入了解Spark在快速大数据分析中的应用及优化策略。
## 背景定位
在进行快速大数据分析时，许多企业和开发者面临以下问题场景：
- 数据处理速
