文章目录一、什么是Spark二、RDD的五大特性三、解释RDD的五大特性四、RDD的三类算子五、Spark Application的大概运行流程 一、什么是SparkApache Spark是一个开源的分布式计算框架，用于处理大规模的数据。旨在快速进行数据分析、快速运行和快速开发。Spark不是由一个人开发的，而是诞生于美国加州大学伯克利分校的AMP实验室。于2010年开放源码，2012年发布了
转载
2023-12-27 15:42:54
51阅读
一、scala复习1. scala的简介
scala是一个面向对象，函数式的编程语言，运行在jvm上，可以调用java,c++,python等的api。追求优雅，简单。
我们学习的是2.11.8的版本。这周要学习的spark2.2.3版本是基于scala-2.11.8的
2. scala的安装（和安装jdk是一样的）
- windows平台：
(1)可以下载xxx.msi或者是xxx.z
hadoop之Spark强有力竞争者Flink,Spark与Flink：对比与分析Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个节点上，可以被并行操作。而Flink是可扩展的批处理和流式数据处理的数据处理平台。Apache Flink，apache顶级项目，是一个高效、分布式、基于Java实现的通用大数据分析
转载
2023-08-06 18:15:16
728阅读
今天Cloudera正式宣布发布CDS3，基于Apache Spark 3.0.1，参考：https://spark.apache.org/news/spark-3-0-1-released.html这是一个正式版本，可以生产系统中使用。而且这个版本受Cloudera Support支持。对于Spark3的新特性，可以参考文章《开源生态的新发展：Apache Spark 3.0、Koala和Del
转载
2023-08-16 14:05:18
34阅读
# Spark CDC 稳不稳？
随着数据驱动决策的成为主流，数据流的实时处理和转换变得越来越重要。而在这方面，Apache Spark 和 Change Data Capture（CDC）技术的结合，为企业的数据同步和实时分析提供了一种高效的解决方案。但很多人对 Spark CDC 的稳定性仍有疑虑。本文将对此进行探讨，并通过代码示例深入理解其实现。
## 什么是 Spark CDC？
A
文章目录准备知识DAG概述shuffle概述SortShuffleManager普通机制bypass机制Spark任务调度流程准备知识要弄清楚Spark的任务调度流程，就必须要清楚RDD、Lineage、DAG和shuffle的相关知识，关于RDD和Lineage，我的这两天文章已经有过相关介绍，感兴趣可以去看一看【Spark】RDD(Resilient Distributed Dataset)究
转载
2023-07-12 15:28:13
87阅读
一、Transformation算子练习
一、map(func)
说明:返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
scala> var source = sc.parallelize(1 to 10)
source: org.apache.spark.rdd.RDD[Int]= ParallelCollectionRDD[8] at parallelize at
转载
2024-05-19 12:31:25
16阅读
# Spark 有状态计算的实现
在现代大数据处理领域，Apache Spark 是一个非常强大的工具。其核心功能之一就是处理有状态流数据。这篇文章将带你了解如何在 Spark 中实现有状态计算的过程。我们会分步骤进行讲解，并提供必要的代码示例。最后，还会进行一个总结。
## 流程概述
以下是实现 Spark 有状态计算的步骤：
| 步骤 | 描述
原创
2024-09-18 07:12:05
28阅读
Spark总结Spark配置函数建立连接1>SparkConf().setAppName("xxx").setMaster("local") 设置配置文件2> SparkContext.parallelize(Array(1,2,2,4),4)将数据进行4个分片，分别存在不同的集群中3> .textFile("path") 加载数据关闭连接4> SparkContext.s
转载
2024-05-19 02:31:48
60阅读
导读：Flink 在开窗处理事件时间(Event Time) 数据时，可设置水印延迟以及设置窗口允许延迟(allowedLateness)以保证数据的完整性。这两者因都是设置延迟时间所以刚接触时容易混淆。本文接下将展开讨论分析“水印延迟”与“窗口允许延迟”概念及区别。水印延迟窗口允许延迟一个Demo 两个猜想总结水印延迟(WaterMark)水印由于采用了事件时间，脱离了物理挂钟。窗口不知道什么时
## Spark中的临时表实现指南
在大数据处理中，Apache Spark 是一个非常流行的框架。在使用 Spark 进行数据处理时，有时我们需要创建临时表以方便进行 SQL 查询。在本篇文章中，我将给你详细介绍如何在 Spark 中创建和使用临时表。
### 流程概述
为了实现临时表的创建和使用，以下是整个流程的步骤表格：
| 步骤 | 描述
原创
2024-10-17 11:00:45
62阅读
# Spark官方镜像获取指南
## 文章概述
在大数据处理和分析的领域，Apache Spark广泛应用于机器学习、数据处理和分布式计算等场景。对于许多开发者而言，使用Docker镜像运行Spark是一个简便的选择，特别是对初学者来说更显得如此。本篇文章将详细介绍如何获取Apache Spark的官方镜像，并提供完整的步骤与代码示例，帮助你掌握这一过程。
### 流程概述
以下是获取Sp
关于“Spark有Windows版本吗”的问题，许多开发者和数据科学家在寻求一种高效的方式来搭建和使用Apache Spark环境。在这篇博文中，我将分享如何在Windows上安装和使用Apache Spark的策略，包括备份策略、恢复流程、可能的灾难场景，以及工具链集成等内容。
## 备份策略
在使用Spark的过程中，数据的安全性非常重要，因此我们需要制定合适的备份策略。我们将使用一些脚本
# 使用Spark包的Java实现
## 介绍
在Java开发中，使用Spark包可以帮助我们进行大数据处理和分析。本文将向刚入行的小白介绍如何在Java中使用Spark包，并提供详细的步骤和代码示例。
## 整体流程
首先，让我们来看一下使用Spark包的整体流程。下表展示了使用Spark包的步骤以及每一步需要做什么。
| 步骤 | 操作 |
| --- | --- |
| 步骤1 |
原创
2023-07-15 04:29:42
117阅读
# 使用Spark集群运行SparkSQL的完整教程
欢迎来到Spark世界！情不自禁地想让你成为一名出色的开发者。如果你刚刚入行，面对“Spark集群中如何运行SparkSQL”的问题，别担心！本文将详细解析如何在Spark集群上使用SparkSQL的整个流程，以及每一步的实现代码。
## 1. 流程概述
为了成功运行SparkSQL，我们需要完成以下几个步骤：
| 步骤
原创
2024-09-28 04:37:50
29阅读
Flume自定义拦截器开发1）进入IDEA，给
spark-log4j这个项目名称，单独加Module--->maven--->next--->Artifactld：log-flume--->next--->Module name：log-flume--->finish2）进入主的pom.xml添加flume的版本<properties>
转载
2024-09-21 07:24:59
27阅读
1. 技术详情CDC 的实现方式主要有两种，分别是基于查询和基于日志：基于查询：查询后插入、更新到数据库即可，无须数据库的特殊配置以及账号权限。它的实时性基于查询频率决定，只能通过提高查询频率来保证实时性，而这必然会对 DB 造成巨大压力。此外，因为是基于查询，所以它无法捕获两次查询之间数据的变更记录，也就无法保证数据的一致性。基于日志：通过实时消费数据的变
转载
2023-11-28 10:51:50
162阅读
前言与DataStream同样，官方在Flink SQL上也提供了很多连接器，今天来学习总结一下JDBC连接器环境准备如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql驱动包，以下为1.12.0 提供的jdbc连接器依赖<dependency>
<groupId>org.apache.flink</groupId>
转载
2023-10-11 19:55:54
191阅读
使用flink-cdc实现实时数据库同步Flink CDC Connectors 是Apache Flink的一组源连接器，使用变更数据捕获 (CDC) 从不同的数据库中获取变更。基于查询的 CDC：sqoop、dataX等，离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据；无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；不保障实时性，基于离线调度存在
转载
2023-07-21 18:51:08
210阅读
1评论
一、本质Spark是一个分布式的计算框架，是下一代的MapReduce，扩展了MR的数据处理流程二、mapreduce有什么问题1.调度慢，启动map、reduce太耗时2.计算慢，每一步都要保存中间结果落磁盘3.API抽象简单，只有map和reduce两个原语4.缺乏作业流描述，一项任务需要多轮mr三、spark解决了什么问题1.最大化利用内存cache2.中间结果放内存，加速迭代3.将结果集放
转载
2023-10-05 16:12:17
176阅读
