我们知道spark可以将运行过的RDD存储到内存上, 并在需要的时候重复利用. 那么spark是怎么完成这些工作的, 本文将通过分析源码来解释RDD的重复利用过程. 在上一篇文章解释了spark的执行机制, DAGScheduler负责分解action, 在DAGScheduler.getMissingParentStages中, spark首次利用了过去的RDD, 而所使用的函数就是DAG
转载
2024-06-04 22:43:40
35阅读
背景spark的结构化流有三种输出模式，但是各个具体的数据池支持的输出模式是不同的，那么文件输出流和kafka输出流支持使用哪几种输出模式来输出数据呢？本文就来回答个问题spark知识回顾在回答这个问题之前，我们需要了解spark处理数据流的特点，structure streaming 把数据流分成一个个小的微批型数据来进行处理，每一个小的微批型的处理逻辑就是批处理流程一模一样，并且structu
转载
2023-12-06 19:29:06
46阅读
# 使用Spark将数据存储到MySQL的指南
在现代数据处理场景中，Apache Spark是一种非常流行的分布式计算框架，而MySQL是常用的关系型数据库。将数据从Spark存储到MySQL是许多数据处理中必须掌握的一项技能。本文将详细介绍实现这一过程的步骤和所需代码。
## 流程概述
以下是实现将Spark数据存储到MySQL的步骤：
| 步骤 | 描述
原创
2024-09-28 06:14:57
93阅读
spark分发策略storm中存在着多种分发策略，以便我们根据自身的需求进行选择。storm的Grouping分发策略是控制着它的数据上游的分发策略。 接下来我们对每一种分发策略进行介绍：Storm Grouping – 数据流分组（即数据分发策略）ShuffleGrouping （轮询分发） 随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同
转载
2024-04-02 08:43:30
48阅读
# Python 数组里能存结构数据么？
在Python中，数组是一种常见的数据结构，用于存储多个相同类型的元素。但是，有时候我们希望能够存储结构化的数据，例如一组相关的信息，这时候该怎么办呢？本文将介绍在Python中存储结构数据的方法，并提供相应的代码示例。
## 内置的数组类型
在Python中，有多种内置的数组类型可供选择，例如列表（list）、元组（tuple）、字典（dict）等
原创
2023-12-24 07:12:27
26阅读
# HBase存储结构化数据的实现指南
在大数据处理的时代，HBase作为一种非关系型数据库，广泛应用于实时大数据处理。许多开发者都想知道“HBase可以存储结构化数据么”，答案是肯定的。接下来，我将带你一步一步实现如何在HBase中存储结构化数据。
## 整体流程
以下是使用HBase存储结构化数据的整体步骤：
| 步骤 | 描述
原创
2024-08-06 11:54:51
62阅读
1.什么是Scala语言1.1 Scala语言是一种多范式的编程语言，设计初衷是结合面向对象编程和函数式编程的特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。Scala的源代码（.scala）会被编译成Java字节码（.class），然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。Scala是一种形式纯净的面向对象语言，所有的数值都是对象
转载
2024-09-27 06:32:36
47阅读
1、maven依赖pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.or
转载
2021-04-22 16:55:00
765阅读
2评论
# 使用Spark连接数据库的指南
## 1. 引言
Apache Spark是一种强大的开源数据处理框架，特别适合于大数据应用。作为一名刚入行的小白，您可能会问：“如何使用Spark连接数据库？”在本篇文章中，我将指导您逐步实现这一过程。
## 2. 连接数据库的流程
在开始之前，我们定义一下连接数据库的流程。下面是一张流程表，列出了每一步所需要执行的操作。
| 步骤 | 操作
从Spark应用的提交到执行完成有很多步骤，为了便于理解，我们把应用执行的整个过程划分为三个阶段。而我们知道Spark有多种运行模式，不同模式下这三个阶段的执行流程也不相同。本文介绍这三个阶段的划分，并概要介绍不同模式下各个阶段的执行流程，各个模式的详细流程会在后面的文章进行分析。应用执行的阶段划分我们知道，Spark应用可以在多种模式下运行。所谓多种模式主要是针对资源分配方式来说的，Spark应
转载
2023-09-23 16:45:22
65阅读
作为Spark负责流计算的核心组件，Spark Streaming是整个Spark学习流程当中非常重要的一块。对于Spark Streaming，作为Spark流计算的实际承载组件，我们也需要更全面的掌握。今天的大数据入门分享，我们就来讲讲Spark Streaming实际应用。一、关于Spark Streaming实际上来说，Spark进行数据计算处理，是继承了Hadoop MapReduce的
转载
2024-02-14 23:35:56
23阅读
万丈高楼平地起，很多人说想深入学习下Redis，却不知道从何学习，不烦先试试从Redis的基础数据结构看起，当你使用命令的时候，再去思考内部是如何实现，往往可以事半功倍。Redis对外提供5种基本的数据结构，分别是字符串、链表、哈希、字符串集合与有序集合。今天我们先简单学习这五中数据结构，后面我们再从具体的业务具体的命令出发，更输入的学习每种数据结构工作的流程。 String我们最常用
转载
2023-09-22 17:02:11
93阅读
## Spark RDD 存储到 HDFS 的实现流程
在将 Spark RDD 存储到 HDFS 的过程中，我们可以按照以下步骤进行操作：
1. 创建 SparkConf 对象和 SparkContext 对象，用于连接到 Spark 集群。
```scala
import org.apache.spark.{SparkConf, SparkContext}
val c
原创
2023-11-26 03:14:29
138阅读
# Spark存算分离实现教程
## 简介
在大数据处理领域，Spark是一种常用的分布式计算框架。为了提高计算性能，一种常见的优化方式是将存储和计算分离，也就是将数据存储在高性能的存储系统中，如HDFS或S3，并通过Spark来进行计算。本文将教会你如何实现Spark存算分离。
## 流程图
下面是实现Spark存算分离的整个流程图：
## 步骤说明
1.
原创
2023-10-05 06:20:28
197阅读
内核架构剖析问题导读：Spark的架构是什么？各组件的功能是什么？各组件之间的关系是什么？Spark作业提交流程是怎么样的？Spark Standalone模式是spark很常见的一种模式，集群角色分为Driver，Worker，Master三个端。Driver端是指提交spark-submit的服务器，主要会将提交的程序分为多个的task，交由worker端执行。Master端是集群的大脑，负责
转载
2024-10-21 16:29:17
50阅读
# 实现CDH中的Spark
## 介绍
在CDH（Cloudera Distribution for Hadoop）中，Spark是一个非常流行的分布式计算框架，可以用于处理大规模数据集。本文将介绍如何在CDH中配置和使用Spark。
## 流程图
```mermaid
flowchart TD
subgraph 入门指南
A(安装CDH) --> B(配置Hadoo
原创
2023-11-06 05:09:57
43阅读
# Spark带状态的实现指南
随着大数据技术的发展，Apache Spark已经成为处理大规模数据的主流框架。在数据流处理中，处理带状态的数据流是一个非常重要的功能。本文将帮助你了解如何在Apache Spark中实现带状态的操作。
## 1. 整体流程
在Spark中带状态的处理主要是通过Structured Streaming实现的。下面是实现带状态流处理的主要步骤：
| 步骤 |
# Spark 有事务吗？
在大数据处理场景中，Apache Spark 是一个广泛使用的分布式计算框架。Spark 以其高效的数据处理能力和灵活的编程模型而著称，但在面对数据一致性和事务处理时，它的特性又让很多工程师心生疑虑。本文将讨论 Apache Spark 中的事务处理，帮助大家更好地理解其行为和特性。
## 1. 什么是事务？
事务是指一组操作的集合，这组操作要么全部成功，要么全部
这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。前言很多初如果你没有主动对...
原创
2023-03-15 07:34:10
182阅读
# JWT还有必要存REDIS吗？
## 引言
在现代web开发中，JSON Web Tokens（JWT）被广泛用于认证和授权。JWT的设计目标是安全、压缩且可扩展，但随着技术的不断发展，许多工程师开始思考：在使用JWT的同时，是否还有必要将相关的session信息存储在Redis或其他缓存中？本文将探讨这一问题，分析其优缺点，并提供代码示例，帮助你更好地理解这一概念。
## JWT简介
原创
2024-08-31 03:46:04
52阅读
