checkpoint是什么? spark, flink, tensorflow都有对应的checkpoint机制Jupyter Notebook也有自动的checkpoint机制SQL Server，Oracle等数据库其实也有CheckpointCheckpoint和快照都是一种应对容错和可靠的方法checkpoint与持久化有什么关系？ checkpoint是什么?（1）、
转载
2024-09-05 09:59:31
54阅读
继续跟着官网文档学习先思考一个根源问题: 为什么要看官网呢? 磕磕绊绊的, 看看中文的文章不好吗?其实我一开始学大数据也是喜欢看博客看视频的讲解, 但是慢慢发现有一个现象: 我感觉大数据这方面的知识内容, 在网上完全没有像Java或者数据库/网络的知识那样有共识性. Java和计算机基础这方面的大部分知识都是类似于常识的了, 也基本没有什么不一样的声音. 而大数据的学习内容很多时候都是一家一言的理
（一）checkpoint介绍checkpoint，是Spark提供的一个比较高级的功能。有时候，我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且，整个任务运行的时间也特别长，比如通常要运行1~2个小时。 在这种情况下，就比较适合使用checkpoint功能了。 因为对于特别复杂的Spark任务，有很高的风
转载
2023-09-09 00:04:01
119阅读
简短介绍下Spark几个关键词：快速，通用，集群计算平台Spark扩展了MapReduce计算模型，且支持更多计算模式，包含：交互式查询流处理这里的交互式，不是简单的我们生活中理解的与设备的交互。它的深意是：对于大规模数据集的处理，速度够快。只有速度够快，才能实现交互式操作。前文提到的，基于内存的数据定义，Spark可以在内存中进行计算。其实，即使不在内存中计算，放在磁盘上，Spark也有很高的性
转载
2023-08-10 11:28:20
318阅读
为什么要有Spark SQL？ 以往在使用Hadoop时，Hive作为一个数据仓库，但在使用中，我们更多感觉Hive是一个解析引擎，而Hive的底层走的也是MapReduce，而这个MapReduce是Hadoop的，在前面我们也解释了Hadoop的MapReduce的缺点，那么此时我们是使用了Spark实现的MapReduce计算模型，
转载
2023-09-10 19:41:55
237阅读
众所周知，Flink 采用 Asynchronous Barrier Snapshotting（简称 ABS）算法实现分布式快照的。但是，本文着重介绍 Flink Checkpoint 工作过程，并且用图形化方式描述 Checkpoint 在 Flink 中的实现，Failure Recovery Mechanism（失败恢复机制），以及 Performance of Checkpointing。
转载
2024-03-15 08:30:57
68阅读
1. Spark介绍Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：1) 运行速度快, Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据
转载
2023-08-25 09:00:48
80阅读
Apache Spark Stream一、概述⼀般流式计算会与批量计算相⽐较。在流式计算模型中，输⼊是持续的，可以认为在时间上是⽆界的， 也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也 是⽆界的。流式计算⼀般对实时性要求较⾼，同时⼀般是先定义⽬标计算，然后数据到来之后将计算逻 辑应⽤于数据。同时为了提⾼计算效率，往往尽可能采⽤增量计算代替全量计算。批量处
转载
2024-08-05 16:27:02
92阅读
前写了很多关于 Spark 的面试题，因为之前写的太乱了，最近有空已经在整理了，会发到 CSDN 和 GitHub 上，有需要的朋友可以继续上去看哈。 这部分的关于 Spark 的面试题是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，做一下总结，另外这个总结里面有参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删
转载
2024-06-04 21:56:58
47阅读
学习大数据有一段时间了，学完spark 和storm 后，就希望这两个实时处理系统做个对比，以便于在以后的技术选型方面有很好的把握。 对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低高事务机制支持完善支持，但不够完善健壮性 /
转载
2023-09-28 06:50:13
68阅读
# Spark Streaming 的使用场景与代码示例
Apache Spark 是一个强大的分布式数据处理框架，而 Spark Streaming 则是其处理实时数据流的一部分。它可以在快速到达的实时数据流中提取重要的洞察，并进行实时分析，广泛应用于金融、社交媒体监控、物联网等领域。本文将探讨 Spark Streaming 的几种主要使用场景，并通过代码示例帮助读者更好地理解其应用。
#
原创
2024-09-13 04:25:51
89阅读
## Spark 广播变量使用场景
在使用 Apache Spark 进行大数据处理时，我们经常需要将一些只读取而不需要修改的数据共享给多个计算任务。在这种情况下，Spark 的广播变量就非常有用。广播变量可以将只读的数据复制到每个工作节点，从而减少网络传输的开销，提高计算效率。
### 什么是广播变量
**广播变量** 是 Spark 提供的一种机制，允许程序员将一个只读的数据集缓存到每个
原创
2024-09-24 08:21:31
88阅读
在这个博文中，我们将探讨如何使用Apache Spark中的`sample`算子，包括它的使用场景，技术细节以及一些实用示例。`sample`算子在处理大数据时，帮助我们选择数据的随机样本以进行分析或建模。
### 协议背景
在数据处理的过程中，数据抽样是一个极为重要的环节。Spark作为大数据技术生态系统的一部分，其`sample`算子可以有效地从大规模数据集中抽取样本。以下是一些关键时间节
# Spark与MapReduce的使用场景
在大数据处理领域，Apache Spark和Hadoop MapReduce是两个广泛使用的框架。它们各自的设计理念和性能特征使得它们在处理不同类型的数据任务时具有不同的优势。本文将探讨Spark和MapReduce的使用场景，并提供相关代码示例，帮助读者更好地理解这两个框架。
## MapReduce简介
MapReduce是一个编程模型，最早
原创
2024-09-21 07:13:52
82阅读
# Hadoop和Spark使用场景
## 1. 引言
Hadoop和Spark是当前大数据领域最常用的开源框架，它们在处理大规模数据和分布式计算方面具有突出的优势。本文将介绍Hadoop和Spark的使用场景，并指导刚入行的开发者如何实现这些场景。
## 2. Hadoop和Spark使用场景流程
```mermaid
flowchart TD
A[确定使用场景] --> B[数据
原创
2023-12-16 05:47:25
91阅读
Spark 是一种与 Hadoop 相似的开源集群计算环境，是专为大规模数据处理而设计的快速通用的计算引擎，现已形成一个高速发展应用广泛的生态系统，主要应用场景如下：1. Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小；2. 由于RDD的特性，Spark不适用那种异
转载
2023-07-07 10:37:16
66阅读
Apache Spark简介
Apache Spark是一个高速的通用型计算引擎，用来实现分布式的大规模数据的处理任务。
分布式的处理方式可以使以前单台计算机面对大规模数据时处理不了的情况成为可能。
Apache Spark安装及配置（OS X下的Ubuntu虚拟机）
学习新东西最好是在虚拟机下操作，以
转载
2023-08-01 19:29:05
97阅读
Spark简介1. 什么是Spark提到大数据首先会想到开源项目Hadoop，Hadoop解决了大多数批处理工作负载问题。但是存在一些限制：比如：缺少对迭代的支持中间数据需要输出到硬盘存储，产生了较高的延迟。总结：MapReduce比较适合处理离线数据，在实时查询和迭代计算上存在较大的不足，而随着业务的发展，对实时查询和迭代计算有更多的需求。&nbs
转载
2023-08-18 11:01:31
124阅读
Apache Spark是一款快速、灵活且对开发者友好的工具，也是大型SQL、批处理、流处理和机器学习的领先平台。2009年，Apache Spark从美国U.C. Berkeley的 AMPLab为起步，现在已经成为世界上主要的大数据分布式处理框架之一。Spark可以以各种方式进行部署，为Java、Scala、Python和R编程语言提供本地绑定，并支持SQL、流数据、机器学习和图形处理。已经被
转载
2023-09-01 18:33:27
163阅读
简单的讲，Apache Spark是一个快速且通用的集群计算系统。 Apache Spark 历史： 2009年由加州伯克利大学的AMP实验室开发，并在2010年开源，13年时成长为Apache旗下大数据领域最活跃的开源项目之一。2014年5月底spark1.0.0发布，2016年6月spark2.0发布，至今最近的版本是xxx(看官网)。 Spark的使用场景： 实时查看浏览
转载
2023-06-14 16:28:05
144阅读
