今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有：St
转载
2024-08-16 13:51:22
51阅读
在Spark 的持久化使用中，我们会将一些经常使用到的数据进行持久化，比如使用cache()或者persist()方法进行持久化操作，但是当某个节点或者executor挂掉之后，持久化的数据会丢失，因为我们的数据是保存在内存当中的，这时就会重新计算RDD，如果某个之前的RDD需要大量的计算时间，这时将会浪费很多时间，因此，我们有时候需要使用checkpoint操作来将一些数据持久化可容错文件系统中
转载
2023-12-21 09:31:19
60阅读
Spark编程环境Spark 可以独立安装使用，也可以和Hadoop 一起安装使用。在安装 Spark 之前，首先确保你的电脑上已经安装了 Java 8 或者更高的版本。Spark 安装访问 Spark 下载页面 ，并选择最新版本的 Spark 直接下载，当前的最新版本是 2.4.2 。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了 /opt 目录下。tar -xzf spark
转载
2024-09-16 19:54:20
21阅读
spark的checkpoint机制在spark code开发时，有时会用到sparkContext().setCheckpointDir(/hdfspath)来做一个检查点，本文就来聊下为什么要创建这样一个检查点。为什么要做checkpoint？在spark计算里面，如果计算流程DAG特别长，服务器需要将整个DAG计算完成得出结果，但是如果在这很长的计算流程中突然中间算出的数据丢失了，spark
转载
2024-02-02 09:43:13
14阅读
# Spark 集群状态检查
Apache Spark 是一个强大的分布式计算框架，广泛应用于大数据处理和分析。在使用 Spark 集群的过程中，确保集群的健康状况和状态检查是非常重要的。如何高效地检查 Spark 集群的状态，我们可以通过以下几个步骤来实现。
## 一、检查 Spark 集群的状态
在访问 Spark 集群之前，通常需要了解集群的运行状态，包括各节点的健康状况、任务的执行情
原创
2024-09-20 08:01:03
140阅读
首先，要清楚。为什么spark要引入检查点机制?引入RDD的检查点？ 答：如果缓存丢失了，则需要重新计算。如果计算特别复杂或者计算耗时特别多，那么缓存丢失对于整个Job的影响是不容忽视的。为了避免缓存丢失重新计算带来的开销，Spark又引入检查点机制。 RDD的缓存能够在第一次计算完成后，将计算结果保存到内存、本地文件系统或者Tachyon(分布式内
转载
2024-10-24 08:07:42
15阅读
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个Spark程序。
1.Spark是什么Spark是一个快速且通用的集群计算平台2.Spark的特点1）Spark是快速的 Spark扩充了流行的Mapred
转载
2024-09-27 12:42:22
53阅读
Spark 1.6.x的新特性Spark-1.6是Spark-2.0之前的最后一个版本。主要是三个大方面的改进：性能提升，新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑。1. 性能提升根据 Apache Spark 官方 2015 年 Spark Survey，有 91% 的用户想要提升 Spark 的性能。Parquet 性能自动化内存管理流状态管理速度提升
转载
2023-08-09 16:41:01
254阅读
# Yarn版本检查的全方位指南
`Yarn`是一个流行的JavaScript包管理工具，它极大地简化了开发者处理项目依赖包的过程。由于其持续的更新和优化，时常需要检查当前使用的`Yarn`版本，以确保项目的依赖关系能够顺利处理，并且能够利用最新的特性和修复bug。本文将介绍如何检查`Yarn`版本，相关命令及其实用性，并通过代码示例及图表深入解析。
## 一、Yarn是什么？
`Yarn`
# 检查Python版本
Python是一门非常流行的编程语言，拥有广泛的应用领域。然而，不同版本的Python可能会有一些差异，因此在编写代码时，我们经常需要检查Python的版本来确保代码的兼容性。本文将介绍如何检查Python的版本，并提供一些示例代码。
## 为什么需要检查Python版本？
由于Python的不断更新和改进，不同的Python版本可能会有不同的语法、库和功能。如果我
原创
2023-08-18 14:39:39
109阅读
相信进来的你也是无奈才选择这个MxSrvs集成环境软件，这里建议去MxSrvs官网下载最新版的，旧版坑太多了。但你会发现MxSrvs软件会自带7.*以上的php版本，这时候因为项目的需要或者其他原因想要修改php版本，当你开开心心得去官网下载好版本之后，拷贝进去会发现php运行报错了。大概是这样子的： 崩溃吧！下面将提供解决方案（我花费?从大佬那亲测有效的办法，网上的全是需要付费的，如解决了你的问
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】 Q1:spark线上用什么版本好？ 建议从最低使用的Spark 1.0.0版本，Spark在1.0.0开始核心API已经稳定；
转载
2023-07-18 22:50:50
355阅读
之前介绍过Spark 1.6版本的部署，现在最新版本的spark为3.0.1并且已经完全兼容hadoop 3.x，同样仍然支持RDD与DataFrame两套API，这篇文章就主要介绍一下基于Hadoop 3.x的Spark 3.0部署，首先还是官网下载安装包，下载地址为：http://spark.apache.org/downloads.html，目前spark稳定版本
转载
2023-08-02 12:35:01
635阅读
来自官网DataFrames、DataSets、SQL，即sparkSQL模块。 spark2.0之前，主要的数据格式是RDD（弹性分布式数据集）。spark2.0之后，使用Dataset代替RDD；再，Datasets在Python中是Datasets[Row]，故称之为DataFrame，与Python保持一致。 Dataset API只适用于Scala和Java，使用列名来
转载
2023-07-24 23:56:13
102阅读
# HBase版本检查
HBase是一个开源的分布式列式数据库，它构建在Hadoop文件系统（HDFS）之上，提供高可靠性、高性能和高可扩展性。在使用HBase时，我们需要确保我们使用的是最新的版本，以享受到新功能、性能改进和错误修复等好处。
本文将介绍如何检查HBase的版本，并提供代码示例来帮助读者了解如何实现。
## 为什么要检查HBase版本
检查HBase版本是非常重要的，因为新
原创
2023-12-01 05:38:54
136阅读
# 检查 Axios 版本的重要性及其实践
## 引言
Axios 是一个基于 Promise 的 HTTP 客户端，广泛用于 JavaScript 应用程序中，它允许用户发送异步 HTTP 请求到 RESTful API。随着软件版本的迭代更新，不同版本之间可能会出现 API 变化、安全漏洞或新的功能添加。因此，检查 Axios 的版本对于确保应用程序的稳定性和安全性至关重要。本文将介绍如何
在应用程序中，很多时候需要知道ZooKeeper集合的状态。例如，备份主节点需要知道主要主节点已经崩溃，从节点需要知道任务分配给了自己，甚至ZooKeeper的客户端会定时轮询ZooKeeper集合，检查系统状态是否发生了变化。然而轮询方式并非高效的方式，尤其是在期望的变化发生频率很低时。 例如，在主要主节点崩溃时，备份主节点需要知道这一情况， 以便它们可以进行故障处理。为了减少主节点崩
转载
2024-03-05 14:00:13
64阅读
lineage（血统）做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。检查点通过将数据写入到HDFS文件系统实现了RDD的检查点功能。cache和checkpoint的区别：cache）把 RDD 计算出来然后放在内存中，但是RDD 的依赖链（相当于数据库中的redo
转载
2023-12-29 14:47:37
69阅读
Spark异常点检测算法——孤立森林模型异常检测的特性在生产中通常要进行异常数据检测，异常检测又被称为“离群点检测” (outlier detection),一般具有两个特性异常数据跟大部分样本数据不太一样异常数据在整体数据中的占比比重较小以用户行为的埋点为例，这类数据通常对于异常数据的界限没有一个明确的划分。因此SVM、逻辑回归等这类需要大量正向、负向样本的算法并不适用于上述情况。对于这类没有确
转载
2024-04-10 06:36:16
141阅读
# 如何在Apache Spark中查看Spark版本
在数据处理和分析的生态系统中，Apache Spark 是一个被广泛使用的大数据处理框架。在日常开发中，我们有时需要确认我们使用的 Spark 版本。本文将指导你如何查看 Spark 版本，并提供详细的步骤说明。
## 流程步骤
我们将整个过程分成以下几个步骤：
| 步骤号 | 步骤名称 | 描述
