文章目录RDD缓存RDD缓存API介绍RDD缓存代码演示示例RDD缓存执行原理RDD CheckPointCheckPoint代码演示示例CheckPoint与Cache对比 RDD缓存RDD之间进行Transformation计算，当执行开启之后，就会有新的RDD生成，而之前老的RDD就会消失，所以RDD是过程数据，只在处理过程中存在，一旦处理完成，就会消失。这样的特性就是可以最大化利用资源，
转载
2024-07-15 11:07:27
60阅读
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。图中，foreach算子通过用户自定义函数对每个数据项进行操作。 本例中自定
Hadoop 分布式文件系统 HDFS 的设计目标是管理数以千计的服务器、数以万计的磁盘，将这么大规模的服务器计算资源当作一个单一的存储系统进行管理，对应用程序提供数以 PB 计的存储容量，让应用程序像使用普通文件系统一样存储大规模的文件数据。HDFS 的架构图 从图中你可以看到 HDFS 的关键组件有两个，一个是 DataNode，一个是 NameNode。DataNode 负责文件数据的存储和
转载
2024-03-26 15:25:08
25阅读
截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。但是，RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存储这
转载
2024-10-14 18:38:33
41阅读
MapReduce的缺点：中间结果会借助磁盘传递，大量的Map-Reduced作业受限于IO 对延时要求较为苛刻的用例，比如：对流数据进行处理来做近实时分析在大型数据集上进行交互式分析Spark堆栈中的组件 spark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相比其他大数据处理框架，如Map
角色出演 如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。 Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理;与client交互进行提供元数据查询;分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份;执行数据块的读写操作等。
转载
2024-05-09 22:18:50
66阅读
大数据存储技术HDFS一、概述1.1 分布式文件系统（DFS）的概念和作用1.2 HDFS概述二、HDFS的相关概念2.1 块2.2 NameNode2.3 Secondary NameNode2.4 DataNode三、HDFS体系架构与原理3.1 HDFS体系结构3.2 HDFS高可用机制 一、概述1.1 分布式文件系统（DFS）的概念和作用一台计算机的存储容量有限，分布式文件系统将文件分布
转载
2023-12-06 16:48:31
50阅读
Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。
1、并行化集合
如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。相当于是，集合中
转载
2024-03-21 19:22:31
76阅读
## Spark RDD 存储到 HDFS 的实现流程
在将 Spark RDD 存储到 HDFS 的过程中，我们可以按照以下步骤进行操作：
1. 创建 SparkConf 对象和 SparkContext 对象，用于连接到 Spark 集群。
```scala
import org.apache.spark.{SparkConf, SparkContext}
val c
原创
2023-11-26 03:14:29
138阅读
根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。Namenode：元数据节点，是系统唯一的管理者。负责元数据的管理；与client交互进
转载
2024-03-26 15:19:54
26阅读
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个H
转载
2024-03-15 05:50:37
26阅读
一、HDFS设计思想要把存入到集群中的数据均匀的分散的存储到整个集群中。核心设计思想 !1 分散存储一个大的文件想要进行存储，必须要借助分布式文件存储系统这个分布式存储系统怎么存文件：把大的文件进行切分，“分而治之”，然后存储，最小单位为：块，大小：128M；2 冗余存储整个HDFS集群是存储在多个不是特别可靠的服务器上面，所以要保住数据的安全性，策略：副本冗余 冗余的数量可以在hdfs-site
转载
2023-12-11 13:19:31
237阅读
一、前言 异步执行对于开发者来说并不陌生，在实际的开发过程中，很多场景多会使用到异步，相比同步执行，异步可以大大缩短请求链路耗时时间，比如：「发送短信、邮件、异步更新等」，这些都是典型的可以通过异步实现的场景。 二、异步的八种实现方式 线程Threa
转载
2023-06-07 14:39:30
72阅读
1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有S
转载
2023-07-11 20:00:57
108阅读
文章目录一、hdfs写数据流程简化流程流程图二、hdfs读数据流程简化流程：读数据流程图三、名词NameNode(Master)在HDFS中：DataNode(slave)：实际存储数据块的节点，执行数据库的读写操作SecondaryNameNode作用：四、常见问题① NameNode的启动过程？第一阶段：NameNode启动第二阶段：Secondary NameNode工作② 集群的安全模式
本文以如下两个方面展开：HDFS的组成，HDFS的各组成的工作方式也就是HDFS的功能是怎样实现的 一、HDFS是什么 HDFS(Hadoop Distributed File System)，是Apache基金会下的项目Hadoop的一个主要组成部分。Hadoop的另一个主要组成部分是MapReduce，作者受到谷歌的论文GFS的启发而设计出的一个分布式文件存储系统。它和MapR
转载
2023-07-24 09:17:44
192阅读
1. 概述 solrCloud数据存储在hdfs上的方法有两种，一是配置solr.in.sh脚本文件，比较简单的一种方式；二是配置solrconfig.xml配置文件， 比较繁琐点，需要更新到zookeeper上。说明：solrcloud部署是按照 “Ranger安装部署 - solr安装”进行安装的，故本博文也是在此基础上进行hdfs相关配置的2. 配置solr.in.sh
转载
2024-04-03 19:41:32
55阅读
遵从Kimball的MD架构来建立数据仓库时，设计维度模型的过程通常包括四个步骤，分别是选择业务处理过程、选择粒度、选择维度和选择事实。在这个过程中，选择业务处理过程是Kimball非常强调的一步。业务处理过程（Business Process）指的是组织中的存在的业务活动，在这个业务活动中可以产生或者收集到数据。在维度建模过程中，我们要关注于这些产生数据的业务处理过程，而不应该关注于业务处理部门
与守护进程有关的一个问题是如何处理出错消息。因为它没有控制终端，所以不能只是简单地写到标准出错上。在很多工作站上，控制台设备运行一个窗口系统，所以我们不希望所有守护进程都写到控制台设备上。我们也不希望每个守护进程将它自己的出错消息写到一个单独的文件中。对系统管理人员而言，如果要关心哪一个守护进程写到哪一个记录文件中，并定期地检查这些文件，那么一定会使他感到头痛。所以，需要有一个集中的守护进程出错记
Title: Python Pool Task Handling
Introduction:
As an experienced developer, I will guide you on how to handle the "Python Pool Task Processing" scenario. In this article, I will outline the steps inv
原创
2024-01-15 11:18:00
33阅读
