bin： 快捷方式，指向usr/bin，重要的二进制 (binary)应用程序,包含二进制文件，系统的所有用户使用的命令都在这个目录下。boot： 启动（boot）配置文件,包含引导加载程序相关的文件。dev： device设备文件，包括终端设备，USB或连接到系统的任何设备。etc：
转载
2023-07-04 18:15:46
196阅读
Apache Spark是一种快速通用的集群计算系统。 它提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。 它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的Spark SQL，用于机器学习的MLlib，用于图形处理的GraphX和Spark Streaming。Spark优点：减少
转载
2024-05-29 12:27:43
24阅读
# Spark作用简介及实现步骤
## 1. 简介
Spark是一种用于大规模数据处理的快速通用的计算引擎。它提供了高效的数据处理能力，并支持多种编程语言。Spark的主要特点包括快速、易用、灵活、可扩展以及与Hadoop生态系统的良好集成等。
在Spark中，数据被分成多个分区，每个分区被处理并计算。这种分布式的数据处理方式带来了很高的效率，使得Spark可以处理更大规模的数据集。
##
原创
2023-12-22 07:04:42
41阅读
SPark调优一.Spark用到序列化的地方二.配置多临时目录文件一.SparkConf（Spark配置文件）二.SparkContext(spark 环境）三。SparkEnv（Spark环境对象）架构设计Spark Streaming是一个对实时数据流进行高通量，容错处理的流式处理系统。 一.Spark用到序列化的地方默认情况下使用的是Java的序列化，我们可以用别的方式序列化任如kryo方
转载
2024-07-15 11:23:10
35阅读
1.1spark简介1、Spark 是什么Spark 是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。AMPLab 开发以Spark 为核心的BDAS 时提出的目标是：one stackto rule them all，也就是说在一套软件栈内完成各种大数据分析任务
转载
2023-06-19 10:02:09
124阅读
spark应用涉及的一些基本概念：1.mater:主要是控制、管理和监督整个spark集群2.client：客户端，将用应用程序提交，记录着要业务运行逻辑和master通讯。3.sparkContext：spark应用程序的入口，负责调度各个运算资源，协调各个work node上的Executor。主要是一些记录信息，记录谁运行的，运行的情况如何等。这也是为什么编程的时候必须要创建一个sparkC
转载
2023-08-08 11:29:09
809阅读
摘要：spark的优势：（1）图计算，迭代计算（训练机器学习算法模型做广告推荐，点击预测，同时基于spark的预测模型能做到分钟级）（2）交互式查询计算（实时）spark的主要应用场景：（1）推荐系统，实时推荐 （2）交互式实时查询 spark特点：（1）分布式并行计算框架（2）内存计算，不仅数据加载到内存，中间结果也存储内存（中间结果不需要落地到hdfs） 还有一个特点：Spark在做Shu
转载
2023-08-03 19:42:52
75阅读
checkpoint，是Spark提供的一个比较高级的功能。 有时候我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且整个任务运行的时间也特别长，比如通常要运行1~2个小时。在这种情况下，就比较适合使用checkpoint功能了。 因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为
转载
2023-09-21 11:20:57
92阅读
1.Spark是用于大数据处理的集群计算框架，它不以MapReduce作为执行引擎，而是使用自己的分布式运行环境在集群上工作，可以在YARN上运行并与HDFS配合。Spark最突出的特点是能将作业与作业之间产生的大规模中间工作数据集存储在内存中，在性能上超过中间数据也在磁盘读写的MapReduce一个数量级。从Spark中可以提升性能最大的是迭代算法（对一个数据集重复应用某函数）和交互式分析（用户
转载
2024-05-10 01:16:16
27阅读
作者：jiangzzSpark StreamingSpark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数（如map，reduce，join和window）表示的复杂算法进行处理。最后，处理后的数据可以推送到文件系统，数据库和实时dashb
转载
2024-07-17 12:52:42
73阅读
Linux系统中的目录结构是整个系统的一个重要组成部分，它规定了不同目录之间的关系和各个目录的作用。其中，红帽（Red Hat）是广泛应用的一种Linux发行版，它有着自己独特的目录结构。在红帽系统中，每个目录都有特定的作用，下面将逐一介绍红帽系统中常见目录的作用。
/bin目录：该目录包含了系统中的一些最基本的命令，如ls、cd、cp、rm等，这些命令通常被所有用户使用。
/boot目录：该
原创
2024-03-12 10:35:50
75阅读
# 深入了解Spark资源目录
Apache Spark是一个强大的分布式计算框架，广泛用于大数据处理和分析。在使用Spark的过程中，资源的管理和调配至关重要。本文将重点介绍Spark的资源目录，并辅以代码示例，以帮助你更好地理解其工作原理和应用。
## 什么是Spark资源目录？
Spark资源目录（Resource Directory）是Spark用来管理和调度计算资源的地方。它的主要
原创
2024-09-14 07:02:27
43阅读
# 如何实现 Spark 目录结构
在使用 Apache Spark 时，合理的目录结构组织有助于管理代码和数据。接下来的流程将指导你如何实现 Spark 的目录结构，并为每一步提供必要的代码示例和解释。我们将分步骤进行说明，并包含流程图和状态图以帮助你更好地理解整个过程。
## 实现流程
| 步骤 | 描述 |
|------|--------------
原创
2024-08-28 06:31:01
28阅读
概要spark运行时executor可能需要远程下载driver上的jar或文件到本地，对应的内部实现为RpcEnvFileServer，RpcEnvFileServer的子类有NettyStreamManager、HttpBasedFileServer，底层分别由netty、jetty实现，根据参数spark.rpc.useNettyFileServer配置，如下。 RpcEnvFileServ
本篇文章属于阿里巴巴Flink系列文章之一。当提及大数据时，我们无法忽视流式计算的重要性，它能够完成强大的实时分析。而说起流式计算，我们也无法忽视最强大的数据处理引擎：Spark和Flink。Apache Spark自2014年以来迅速普及。它提供了一个适用常见数据处理场景的统一引擎，如批处理、流处理、交互式查询和机器学习。在某些情况下，它的性能是前一代Hadoop MapReduce的数
转载
2024-06-16 07:46:59
31阅读
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。Spark生态系统以Spark Core 为核心，能够读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源，利用Standalone、YARN 和Mesos 等资源调度管理，完成应用程序分析与处理。这些应用程序来自Spark 的不同组件，如S
转载
2024-06-09 08:22:31
35阅读
Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spa
转载
2024-07-21 08:04:43
15阅读
一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区 数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支
转载
2024-02-17 13:12:33
119阅读
Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段： 1、Stage划分与提交 （1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGSc
转载
2024-06-09 08:22:05
64阅读
shuffle的作用是什么？ 可以理解为将集群中所有节点上的数据进行重新整合分类的过程shuffle为什么耗时？ shuffle需要对数据进行重新聚合和划分，然后分配到集群的各个节点进行下一个stage操作。不同节点间传输大量数据，会有大量的网络传输消耗。spark的shuffle两种实现 在spark1.2之前，默认的shuffle是HashShuffle。该shuffle有一个严重的弊端，会产
转载
2023-10-27 04:04:59
137阅读
