在上一篇文章中，我们讲了Spark大数据处理的可扩展性和负载均衡，今天要讲的是更为重点的容错处理，这涉及到Spark的应用场景和RDD的设计来源。Spark的应用场景Spark主要针对两种场景：机器学习，数据挖掘，图应用中常用的迭代算法（每一次迭代对数据执行相似的函数）交互式数据挖掘工具（用户反复查询一个数据子集）Spark在spark-submit外，还提供了spark-shell，它就是专门用
转载
2024-04-08 07:41:38
43阅读
一 ，代理商库存流水 ：1 ，转换存储方式 ： 列存储运行spark-submit --master yarn --deploy-mode cluster --num-executors 5 --executor-cores 3 --executor-memory 6144m --class com.lifecycle.bala.PaeseParquet.BusienessStockParquet
转载
2024-01-31 16:26:31
192阅读
SparkCore04一、RDD Persistence简介。指RDD持久化，据官网的解释：Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数
转载
2024-08-13 21:06:55
39阅读
随着大数据应用得日益广泛，与大数据相关的话题也越来越被大家所热议。在IT界，大数据同样是热门。作为学生党的我，最近也在研究关于大数据的内容。作为一个技术迷，总是会想尝试一些新鲜的东西。前一段时间学习了Hadoop之后，又想开始体验Spark。那么现在就讨论一下关于Spark的话题。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼收并蓄
转载
2024-04-14 15:05:59
34阅读
上一篇文章已经已经执行到 Client 向 masterEndpoint 发送了 RequestSubmitDriver 信息，下面就看看 master 怎么注册 driver 信息，并且怎么让 worker 去启动 driver 的。一，org.apache.spark.deploy.master.Master这个 Master 就是前面 Client 发送的对象，是一个 ThreadSafeR
本文写在进行spark学习的过程中，学习过程主要参考 1、导包from pyspark import SparkContext2、提交脚本spark-submit pythonapp.py3、导入数据user_data = sc.textFile('/路径/ml-100k/u.user')4、查看某数据集的某一条数据movie_data.first()tip1:把map()理解为要对每一行做这个事
转载
2024-02-10 07:54:52
27阅读
为什么需要SparkMapReduce的缺点 1.抽象层次太低，大量底层逻辑需要开发者手工完成 2.只有map和reduce两个操作 3.每一个job的计算结果都会存储在HDFS中，所以每一步计算成本很高 4.只支持批处理，却反对流数据处理的支持Spark支持各种丰富的操作，而且速度远超MapReduce 下图是Spark和Hadoop上运行逻辑回归算法的运行时间对比在任务(task)
转载
2024-02-20 21:39:51
72阅读
作者：周志湖 本节主要内容Hadoop生态圈Spark生态圈1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b5332
围绕spark的其他特性和应用。主要包括以下几个方面spark自定义分区spark中的共享变量spark程序的序列化问题spark中的application/job/stage/task之间的关系spark on yarn原理和机制spark的资源分配方式1. spark自定义分区1.1 自定义分区说明在对RDD数据进行分区时，默认使用的是HashPartitioner该函数对key进行哈希，然后
转载
2024-08-03 14:28:27
68阅读
# 使用 Apache Spark 进行大规模数据 Join
在大数据处理的场景中，进行 Join 操作是极其常见的。尤其是在面对庞大的数据集时，如 1000 亿条数据与 20 亿条数据的 Join 操作，合理利用分布式计算能力至关重要。本文将探讨如何在 Apache Spark 中高效地处理这种大规模的数据 Join，并提供代码示例以便理解。
## Apache Spark 简介
Apac
原创
2024-09-06 04:28:44
109阅读
Spark概述1.1、什么是SparkMR的缺点：mr基于数据集计算，所以面向数据（1）基本运算规则从存储介质中获取（采集）数据，然后进行计算，最后将结果存储到介质中，所以主要应用于一次计算，不适合于数据挖掘和机器学习的迭代计算和图形挖掘计算。（2）MR基于文件存储介质的操作，所以性能非常慢。（3）MR和hadoop紧密耦合在一起，无法动态替换Spark的历史 （1）2013年6月发布 （2）Sp
转载
2023-08-10 16:28:35
67阅读
Spark调用集群的计算/存储资源来处理数据，是大规模的数据处理/机器学习绕不开的一个话题。Spark提供获得数据（如RDD and DataFrame）以及数据分析（如MLLib）的工具。我个人主要是在公司里折腾深度学习模型，所以没有用不上MLLib中提供的工具。虽然说看databricks就知道这东西肯定很多人有用的。RDD和DataFrame恰好是历史上的先后，我们也就照历史线写一下：Spa
转载
2023-06-13 15:38:25
131阅读
Spark和Hadoop的比较 MapReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建弹性分布式数据集RDD，对数据进行运算和cache编程范式：Map+ReduceDAG：Transformation+Action计算中间结果写入磁盘，IO及序列化、反序列化代价大计算中间结果在内存中维护，存取速度比磁盘高几个数量级Task以进程方式维护需要数秒时间才能够
转载
2023-09-03 16:37:22
100阅读
# 优化Spark上亿数据merge into操作
在处理大规模数据时，Spark是一个非常强大的工具。然而，在一些情况下，当我们需要将两个数据集合并时，特别是在一个拥有上亿条数据的数据集中进行merge into操作时，性能可能会遇到挑战。本文将介绍如何在Spark中优化这种情况下的merge into操作。
## 问题描述
在Spark中，merge into操作通常用于将两个数据集按照
原创
2024-05-10 06:16:53
190阅读
企业大数据平台的搭建，往往需要根据实际的企业数据处理需求来做，这是毋庸置疑的。但是随着企业数据源的持续更新，大数据平台框架也需要与时俱进，不断进行优化。以Spark计算框架为例，Spark调优应该怎么做呢？下面为大家分享一些Spark框架数据处理调优的思路。 Spark作为大数据处理框架，典型的优势就是实时计算，包括流式处理Spark Streaming等，在面对不同阶段的数据处理时
转载
2023-08-09 12:39:51
45阅读
Spark科普定义概念RDD作业（Job），阶段（stages）, 任务应用上下文ApplicationContext转换和动作缓存运行作业机制执行器和任务管理器运行在Yarn上的Spark 定义Spark是用于大规模数据集群计算的矿建。它可以在YARN上处理HDFS的数据集，但是它并没有使用MapReduce作为它的分布式计算框架，而是自己实现。这样做的好处是提升了数据处理的效率，因为MapR
转载
2024-01-21 07:42:36
41阅读
spark优化参数--设置spark shuffle分区数量参考： excutor-cores * 3
set("spark.sql.shuffle.partitions", "36")
--1.broadcastHashJOin
--默认小表小于10M自动进行广播join
set("spark.sql.autoBroadcastJoinThreshold","10m")
--1.可强制使用
转载
2023-10-02 07:35:48
323阅读
<dependency>
<groupId>org.apache.
spark</groupId>
<artifactId>
spark-core_2.11</artifactId>
<version>2.3.3</version>
</dependency>
转载
2023-10-17 21:28:22
57阅读
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对Kafk
转载
2023-11-09 14:52:30
70阅读
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContex
转载
2023-08-13 23:03:10
190阅读
