一、 Spark概述1． 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spa
转载
2023-09-04 10:49:29
124阅读
Spark大数据技术与应用 第一章Spark简介与运行原理 1.Spark是2009年由马泰·扎哈里亚在美国加州大学伯克利分校的AMPLab实验室开发的子项目，经过开源后捐赠给Aspache软件基金会，成为了Apache Spark。由Scala语言实现的专门为大规模数据处理而设计的快速通用的计算引擎。 2.Spark的三个特点：（1）易于使用Spark提供高级应用程序编程接口（2）计
转载
2023-08-31 09:35:22
90阅读
什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、Graph
转载
2024-01-18 17:07:18
47阅读
一、Spark简介与优点：Spark 是专为大规模数据处理而设计的开源、快速、通用的计算引擎。可以使用Java、Scala、Python、R 和 SQL 等语言调用API来执行spark 。Spark可以在Hadoop YARN、Apache Mesos 和独立集群管理器上运行。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark借鉴Ha
转载
2023-08-17 22:51:50
274阅读
应用场景Apache Spark 是加州大学伯克利分校的 AMP Labs 开发的开源分布式轻量级通用计算框架。由于 Spark 基于内存设计，使得它拥有比 Hadoop 更高的性能（极端情况下可以达到 100x），并且对多语言（Scala、Java、Python）提供支持。其一栈式的设计特点使得我们的学习和维护成本大大地减少，而且其提供了很好的容错解决方案。操作步骤1. 主要功能
转载
2023-10-11 21:32:56
74阅读
前提提到Wireshark主要是由于有关TCP/IP的理论太过羞涩，容易造成混淆复杂化，为了显得更加直白好理解，在后面的文章中将会引入Wireshark进行辅助，以便更好地阐述。说白了，Wireshark是一款开源且免费的抓包工具，用专业术语来说就是数据包嗅探器，因为是外国人开发的软件，在不FQ的情况下难免下载会比较慢，不过倒是有其他人下好了放在百度云盘上，搜一下便有了，接下来简要说说如何安装。安
转载
2023-06-21 11:54:03
431阅读
Sameer是就职于Databricks的客户服务工程师，专注于Spark相关的技术支持、咨询和培训。在加入Databricks之前，他以大数据培训师和咨询师的自由职业者身份，在全球范围内进行了超过120多次以大数据为主题的教学，内容包括Hadoop，HDFS，MapReduce，Hive，Pig，HBase等等。在成为自由职业者之前，Sameer曾在Hortonworks，Accenture
文章目录1.1 框架设计原理1.2 框架搭建1.2.1 Util1.2.2 core封装1 更改trait2 添加依赖3 WordCountApplication三层架构 1.1 框架设计原理 框架设计思想可以采取两种模式，一种是MVC，另外一种是三层架构，由于我们这里没有页面展示的需求，所以我们暂时采取三层架构的方式。.三层架构的概念Controller:控制层，封装调度作用，数据的流转过程S
转载
2023-12-16 06:55:53
81阅读
1.RDD是什么？RDD(Resilient Distributed Datasets) ,弹性分布式数据集， 是分布式内存的一个抽象概念，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而
转载
2023-10-11 08:14:39
91阅读
上篇文章聊到了对账系统业务逻辑以及千万数据集对账系统存在的难点，这篇文章就来聊下千万级数据集下对账系统实现方案。首先我们先来看下对账整体时序图，先有个印象：下面整篇文章将会围绕上面时序图开始讲解，由于文章篇幅过长，所以文章将会拆分成上下两部分。数据平台上次文章中提到，千万级数据需要使用 Hive，Spark等相关大数据技术，这就离不开大数据平台的技术支
转载
2024-01-04 19:40:24
100阅读
什么是DAG？ DAG的全称为“Directed Acyclic Graph”，中文意思为：有向无环图，它由有限个顶点和“有向边”组成，从任意顶点出发，经过若干条有向边，都无法回到该顶点，这种图就是有向无环图。 DAG 在图论中的本意？ 先从区块链说起。如果你有编程知识背景，肯定知道链表的概念，链表就是一条很多节点链接成的一条链，每个节点中包含指向前一个节点的链接。区块链
本文目录如下：第1章 Spark 机器学习简介1.1 Spark MLlib 与 Spark ML1.1.1 Spark MLlib1.1.2 Spark ML (重点)1.2 Pipelines 的主要概念1.2.1 转换器 (Transformer): 实现了 `transform()` 方法1.2.2 评估器 (Estimator): 实现了 `fit()` 方法1.2.3 管道 (Pip
转载
2023-08-28 19:11:12
38阅读
# 如何实现"spark advisoryTargetPostShuffleInputSize"
## 引言
作为一名经验丰富的开发者，你需要了解如何使用spark来调整和优化性能。在spark中有一个参数"advisoryTargetPostShuffleInputSize"，它是用来调整Shuffle阶段的输入大小的。现在有一位刚入行的小白不知道如何实现这个参数，你需要指导他。
## 整体
原创
2024-04-25 05:04:22
102阅读
# Spark 广播是什么？
在大数据处理的世界中，Apache Spark是一个广泛使用的分布式计算框架。随着数据量的快速增长，Spark提供了一些优化策略以提高计算效率，其中之一就是广播（Broadcast）机制。本文将详细介绍Spark的广播机制，包括如何使用它以及其优点。
## 什么是广播？
在Spark中，广播是一种将大规模只读数据有效分发到所有工作节点的机制。当一个大的数据集，比
原创
2024-09-24 05:38:25
38阅读
# Spark Hints是什么：优化你的大数据查询
Apache Spark是一个广泛使用的开源大数据处理框架，它提供了一个快速、通用的并行计算平台。在Spark中，优化查询性能是一项重要的任务，而`Spark Hints`是Spark SQL中用于提供查询优化建议的一种机制。本文将介绍Spark Hints的基本概念、使用方式，并结合代码示例和图表来进一步解释。
## Spark Hint
原创
2024-07-30 11:34:44
254阅读
Spark API 是 Apache Spark 提供的编程接口，允许用户以分布式数据处理的方式进行大规模数据分析。本文将详细探讨 Spark API 的使用，包括环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用。
## 环境准备
### 前置依赖安装
要使用 Spark API，需安装 Java、Scala 和 Spark 环境。以下是在 Ubuntu 上的安装步骤：
```s
1 云集成与云基础设施的集成。1.1 介绍所有主要的云提供商都在 对象存储 中提供持久的数据存储。这些不是经典的 “POSIX” 文件系统。为了在不出现任何故障的情况下存储数百字节的数据，对象存储用一个更简单的 “object-name => data” 模型替换了传统的文件系统目录树。为了支持远程访问，对象上的操作通常使用(缓慢的) HTTP REST 协议接口。Spark 可以通过 Ha
基本概念和任务的执行流程1、基本概念2、执行流程ApplicationMaster用户提交的每个应用程序均包含一个ApplicationMaster，它可以运行在ResourceManager以外的机器上。负责与RM调度器协商以获取资源（用Container表示）。将得到的任务进一步分配给内部的任务(资源的二次分配)。与NM通信以启动/停止任务。监控所有任务运行状态，并在任务运行失败时重新为任务申
一、SparkOnYarn搭建安装前需要提前安装好 hadoop 环境，关于 HDFS 和 Yarn 集群的搭建可以参考下面我的博客：下面是我 Hadoop 的安装结构主机规划设置主机名角色192.168.40.172node1NameNode、DataNode、ResourceManager、NodeManager192.168.40.173node2SecondaryNameNode、Data
spark ae是什么？Apache Spark的一个重要功能，通常指的是Spark的“高级引擎”，其应用场景多种多样，能够在大数据处理、流处理和机器学习等领域发挥重要作用。以下是对spark ae的详细探讨。
### 背景定位
在大数据时代，数据处理的规模和复杂度日益增加。Apache Spark因其高效的内存计算和易用的API而成为热门的分布式数据处理框架。最初，Spark是作为Hadoo
