一、先学会WordCount我们依然把WordCount当作我们的基本用例，虽然前文已经给了WordCount代码，但是我们想试着写一下。还记得之前MapReduce的WordCount代码吗？明明简单的WordCount结果由于僵化的两阶段编程，导致代码又臭又长，反观Spark，言简意赅，极具美感。第一次写，一定会懵，但是无所谓，我们先思考再动手。我们需要写一个Spark的代码，我们前文说过，D
导读：通过简化复杂的任务依赖关系， DolphinScheduler为数据工程师提供了强大的工作流程管理和调度能力。在3.2.0版本中，DolphinScheduler带来了一系列新功能和改进，使其在生产环境中的稳定性和可用性得到了显著提升。为了帮助读者更好地理解和应用这一版本，我们精心准备了这篇DolphinScheduler 3.2.0生产集群高可用搭建全攻略，深入探讨如何在生产环境中搭建一个
转载
2024-10-29 10:14:26
157阅读
背景介绍在数仓 ETL、离线及实时计算的场景下，数据任务的依赖调度关系越来越复杂。在 Amazon 平台上提供了托管的 Apache Airflow (MWAA) 与 Step function、Glue Workflow 等具有一定调度编排任务的工具，但在可视化一体管理操作上的支持都有一定的限制缺失。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提
转载
2024-02-19 19:26:37
171阅读
一、SQL解析过程
### --- sql解析过程
~~~ Spark SQL 可以说是 Spark 中的精华部分。
~~~ 原来基于 RDD 构建大数据计算任务，重心在向 DataSet 转移，原来基于 RDD 写的代码也在迁移。
~~~ 使用 Spark SQL 编码好处是非常大的，尤其是在性能方面，有很大提升。
~~~ Spark S
转载
2023-08-26 22:25:55
32阅读
1、SparkSQL的发展历程1.1 Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率
转载
2023-08-11 16:58:21
84阅读
说到Spark SQL ，我们不得不提到它的优化器（Catalyst），Catalyst是Spark sql的核心，它是针对于Spark SQL语句执行过程中的查询优化框架。所以在想了解Spark SQL的执行流程的时候，理解一下Catalyst的工作流程是很有必要的！ 了解Catalyst的话！ 一张图解释一下它的全流程。其中黑色方框为Catalyst的工作流程。&n
转载
2023-09-05 10:09:56
78阅读
## 如何执行 SparkSQL：从小白到高手的完整指南
### 1. 引言
在大数据领域，Apache Spark已经成为一种强有力的工具，能够高效处理大规模数据。SparkSQL是Spark组件之一，使得用户可以以结构化数据的方式执行SQL查询。对于新手来说，从头开始学习如何执行SparkSQL可能会感到困惑。在本文中，我们将逐步讲述如何执行SparkSQL，并提供详细代码和解释，帮助你轻
原创
2024-09-22 05:53:12
49阅读
13.108.Spark 优化 1.1.25.Spark优化与hive的区别 1.1.26.SparkSQL启动参数调优 1.1.27.四川任务优化实践：执行效率提升50%以上13.108.Spark 优化：1.1.25.Spark优化与hive的区别先理解spark与mapreduce的本质区别，算子之间（map和reduce之间多了依赖关系判断，即宽依赖和窄依赖。） 优化的思路和hive基本一
转载
2024-08-14 19:16:47
60阅读
文章目录一、SparkSQL 核心编程介绍二、SparkSQL 核心概念2.1 DataFrame2.1.1 创建 DataFrame2.1.2 SQL 语法2.1.3 DSL 语法2.1.4 RDD 转换为 DataFrame2.1.5 DataFrame 转换为 RDD2.2 DataSet2.2.1 创建 DataSet2.2.2 RDD 转换为 DataSet2.2.3 DataSet
转载
2023-08-11 15:12:53
205阅读
摘要Apache DolphinScheduler 3.1.0发版后，添加了诸多AI组件，帮助用户在Apache DolphinScheduler上更方便地构建机器学习工作流。本文介绍如何建立DolphinScheduler与一些机器学习的环境，并以实验案例介绍MLflow组件和DVC组件的使用。01DolphinScheduler与机器学习环境01实用项目所有的代码可在 https://gith
# DolphinScheduler 执行Java教程
## 前言
在使用DolphinScheduler进行任务调度时，有时需要执行一些Java代码。本文将向你介绍如何在DolphinScheduler中执行Java代码，帮助你快速入门。
## 整体流程
下面的表格展示了执行Java代码的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个Java任务
原创
2023-11-03 14:14:01
187阅读
## Dolphinscheduler执行Python脚本简介
Dolphinscheduler是一个分布式可视化大数据工作流任务调度系统。它提供了易于使用的Web界面，用于创建、调度和监控大数据任务。
在Dolphinscheduler中，可以使用多种编程语言编写任务脚本，包括Python。Python是一种易于学习和使用的脚本语言，广泛应用于数据处理、机器学习和人工智能等领域。在本文中，我
原创
2023-10-29 13:17:55
207阅读
# DolphinScheduler执行Python任务的科普
## 引言
在大数据和机器学习蓬勃发展的今天，任务调度成为了数据处理的关键环节。Apache DolphinScheduler是一个分布式的大数据工作流任务调度平台，它可以帮助用户管理和调度各种类型的任务。其中，执行Python脚本是它的重要功能之一。接下来，我们将介绍如何在DolphinScheduler中执行Python任务，
原创
2024-09-09 05:11:03
202阅读
Python节点使用python节点，可以直接执行python脚本，对于python节点，worker会使用python **方式提交任务。拖动工具栏中的任务节点到画板中，如下图所示：脚本：用户开发的Python程序环境名称：执行Python程序的解释器路径，指定运行脚本的解释器。当你需要使用 Python 虚拟环境 时，可以通过创建不同的环境名称来实现。资源：是指脚本中需要调用的资源文件列表自定
spark-submit命令（集群模式）限制资源，资源不足时候会卡在分配资源（–total-executor-cores 和 –executor-cores为总数和单点cores数量)spark-submit --class test.Streamings --master spark://192.168.3.74:7077 --deploy-mode cluster --executor-mem
转载
2024-06-19 20:26:18
100阅读
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、Structured Streaming、MLlib、Graphx等组件。Spark Core：Spark Core包含Spark最基础和最核心的功能，如内存计算、任务调度、部
转载
2023-08-10 09:11:38
84阅读
背景最近在做Spark 3.1 升级 Spark 3.5的过程中，遇到了一批SQL在运行的过程中 Driver OOM的情况，排查到是AQE开启导致的问题，再次分析记录一下，顺便了解一下Spark中指标的事件处理情况结论SQLAppStatusListener 类在内存中存放着 一个整个SQL查询链的所有stage以及stage的指标信息，在AQE中 一个job会被拆分成很多job，甚至几百上千的
转载
2024-06-26 16:03:56
88阅读
概述本文介绍Saprk中DAGScheduler的基本概念。该对象实现了一个面向Stage的高层调度器。它为每个Job计算一个Stage的DAG图，并跟踪这些RDD和Stage的输出，并找到一个最小的代价的DAG图来运行该Job。DAGScheduler介绍在文章《spark2原理分析-Stage的实现原理》中，介绍了Stage的基本概念和Stage的提交实现原理。本文主要介绍 DAGSchedu
转载
2023-12-21 11:28:48
150阅读
1. RDD 和 SparkSQL 运行时的区别查看执行计划----------------------explainRDD的运行流程SparkSQL程序运行流程和 RDD 不同, SparkSQL 的 Dataset 和 SQL 并不是直接生成计划交给集群执行, 而是经过了一个叫做 Catalyst 的优化器, 这个优化器能够自动帮助开发者优化代码 也就是说, 在 SparkSQL 中, 开发者
转载
2023-08-02 10:18:36
206阅读
目录2. 集群规划2.1 集群配置2.2 软件版本2.3 集群规划3. 环境准备3.1 基础软件准备(必装项请自行安装)3.2 pip、kazoo 安装3.3 创建部署用户3.4 对部署用户配置免密3.5 dolphinscheduler 安装包下载2. 集群规划2.1 集群配置略2.2 软件版本软件版本CDHCloudera 6.2.0dolphinscheduler1.2.02.3 集群规划注
转载
2024-02-14 22:40:58
60阅读
