序言整理一下SparkSql DataSet Api的使用方式与心得cuiyaonan2000@163.com参考资料:
Dataset (Spark 3.2.1 JavaDoc)Dataset (Spark 3.2.1 JavaDoc)
Getting Started - Spark 3.2.1 Documentation -----官网的用例背景在使用sparksql的时候,应用
转载
2024-04-15 23:54:55
35阅读
https://github.com/aliyun/MaxCompute-Spark/wiki/02.-Spark-on-Dataworks ...
转载
2021-08-16 11:01:00
176阅读
秋招第三弹：oppo一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全。时长：70min左右自我介绍问项目，问的不深，大概一些设计的数据类型、业务线、业务逻辑怎么处理的、怎么处理的脏数据、模型怎么设计的？数仓建模这个问题也是比较重要，被问到的几率也很高spark OOM
目录一、DataFrame是什么二、DataSet是什么三、DataFrame三、RDD、DataFrame、DataSet之间的互相转换四、spark读取1、对于Hive2、对文件操作3、对数据库操作五、hint与AQE六、spark sql是如何选择join策略的？1、SparkSQL支持三种Join算法2、Hash Join3、Broadcast Hash Join 4、Shuff
转载
2024-05-15 13:35:43
41阅读
# 数据工程中的ODPS Spark参数传递与流程管理
在现代数据工程领域，阿里巴巴的MaxCompute（原ODPS）平台因其强大的数据处理能力而广受欢迎。其中，Spark作为一种高效的大数据处理框架，常被用于ODPS上进行数据分析和处理。本文将介绍如何在ODPS上使用Spark进行参数传递，并结合甘特图和状态图来展示数据处理流程。
## ODPS Spark参数传递
在ODPS上运行Sp
原创
2024-07-30 07:50:08
189阅读
首先我们要创建SparkSession
val spark = SparkSession.builder()
.appName("test")
.master("local")
.getOrCreate()
import spark.implicits._ //将RDD转化成为DataFrame并支持SQL操作
然后我们通过SparkSession来创建DataFrame
1.使用toDF函数创建
转载
2023-08-28 20:00:59
250阅读
DataX 是一款支持任意异构数据系统离线数据交换的工具、框架、平台，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。目前DataX支持数十种各类数据存储、计算系统，每天为阿里集团传输数据高达数十T。DataX服务的客户不仅仅局限于三淘、支付宝、阿里巴巴B2B，阿里集团外部客户有大众点评、蘑菇街等也在采用Da
转载
2024-06-22 00:44:10
161阅读
一、开通Dataworks（1）百度搜Dataworks，进入如下页面，点击立即开通 （2） 这里要选好自己想要的配置，这里展示我之前的配置解决方案：选DataWorks+MaxCompute组合产品 DataWorks：标准版 购买时长：1年 MaxCompute：按量付费（3）开通好之后，进入Dataworks的控制台，点击dataworks首页二、进入dataworks首页三、数据开发（1）
转载
2024-01-16 20:46:16
25阅读
目录一、DataWorks概况1.1 定义1.2 功能1.3 与MaxCompute的关系二、基于DataWorks与MaxCompute构建云数仓三、是否适用于本公司一、DataWorks概况1.1 定义DataWorks 是基于MaxCompute计算引擎的一站式开发工场，帮助企业快速完成数据集成、开发、治理、质量、安全等全套数据研发工作。1.2
转载
2023-07-28 14:58:22
198阅读
一、概述DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实
转载
2024-01-03 09:55:26
117阅读
什么是DataWorksDataWorks是从工作室、车间到工具集都齐备的一站式大数据工场，助力您快速完成数据集成、开发、治理、服务、质量和安全等全套数据研发工作。本文为您介绍什么是DataWorks，以及DataWorks的功能和使用限制。DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据
转载
2023-10-01 20:52:06
242阅读
DataWorks开发规范1 数仓基本概念
1.4.1 ods数据源层表命名规范
1.4.2 dim维表层表命名规范
1.4.3 dwd数据明细层表命名规范
1.4.3 dws数据明细层表命名规范
1.4.4 ads数据应用层表命名规范
1.1 数据仓库架构
1.2 数据仓库具体业务域划分
1.3 数据仓库数据流动方向
1.4 数据仓库中表命名规范
2 DataWorks开发规范
2.
转载
2024-01-10 21:56:59
1964阅读
1、DataWorks概念DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，提供了数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务和一站式开发管理的界面。DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，提供专业高效、安全可靠的一站式大数据开发和治理的平台，自带阿
转载
2023-09-06 11:12:58
322阅读
背景：2018年5月份，刚来公司的时候要求写一份大型的数据报告，大概200多页。那时候公司的BI数据仓库还没搭建完善，而且数据ETL仍然使用的是KETTLE工具，只能支撑T+1的更新。更郁闷的是写个算法，结果跑了8个小时根本无法支撑整个每天产生的GB级别的数据计算量。还有更可怕的是，公司产品分为好几个版本，且放在不同的生产库内，早期的开发很多都离职了且经常是标注不明确，导致大量的脏数据。（还好后期
转载
2024-07-29 17:17:42
98阅读
阿里的datav是近两年阿里推出的一款市局大屏应用，主要是用于1920*1080以上的大屏幕数据展示的，小屏幕报表的还有个QuickBI。 网络上还有网易和帆软之类的有类似的产品。datav网易有数虽然datav提供了一些自带的组件（38款）有列表柱状图和一些地图 但实际上这些组件还是太少，难以满足更多的需求。 很多的组件的样式非常的固定没有什么改造的空间，这个时候就需要用datav的自定义组件功
转载
2024-01-31 16:10:19
150阅读
# Spark怎样进行测试
Apache Spark 是一个强大的分布式计算框架，它简化了大数据处理的复杂性。然而，随着数据处理应用程序的复杂性增加，测试变得至关重要。在本文中，我们将探讨如何为 Spark 应用程序编写测试，包括单元测试、集成测试和性能测试。同时，我们也会提供一些代码示例以及可视化的流程图和关系图。
## Spark 测试的类型
在 Spark 中，有几种主要的测试方式：
原创
2024-07-31 08:02:39
93阅读
# 如何启动 Spark：新手指南
Apache Spark 是一个强大的分布式计算框架，广泛应用于大数据处理和分析。如果你是刚入行的小白，可能会对如何启动 Spark 感到困惑。在这篇文章中，我将带你一步一步地了解如何启动 Spark，并附上相应的代码示例和说明。
## 启动 Spark 的流程
在了解具体的代码之前，让我们首先来看一下启动 Spark 的基本步骤。
| 步骤 | 描述
# 怎样下载Spark：一份详尽指南
Apache Spark 是一个强大的开源分布式计算框架，广泛用于快速大数据处理和分析。如果你想开始使用 Spark，那么了解如何下载和配置它是必不可少的。本文将带你走过下载 Spark 的每一个步骤，并提供示例代码、旅行图和序列图，以帮助你更好地理解整个过程。
## 1. Spark概述
Apache Spark 提供了一种快速、通用的计算引擎，支持多
原创
2024-09-19 04:37:31
28阅读
一、说明调度参数是DataWorks任务调度时使用的参数，调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。二、系统内置变量DataWorks支持的系统内置变量无需手动赋值，参数可以在代码中直接引用。如下表所示：2.1业务日期${bdp.system.bizdate} 或 $bizdate 固定格式：yyyymmdd 该参数的应用较为
转载
2024-01-30 23:46:39
218阅读
1. 什么是DataWorksDataWorks（大数据开发治理平台）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可
转载
2024-06-24 09:42:53
164阅读
