? 本系列文章是 DolphinScheduler 由浅入深的教程,涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。祝开卷有益。大家好,我是小陶,DolphinScheduler 运行一段时间之后,会积累大量的历史运行记录,这些记录主要包括:工作流实例记录(MySQL)任务实例记录(MySQL)任务日志(本
一、背景大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。下图是截至2024年6月初,统计到B站大数据的服务规模:大数据所需承载的业务种类愈加繁多,为更好地满足业务场景的诉求,同时提升稳定性要求,我
导读:国内某头部理财服务提供商成立于 2019 年,是股份制银行中首批获准筹建、首家获准开业、首家成立的银行理财子公司。自 2004 年推出国内首支人民币理财产品以来,通过投资模式的不断创新和投资管理能力的持续提升,引领国内银行业理财市场。该企业每天处理的任务量达 1W,内部系统众多,当务之急是需要一个统一的调度和监控平台,支持不同理财业务场景下的需求。2023 年之前,该企业使用开源版本的大数据
导读随着AIGC时代的到来,机器学习技术也在不断涌现,例如chatgpt和diffusion等模型的诞生,给人工智能带来了新的机遇和挑战。对于企业和个人而言,跟不上这波潮流,可能就会被淘汰。因此,如何研究和应用新的机器学习技术,成为了各行各业的关注焦点。而 Apache DolphinScheduler作为一款优秀的开源调度系统,结合Ray AI Runtime,可以构建可复用的机器学习工作流,提
最近,有些用户反映在使用 Apache DolphinScheduler 资源中心时会遇到问题,社区小伙伴整理了一些常见问题,希望帮大家解决燃眉之急。
主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务,以及为了满足业务需求、提升用户使用体验,在 DS 和 Spark 上所做的各种改进。
惊喜:文末有插件推荐,随着大数据的进一步发展,不管是离线任务量还是实时任务量都变得越来越多,对调度系统的要求也越来越高,不仅要求系统稳定还要求操作简单,上手方便。
作者简介淡丹数仓开发工程师5年数仓开发经验,目前主要负责百得利MOBY新车业务二手车业务及售后服务业务系统数仓建设业务需求在ETL任务之间调度时,我们有的时候会需要将上游的计算结果作为参数传入到下游,针对这种业务需求,海豚调度器为我们提供了一些功能。具体如下:DolphinScheduler允许在任务间进行参数传递,目前传递方向仅支持上游单向传递给下游。支持这个特性的任务类型有:ShellSQL当
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号