? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。祝开卷有益。大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括：工作流实例记录(MySQL)任务实例记录(MySQL)任务日志(本
一、背景大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。下图是截至2024年6月初，统计到B站大数据的服务规模：大数据所需承载的业务种类愈加繁多，为更好地满足业务场景的诉求，同时提升稳定性要求，我
导读：国内某头部理财服务提供商成立于 2019 年，是股份制银行中首批获准筹建、首家获准开业、首家成立的银行理财子公司。自 2004 年推出国内首支人民币理财产品以来，通过投资模式的不断创新和投资管理能力的持续提升，引领国内银行业理财市场。该企业每天处理的任务量达 1W，内部系统众多，当务之急是需要一个统一的调度和监控平台，支持不同理财业务场景下的需求。2023 年之前，该企业使用开源版本的大数据
导读随着AIGC时代的到来，机器学习技术也在不断涌现，例如chatgpt和diffusion等模型的诞生，给人工智能带来了新的机遇和挑战。对于企业和个人而言，跟不上这波潮流，可能就会被淘汰。因此，如何研究和应用新的机器学习技术，成为了各行各业的关注焦点。而 Apache DolphinScheduler作为一款优秀的开源调度系统，结合Ray AI Runtime，可以构建可复用的机器学习工作流，提
最近，有些用户反映在使用 Apache DolphinScheduler 资源中心时会遇到问题，社区小伙伴整理了一些常见问题，希望帮大家解决燃眉之急。
主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 Spark 为主的多种类型的离线任务，以及为了满足业务需求、提升用户使用体验，在 DS 和 Spark 上所做的各种改进。
惊喜：文末有插件推荐，随着大数据的进一步发展，不管是离线任务量还是实时任务量都变得越来越多，对调度系统的要求也越来越高，不仅要求系统稳定还要求操作简单，上手方便。
作者简介淡丹数仓开发工程师5年数仓开发经验，目前主要负责百得利MOBY新车业务二手车业务及售后服务业务系统数仓建设业务需求在ETL任务之间调度时，我们有的时候会需要将上游的计算结果作为参数传入到下游，针对这种业务需求，海豚调度器为我们提供了一些功能。具体如下：DolphinScheduler允许在任务间进行参数传递，目前传递方向仅支持上游单向传递给下游。支持这个特性的任务类型有：ShellSQL当
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
