大家好，我叫高楚枫，来自阿里云 EMR 团队的开发工程师，同时也是 Apache DolphinScheduler 的 PMC 成员之一。 今天非常高兴能在这里和大家分享关于跨工作流复杂依赖的功能详解。 引言 在现代的数据处理和调度过程中，工作流的依赖管理变得越来越复杂，尤其是当涉及多个工作流的依赖关系时。Apache DolphinScheduler 为此提供了强大的跨工作流依赖功能，帮助开发
本文主要为大家介绍Apache DolphinScheduler的单机部署方式，方便大家快速体验。 环境准备 需要Java环境，这是一个老生常谈的问题，关于Java环境的安装与配置期望大家都可以熟练掌握。 验证java环境 java -version 下载安装包并解压 使用wget下载安装包 wget ://dlcdn.apache.org/dolphinscheduler/3.
作者：海豚调度研究随笔 编辑整理：曾辉 前言 Apache DolphinScheduler 是一个优秀的分布式调度系统，广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建Apache DolphinScheduler的前后端开发环境。 包括从源码的下载、环境配置、数据库初始化、依赖安装等具体步骤，帮助开发者在本地快速搭建并运行DolphinScheduler，适
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 推荐阅读： 海豚调度监控：使用图关系解决核心链路告警问题，减轻任务运维负担，用户五星好评！ 海豚调度异常处理 | 使用 arthas 在内存中删除启动失败的工作流，无需修改代码！ 海豚调度
引言我叫李庆旺，是Cisco Webex的一名软件工程师，同时也是Apache DolphinScheduler（以下简称DS）的Committer。在过去的两年里，公司基于Apache DolphinScheduler进行了多项持续改进和创新，以更好地适应我们的业务需求。本文将介绍这些改进的具体内容，以及我们对社区的贡献。主要包括以下五个部分：我们的系统架构在业务上遇到的挑战以及解决方案探讨在安
亲爱的社区小伙伴们，Apache DolphinScheduler 线上 Meetup 讲师&议题火热征集中！ 如果你热爱开源，对大数据调度有着深厚的兴趣，并且愿意将你的知识和经验分享给更多人，那么这就是你的舞台！这是一个锻炼自己的机会，让你不仅能够展示自己的技术能力，还能在开源社区中广交朋友。? ? 为什么要成为布道师？ 成为Apache DolphinScheduler布道师，你不仅
各位热爱 Apache DolphinScheduler 的小伙伴们，社区7-8月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！ Merge Stars 感谢以下小伙伴上两个月为 Apache DolphinScheduler 项目和社区发展所做的精彩贡献（排名不分先后）： @pusl6,@QuakeWang,@EricGao888,@sta
转载自神龙大侠 我是用olphinScheduler 3.2.1版本做源代码编译部署（部署方式参考我的另外一篇文档《源代码编译，Apache DolphinScheduler前后端分离部署解决方案》） 二进制文件部署本文也适用，只需要修改相对应的配置即可。 资源管理底层基座替换成hdfs Flink程序jar包是在资源中心进行管理的，对于dolphinscheduler系统来说，资源主要包括3类
最近在看Apache DolphineScheduler，发现DolphinScheduler在处理任务时，通过先将任务快速的存储在数据库中，然后基于对应的Task，将Task放入队列中，然后将Task进行快速消费的思路。 这种模型在很多框架中，都有体现。 我们知道在Master模块时处理任务的核心模块，而API模块主要是界面中操作的UI逻辑，而Alert模块是告警模块。 因此如果想要了解里面的
文 / 兴业证券股份有限公司 刘洋 石良生 柳君 李致琪 本文来源于网络，如有侵权，请联系删除 任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过分析兴业证券自身任务调度现状，对分布式任务调度技术进行解析与探索，并总结了统一分布式任务调
近日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届数据库技术大会（DTCC 2024）隆重召开。大会以“自研创新 数智未来”为主题，吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴，共同探讨新时代下数据库的技术动态和应用实践。 作为全球的DataOps践行者，白鲸开源联合创始人 代立冬参加了大会的DataOps专场，分享了题为《智能
白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发运维一体化平台项目。这一合作将为申万宏源带来一系列显著优势：通过提供一站式的高性能数据调度管理方案，我们将显著增强申万宏源的数据管理能力，确保系统的高可用性、高扩展性和高安全性。这不仅将推动申万宏源的业务增长，还将加速其智能化升级进程，为公司的长期繁荣提供新引擎。 白鲸开源 白鲸开源是一家开源原生的DataOps商业公司，是高新
转载自神龙大侠 生产环境部署方案 在企业线上生产环境中，普遍的做法是至少实施两套环境。 测试环境 线上环境 测试环境用于验证代码的正确性，当测试环境验证ok后才会部署线上环境。 鉴于CI/CD应用的普遍性，源代码一键部署是必要的。 本文是探索对DolphinScheduler源代码改造，构建测试，线上双环境一键部署和上线。 同时，我对dolphinscheduler-api进行改造，使得前端
引言 Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要，社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程，包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤，并指出了发版流程中可能会遇到的麻烦以及相应的解决方案，欢迎学习指正。 一、发版物料 （1）Apache要求 a. Maven仓库物料（发版
Standalone 仅适用于 DolphinScheduler 的快速体验. 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用Standalone方式体检。 如果你想体验更完整的功能，或者更大的任务量，推荐使用伪集群部署。如果你是在生产中使用，推荐使用集群部署或者kubernetes。 前置准备工作 JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME
背景介绍 某企业深耕于新能源制造行业，致力于推动能源技术的发展与应用。作为一家具有多年行业经验的企业，我们在新能源领域积累了深厚的技术实力和市场认知，业务涵盖了新能源产业链的关键环节，从上游的装备制造业到下游的应用解决方案，为客户提供全方位的服务。 随着业务的不断发展，日益增长的跨基地生产数据同步及计算对我们的整体数据架构带来了极大的挑战。 数据架构 以上是现有的数据架构图，其中最大的特点为跨基
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。祝开卷有益。大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括：工作流实例记录(MySQL)任务实例记录(MySQL)任务日志(本
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 祝开卷有益。 大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括： 工作流实例记录(MySQL) 任务实例记录(MySQL)
数字化转型提速中！传统农牧食品行业也寻求搭上数字化转型的快车，通过物联网、大数据、人工智能等现代信息技术，实现生产、加工、流通等环节的智能化和自动化，提高生产效率、优化资源配置、提升产品质量，并满足消费者对食品安全和可追溯性的需求。 在数字化浪潮的推动下，铁骑力士集团作为一家历史悠久的农牧食品企业，正通过引入先进的调度平台——Apache DolphinScheduler，实现其数字化转型的宏伟
各位小伙伴晚上好，我是联通数字科技有限公司数据智能事业部的王兴杰。 今天，我将和大家聊一聊联通数字科技有限公司是如何基于Apache DolphinScheduler构建DataOps一体化能力平台的。 今天的分享主要分为三个部分： 关于DataOps的一些思考； 企业在实施任务调度系统时的一些困境和困难； 我们基于Apache DolphinScheduler所做的一些改造。 DataOp
在 AI 时代，DataOps 2.0 代表了一种全新的数据管理和操作模式，通过自动化数据管道、实时数据处理和跨团队协作，DataOps 2.0 能够加速数据分析和决策过程。它融合了人工智能和机器学习技术，使得数据的获取、清洗和分析更加高效，推动企业在快速变化的市场中保持竞争优势。 另一方面，在 AI 时代，调度编排技术正变得愈发重要，成为高效资源管理和任务自动化的核心。通过智能算法和机器学习，
8月2日，第六届“创翼”创业创新大赛北京市选拔赛暨第七届“创业北京”创业创新大赛圆满落幕，白鲸开源的 「全球的大模型时代数据工程平台」项目荣获优秀奖。 据悉，本届大赛以“创响新时代 共圆梦”为主题，由人力资源社会保障部指导，北京市人力资源和社会保障局联合13家单位共同主办。比赛设先进制造和现代服务2个主体赛、3个专项赛和2个特色赛，共计7个赛道，共吸引2704个创业项目报名参赛，创历
一、背景大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。下图是截至2024年6月初，统计到B站大数据的服务规模：大数据所需承载的业务种类愈加繁多，为更好地满足业务场景的诉求，同时提升稳定性要求，我
因为在工作中需要推动Apache DolphinScheduler的升级，经过预研，从1.3.4到3.1.2有的体验了很大的提升，在性能和功能性有了很多的改善，推荐升级。 查看官方的升级文档，可知有提供升级脚本，如果只是跨小版本的更新那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现各种问题，特此总结。 旧版本：1.3.4 <br>新版本：3.1.2 问题合集 1.资源中心报
最近我们遇到很多客户需求是把Talend迁移到WhaleStudio，主要是发现WhaleStudio支持的数据源多很多，从各个版本的SAP到AWS Redshift，S3，从MangoDB CDC到 Neo4J甚至各种国产信创数据源，可谓应有尽有。同时，客户发现WhaleStudio同步效率比Talend要高，加上WhaleStudio简单易操作，更符合华人的使用习惯，使得整体开发效率提升。因
Apache DolphinScheduler 社区 8 月用户交流会精彩继续！本次活动邀请到老牌农牧产品实业集团铁骑力士架构工程师，来分享Apache DolphinScheduler在现代农牧食品加工场景中的应用实践。此外，还将有社区活跃贡献者以Apache DolphinScheduler为例，总结Apache DolphinScheduler以及Apache开源项目发版的流程和注意事项，
转载自程序员小陶 Apache DolphinScheduler 在使用过程中，肯定会有任务出现失败的情况，那么问题来了：调度任务的告警是需要人为配置的，在生产环境中，面对海量的任务，如何找到重要的任务，并且在失败的时候，第一时间告警呢？ 先思考一下。 先看思路 本文提供一个思路，接着往下看吧。 不卖关子了。 本质是路径查找，本文这里使用了图数据库，或者你也可以自己使用Java实现路径查找。 下面
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
