各位社区伙伴们，经过严格的评审和筛选，我们非常高兴地向大家公布Apache DolphinScheduler 社区在本年度的开源之夏活动中，中选的学生和导师名单！ 序号 项目名称 中选学生 导师 1 增加Raft注册插件 胡世豪 朱学通 2 k8s任务功能扩展 戴明辰 伏长海 3 增加DS-plugin Java插件 陈瑞杰 王兴杰 4 重写JAVA任务类型 张鑫冉 刘
官方文档地址：https://dolphinscheduler.apache.org/zh-cn/docs/3.1.9 DolphinScheduler简介 摘自官网：Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinSchedu
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 祝开卷有益。 本系列教程基于 DolphinScheduler 2.0.5 做的优化。（稳定版推荐使用3.1.9） 上篇回顾：海豚调度调优 | 正在运行的工作流(DAG)如何重新拉起失败的任务(Ta
近日，北京白鲸开源科技有限公司成功中标中国人民保险集团（以下简称“中国人保”）2024年数据调度工具软件产品及服务采购项目。此举将为中国人保提供高性能、高可用性、高扩展性和高安全性的一站式数据调度管理方案，大力推进中国人民保险的业务发展，提升其数据管理和调度能力，加速其数字化转型进程。 本文由 白鲸开源 提供发布支持！
作者| 陈逸飞 Docker部署的目的是在容器中快速启动部署Apache Dolphinscheduler服务。 先决条件 docker-compose docker 使用容器单机部署Dolphinscheduler 请下载源码包apache-dolphinscheduler--src.tar.gz，下载地址：下载 首先确定服务启动所需的端口未被占用port_list=(12345 25
引言 随着大数据和云计算技术的快速发展，企业在数据管理和任务调度上面临着前所未有的挑战，包括复杂的配置过程、性能优化和成本管理等问题。同时，确保数据在传输和存储过程中的安全性，并满足合规性要求，也是一个重要的任务。 尽管如此，通过有效的协作和优化，Apache DolphinScheduler 和 AWS 可以为企业提供一个强大而灵活的云端数据管理解决方案。通过将Apache DolphinSc
? 本系列文章是DolphinScheduler由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 **祝开卷有益。 ** 本系列教程基于 DolphinScheduler 2.0.5 做的优化。（稳定版推荐使用3.1.9） 先抛出问题 1.场景描述 工作流 A 正在运行，里面有很多节点，依赖关系比较
在各行各业中，越来越多的公司开始重视收集数据，并寻找创新方法来获得真实可行的商业成果，并且愿意投入大量时间和金钱来实现这一目标。 据IDC称，数据和分析软件及云服务市场规模在 2021 年达到了 900 亿美元，随着企业继续对人工智能和机器学习 (AI/ML) 和现代数据计划进行投资，预计到 2026 年将增长一倍以上。 然而，尽管投入了大量资金，数据项目往往收效甚微。麦肯锡最近对高级主要分析项
作者 | 刘宇星 本文作者总结了在使用Apache DolphinScheduler过程中遇见过的常见问题及其解决方案，包括日志出现乱码、worker日志太多磁盘报警、版本更新导致不兼容问题等，快来看看有没有困扰你想要的答案吧！ DolphinScheduler集群环境有多台worker(worker1, worker2, worker3)，多个任务节点串行执行时，因为worker在不同服务器
在大数据调度系统中，，大家可能会碰到任务实例状态更新不及时的情况。 对于Apache DolphinScheduler用户来说，这可能意味着前端显示的任务状态与实际情况不一致，即使任务已经在后台停止运行，前端仍显示为“正在运行”。 这种现象不仅影响监控和管理，还可能导致后续任务调度出现问题。那么，当你遇到这种情况时，应该如何处理呢？本文将详细介绍这一现象及其解决方法，帮助你快速恢复系统的正常运行。
转载自东华果汁哥 Apache DophinScheduler 运行一段时间后，实例调度日志越来越多，需要定期清理。 SQL 错误 [1701] [42000]: Cannot truncate a table referenced in a foreign key constraint (`dolphinscheduler`.`t_ds_task_instance`, CONSTRAINT `f
引言 近年来，“Ops”一词在 IT 运维领域的使用迅速增加。IT 运维正在向自动化过程转变，以改善客户交付。传统的应用程序开发采用 DevOps 实施持续集成（CI）和持续部署（CD）。但对于数据密集型的机器学习和人工智能（AI）应用，精确的交付和部署过程可能并不适用。 本文将定义不同的“Ops”并解释以下几种：DevOps、DataOps、MLOps 和 AIOps 的工作原理。 DevOps
本文由白鲸开源CEO郭炜投递并参与由数据猿联合上海大数据联盟共同推出的《2024中国数智化转型升级先锋人物》榜单/奖项评选。 随着大数据、人工智能技术的飞速发展，我们已迈入了一个全新的时代——大模型时代。在这个时代背景下，企业提高自身的及时处理数据能力、敏捷开发能力以及相应的数据治理能力以应对新环境的挑战成为新的热点。 在海外，Salesforce 以110亿美金鲸吞传统DataOps领域厂商I
转载自牛肉胡辣汤 在大数据分析和处理的领域中，DolphinScheduler是一个开源的分布式工作流调度系统，可以用于调度和管理复杂的工作流任务。本文将介绍如何使用Java中的URL类来调用DolphinScheduler的API，实现启动工作流任务的功能。 步骤概述 构建DolphinScheduler启动任务的URL 使用Java中的URL类发送HTTP请求 处理返回的JSON结果 代码
各位热爱 DolphinScheduler 的小伙伴们，社区5月份月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注，期待下个月你也登上Merge Star月度榜单哦~ 月度Merge Star 感谢以下小伙伴5月份为 Apache DolphinScheduler 做的精彩贡献（排名不分先后）： @changxiangshimian,@abzymeinsjt
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
