最近在看Apache DolphineScheduler，发现DolphinScheduler在处理任务时，通过先将任务快速的存储在数据库中，然后基于对应的Task，将Task放入队列中，然后将Task进行快速消费的思路。 这种模型在很多框架中，都有体现。 我们知道在Master模块时处理任务的核心模块，而API模块主要是界面中操作的UI逻辑，而Alert模块是告警模块。 因此如果想要了解里面的
文 / 兴业证券股份有限公司 刘洋 石良生 柳君 李致琪 本文来源于网络，如有侵权，请联系删除 任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过分析兴业证券自身任务调度现状，对分布式任务调度技术进行解析与探索，并总结了统一分布式任务调
近日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届数据库技术大会（DTCC 2024）隆重召开。大会以“自研创新 数智未来”为主题，吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴，共同探讨新时代下数据库的技术动态和应用实践。 作为全球的DataOps践行者，白鲸开源联合创始人 代立冬参加了大会的DataOps专场，分享了题为《智能
白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发运维一体化平台项目。这一合作将为申万宏源带来一系列显著优势：通过提供一站式的高性能数据调度管理方案，我们将显著增强申万宏源的数据管理能力，确保系统的高可用性、高扩展性和高安全性。这不仅将推动申万宏源的业务增长，还将加速其智能化升级进程，为公司的长期繁荣提供新引擎。 白鲸开源 白鲸开源是一家开源原生的DataOps商业公司，是高新
转载自神龙大侠 生产环境部署方案 在企业线上生产环境中，普遍的做法是至少实施两套环境。 测试环境 线上环境 测试环境用于验证代码的正确性，当测试环境验证ok后才会部署线上环境。 鉴于CI/CD应用的普遍性，源代码一键部署是必要的。 本文是探索对DolphinScheduler源代码改造，构建测试，线上双环境一键部署和上线。 同时，我对dolphinscheduler-api进行改造，使得前端
引言 Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要，社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程，包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤，并指出了发版流程中可能会遇到的麻烦以及相应的解决方案，欢迎学习指正。 一、发版物料 （1）Apache要求 a. Maven仓库物料（发版
Standalone 仅适用于 DolphinScheduler 的快速体验. 如果你是新手，想要体验 DolphinScheduler 的功能，推荐使用Standalone方式体检。 如果你想体验更完整的功能，或者更大的任务量，推荐使用伪集群部署。如果你是在生产中使用，推荐使用集群部署或者kubernetes。 前置准备工作 JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME
背景介绍 某企业深耕于新能源制造行业，致力于推动能源技术的发展与应用。作为一家具有多年行业经验的企业，我们在新能源领域积累了深厚的技术实力和市场认知，业务涵盖了新能源产业链的关键环节，从上游的装备制造业到下游的应用解决方案，为客户提供全方位的服务。 随着业务的不断发展，日益增长的跨基地生产数据同步及计算对我们的整体数据架构带来了极大的挑战。 数据架构 以上是现有的数据架构图，其中最大的特点为跨基
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。祝开卷有益。大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括：工作流实例记录(MySQL)任务实例记录(MySQL)任务日志(本
? 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 祝开卷有益。 大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括： 工作流实例记录(MySQL) 任务实例记录(MySQL)
数字化转型提速中！传统农牧食品行业也寻求搭上数字化转型的快车，通过物联网、大数据、人工智能等现代信息技术，实现生产、加工、流通等环节的智能化和自动化，提高生产效率、优化资源配置、提升产品质量，并满足消费者对食品安全和可追溯性的需求。 在数字化浪潮的推动下，铁骑力士集团作为一家历史悠久的农牧食品企业，正通过引入先进的调度平台——Apache DolphinScheduler，实现其数字化转型的宏伟
各位小伙伴晚上好，我是联通数字科技有限公司数据智能事业部的王兴杰。 今天，我将和大家聊一聊联通数字科技有限公司是如何基于Apache DolphinScheduler构建DataOps一体化能力平台的。 今天的分享主要分为三个部分： 关于DataOps的一些思考； 企业在实施任务调度系统时的一些困境和困难； 我们基于Apache DolphinScheduler所做的一些改造。 DataOp
在 AI 时代，DataOps 2.0 代表了一种全新的数据管理和操作模式，通过自动化数据管道、实时数据处理和跨团队协作，DataOps 2.0 能够加速数据分析和决策过程。它融合了人工智能和机器学习技术，使得数据的获取、清洗和分析更加高效，推动企业在快速变化的市场中保持竞争优势。 另一方面，在 AI 时代，调度编排技术正变得愈发重要，成为高效资源管理和任务自动化的核心。通过智能算法和机器学习，
8月2日，第六届“创翼”创业创新大赛北京市选拔赛暨第七届“创业北京”创业创新大赛圆满落幕，白鲸开源的 「全球的大模型时代数据工程平台」项目荣获优秀奖。 据悉，本届大赛以“创响新时代 共圆梦”为主题，由人力资源社会保障部指导，北京市人力资源和社会保障局联合13家单位共同主办。比赛设先进制造和现代服务2个主体赛、3个专项赛和2个特色赛，共计7个赛道，共吸引2704个创业项目报名参赛，创历
一、背景大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。下图是截至2024年6月初，统计到B站大数据的服务规模：大数据所需承载的业务种类愈加繁多，为更好地满足业务场景的诉求，同时提升稳定性要求，我
因为在工作中需要推动Apache DolphinScheduler的升级，经过预研，从1.3.4到3.1.2有的体验了很大的提升，在性能和功能性有了很多的改善，推荐升级。 查看官方的升级文档，可知有提供升级脚本，如果只是跨小版本的更新那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现各种问题，特此总结。 旧版本：1.3.4 <br>新版本：3.1.2 问题合集 1.资源中心报
最近我们遇到很多客户需求是把Talend迁移到WhaleStudio，主要是发现WhaleStudio支持的数据源多很多，从各个版本的SAP到AWS Redshift，S3，从MangoDB CDC到 Neo4J甚至各种国产信创数据源，可谓应有尽有。同时，客户发现WhaleStudio同步效率比Talend要高，加上WhaleStudio简单易操作，更符合华人的使用习惯，使得整体开发效率提升。因
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
