导读：近日，Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复，并引入了部分的功能，如支持 FlinkSQL 任务类型，新增 Zeppelin 任务类型，新增 Kubernetes namespace 管理功能，以及通过 bash 传参功能等，具体更新详见下文。01 新功能支持 Flin
解决了数据同步过程中源数据⼀致性的保证、全量数据和增量数据的同步以及 DDL 数据的变更后，一个完整的数据同步⽅案就基本形成了。3.2 如何基于Flink实现多种数据集成除了上文中所提及的基于 Flink CDC 进行数据增量/全量同步外，我们还可以基于 Flink Job 和 Doris 来构建多种不同的数据集成方式：将Mysql中两个表的数据同步到Flink后，在Flink内部进行多
20.Flink高级特性–新特性–双流Join 20.1.join的分类 20.2.API 20.3.代码演示-WindowJoin 20.4.代码演示-IntervalJoin20.Flink高级特性–新特性–双流Join20.1.join的分类双流Join是Flink面试的高频问题。一般情况下说明以下几点就可以hold了：Join大体分类只有两种：Window Join和Interval Jo
转载
2024-06-05 00:44:35
51阅读
1 /*
2 * Licensed to the Apache Software Foundation (ASF) under one or more
3 * contributor license agreements. See the NOTICE file distributed with
4 * this work for additional information
本教程重点介绍了一些常见场景下的SQL编写案例，通过优化前后性能对比或正确编写方法介绍，说明DolphinDB SQL脚本的使用技巧，案例共分四类：条件过滤相关案例、分布式表相关案例、分组计算相关案例及元编程相关案例，具体案例可在下方目录快速浏览。目录1 测试环境说明2 条件过滤相关案例2.1 where 条件子句使用 in 关键字2.2 分组数据过滤2.3 where 条件子句使用逗号或 and
转载
2024-05-13 14:37:00
196阅读
点赞
作业DolphinDB中作业（Job）是最基本的执行单位，可以简单理解为一段DolphinDB脚本代码在DolphinDB系统中的一次执行。Job根据阻塞与否可分成同步作业和异步作业。同步作业也称为交互式作业（Interactive Job），同步任务的主要来源：Web notebookDolphinDB GUIDolphinDB命令行界面通过DolphinDB提供的各个编程语言API接口由于这种
转载
2024-07-30 14:41:09
70阅读
| 本文编辑：朱桐 新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本，1.3.4 作为 1.3.x 的 bug 修复版本，本次共修复了 1.3.3 发现的 10 多处 bug，其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个：1&nbs
由于项目需要，最近开始研究一款国外的社区软件，澳大利亚boonex公司的dolphin社区套件。尽管国内已经有很多不错的开源社区软件如discuz等，但dolphin提供了近40中模块插件来扩展社区功能，还基于该平台开放了应用扩展市场，可以像app store一样开发插件售卖，另一方面顺应了移动互联网的趋势，配合web版程序发布了ios/android平台的移动应用端，可以很快搭建全平台的社区环境
转载
2024-01-17 13:47:43
50阅读
DolphinDB支持动态加载外部插件，以扩展系统功能。插件用C++编写，需要编译成".so"或".dll"共享库文件。本文着重介绍开发插件的方法和注意事项，并详细介绍以下几个具体场景的插件开发流程：如何开发支持时间序列数据处理的插件函数如何开发用于处理分布式SQL的聚合函数如何开发支持新的分布式算法的插件函数如何开发支持流数据处理的插件函数如何开发支持外部数据源的插件函数1. 如何开发插件1.1
转载
2024-06-05 05:29:27
65阅读
任务?任务定义基本操作?基本操作?创建任务?源码?修改 查询 删除?移动 版本?任务实例?强制成功?日志查看下载?日志查看?日志下载 ?上一集：dolphinscheduler 3.0.1 项目管理（二）：工作流实例*️⃣主目录：dolphinscheduler 3.0.1功能梳理及源码解读?下一集：dolphinscheduler 3.0.1 项目管理（三）：资源中心1.0的时候，工作流定义就
转载
2023-11-20 15:38:12
102阅读
"F1~F12快捷键映射
""{{{
map
:BufExplorer
nnoremap
:Grep
map
:TlistToggle
"map
: LookupFile
"插件中已映射
noremap
:make
转载
2024-06-13 06:24:48
33阅读
文章目录前言前置知识异步编程基于事件驱动的异步编程模式（EAP Event-based Asynchronous Pattern ）实现EAPDolphinSchedule结合Netty实现Master与Worker之间的高性能处理能力的设计方案设计代码实现总结 前言研究DolphinSchedule的内因在于对调度系统并发性能的追求，本文重点介绍在对调度系统处理任务实例的并发性能改造工作中对E
转载
2023-10-19 10:29:47
78阅读
在工作流任务调度的选择上，Apache DolphinScheduler 和 Apache Airflow 都是非常不错的选择。本文在相同硬件测试背景下对这两个调度平台的性能进行了对比。结果显示，DolphinScheduler 的性能表现让人惊喜，来看看具体测试数据和测试过程吧！1实验环境测试环境采用 8 台 AWS 8C 16G 服务器作为 Apache Dolphin
转载
2024-05-15 12:52:00
142阅读
Apache DolphinScheduler(incubating)，简称”DS”, 中文名 “海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。DolphinScheduler 正在像它的名字一样，努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。金秋十月，秋风送爽，伴随着盛大的 1024 程序员节及 Apache Roadshow-China 的圆满落幕， Apache
✎ 编 者 按 在今年由中国科学院软件研究所主办的开源软件所供应链点亮计划-开源之夏活动中，有不少小伙伴提交了关于 DolphinScheduler 的项目，本期是来自成都信息工程大学的张树坤带来的项目经验分享。项目总体设计为设置工作流为空跑状态，以测试整个工作流执行是否正确功能的开发。该功能通过 flag 标记在 Matser 与 Server 间的传递实现，同时考虑到系统的
转载
2024-05-11 16:09:51
62阅读
### Dolphin架构：实现高性能的分布式系统
在当今的互联网时代，随着数据量的不断增加和业务需求的不断变化，构建高性能的分布式系统变得尤为重要。Dolphin架构是一种旨在实现高效可靠的分布式系统的架构设计思想。
### Dolphin架构的特点
Dolphin架构主要包括以下几个特点：
1. **松耦合的服务模块**：Dolphin架构将系统拆分为多个独立的服务模块，每个模块可以独
原创
2024-04-18 06:53:07
48阅读
本文的目的是帮助理解OSHMI的硬件需求、安装和运行。系统需求硬件需求将取决于系统的大小和应用架构。对于一个小的系统，比如一个有3000标签的变电站，一台便宜的机器就可以完成OSHMI的负载。大多数用例推荐的最低配置:Intel Core I5或AMD Ryzen 5处理器，4GB内存，250GB硬盘，支持4k的GPU, 27英寸超高清显示器，Windows 10。对于处理50k或更多标签的控制中
转载
2023-12-28 15:47:54
106阅读
之前详细的写了关于ngCordova安装，配置和使用的wiki，这一次我们来细说其中的插件具体使用方法——InAppBrowser插件InAppBrowser插件是在APP打开浏览器的页面的一个插件，当我们在APP中需要跳转到一个特定的浏览器网页时，用这个插件会很方便。下面开始讲解InAppBrowser的具体使用：ngCordova的安装配置在"ngCordova插件使用详解"中已经详细的叙
转载
2024-05-16 12:41:51
51阅读
在Apache DolphinScheduler 海豚调度器（本文简称:小海豚） 官网中，我们看到其自定义时间的参数是这样介绍的1.支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。2.我们定义这种基准变量为 [...] 格式的，[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd], $[HHmmss], $[yyyy-MM
转载
2023-12-01 07:16:02
0阅读
# 实现“mysql兼容 dolphin”教程
## 1. 整体流程
下面是实现“mysql兼容 dolphin”的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 安装 Dolphin | 安装 Dolphin 数据库 |
| 2. 创建兼容层 | 创建兼容 Dolphin 的 MySQL 兼容层 |
| 3. 建立连接 | 建立 Dolphin 和 MySQL
原创
2024-01-10 00:09:27
102阅读
