关于 Apache DolphinScheduler社区Apache DolphinScheduler(incubator) 于17年在易观数科立项，19年3月开源， 19 年8月进入Apache 孵化器，社区发展非常迅速，目前已有 400+ 公司在生产上使用，代码+文档贡献者近200位，社区用户4000 +人。DolphinScheduler (简称DS) 致力于使大数据任务调度开箱即用，它以拖
DolphinDB database从1.0版本开始，提供了启动脚本功能。用户可以通过配置参数startup来指定用户级的启动脚本，默认值是startup.dos。通过设定启动脚本，DolphinDB启动的时候会自动完成每次启动都需要执行的工作，譬如初始化流数据，定义共享变量，加载插件脚本等。1. DolphinDB启动顺序DolphinDB节点的启动是一个复杂的过程。与启动脚本相关的脚本和任务至
✎ 编 者 按 数据时代下，井喷的数据量为电信行业带来新的挑战。面对每日数百 TB 的新增数据，稳定可靠的调度系统必不可少。中国联通旗下的联通数字科技有限公司（以下简称“联通数科”），其数据智能事业部原来十分依赖商业调度系统。但随着公司业务规模扩大，和新场景需求的挑战下，事业部经过调研和多方考量，决定将调度系统替换为 Apache DolphinScheduler。从 202
## DolphinScheduler的DataX没有Hive
在数据处理领域，DataX是一个常用的数据同步工具，而DolphinScheduler是一个开源的分布式工作流任务调度系统。在使用DolphinScheduler的过程中，用户可能会发现它的DataX并不支持Hive。本文将介绍如何在DolphinScheduler中使用DataX进行Hive数据同步，并提供相关的代码示例。
##
原创
2024-01-19 12:52:59
168阅读
# 如何实现 dolphinscheduler datax hive 工作流
## 一、流程概述
首先，让我们来看一下整个流程的步骤，如下表所示：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建数据源 |
| 2 | 创建数据源连接 |
| 3 | 创建数据源表 |
| 4 | 创建数据传输任务 |
| 5 | 创建工作流 |
| 6 | 配置工作流任务依赖关系 |
|
原创
2024-07-11 04:30:02
142阅读
# 实现dolphinscheduler调度datax任务从MySQL到MySQL
## 1. 概述
在本文中，我将向你介绍如何使用dolphinscheduler调度datax任务从一个MySQL数据库导入数据到另一个MySQL数据库。
## 2. 流程图
首先，让我们来看一下整个流程的概要。以下是一个简化的流程图，展示了我们需要执行的步骤：
```mermaid
graph LR
A[创
原创
2024-02-01 09:16:01
1349阅读
# DolphinScheduler Docker 配置 Flink 环境方案
Apache DolphinScheduler 是一个分布式调度框架，能够高效地调度各种数据处理任务。为了结合流处理能力，我们可以在 DolphinScheduler 中集成 Apache Flink。本文将详细描述如何在 Docker 环境下配置 Flink 环境以与 DolphinScheduler 结合使用。
1、准备基础镜像，开通所需端口 firewall-cmd --zone=public --add-port=3306/tcp --permanent firewall-cmd --zone=public --add-port=9527/tcp --permanent firewall-cmd --reload systemctl stop docker systemctl restart dock
DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX工具是用json文件作为配置文件的，根据官方提供文档我们构建Json文件如下：{
"job": {
"content": [
{
转载
2024-04-01 17:44:22
350阅读
在这个金灿灿的收获季节，经过 Apache DolphinScheduler PPMC 们的推荐和投票，Apache DolphinScheduler 收获了 5 位新Committer 。他们是：nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为 Committer ，小伙伴们说道：朱凯：非常荣幸能够成为Dolphi
文章目录前言1. 安装部署DolphinScheduler1.1 启动服务2. 登录DolphinScheduler界面3. 安装内网穿透工具4. 配置Dolphin Scheduler公网地址5. 固定DolphinScheduler公网地址 前言本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问，结合内网穿透工具实现公网访问DolphinScheduler
前言本文档为dolphinscheduler配置文件指南,针对版本为 dolphinscheduler-1.3.x 版本. 考虑公众号对markdown文件格式支持不那么友好的问题，建议大家在PC端阅读原文目录结构目前dolphinscheduler 所有的配置文件都在 [conf ] 目录中. 为了更直观的了解[conf]目录所在的位置以及包含的配置文件,请查看下面dolphinsch
转载
2024-05-17 21:22:54
260阅读
DolphinScheduler是一款分布式的、易于使用的开源调度系统，它可以帮助用户管理和调度大规模的数据处理任务。DolphinScheduler支持多种任务类型，包括Hadoop、Spark、Flink、Hive、Python、Shell等，同时还提供了丰富的调度策略和监控功能，可以满足各种复杂的调度需求。DolphinScheduler的主要特点包括：分布式架构：DolphinSchedu
转载
2023-10-13 13:21:15
208阅读
点亮 ⭐️ Star · 照亮开源之路GitHub:https://github.com/apache/dolphinschedulerApache DolphinScheduler是一款非常不错的调度工具，可单机可集群可容 器，可调度sql、存储过程、http、大数据等，也可使用shell、python、java、flink等语言及工具，功能强大类型丰富，适合各类调度型任务，
4月29日-5月5日问工作流实例点停止,有时候停不下,一直处于准备停止状态，是什么原因？ 答可能在处理别的事件，如果一直不成功，稳定复现建议创建 issue。问日志界面默认换行展示不清晰，建议增加横向滚动条。答Dev 版本的日志已经相对清晰了，感兴趣可以尝试下dev版本的代码。 问任务移动功能无法使用,无法从一个工作流移动至其
转载
2024-08-31 23:26:22
57阅读
2021 年 10 月 22 日，Apache DolphinScheduler 正式发布 1.3.9 版本。时隔一个半月，在社区贡献者的共同努力下，Apache DolphinScheduler 1.3.9 为大家带来了 StandaloneServer，这是本版本的一项重大更新，也意味着其在易用性上又迈出了一步，详情将在下文介绍。另外，本次升级还修复了 1.3.8 的两个重要 bu
转载
2024-01-24 15:31:00
89阅读
文章目录本地参数和全局参数本地参数全局参数参数传递参数优先级 本地参数和全局参数DolphinScheduler 支持对任务节点进行灵活的传参，任务节点可通过 ${参数名} 引用参数值。本地参数本地参数是指只针对单个任务节点有效的参数。（1）修改 helloworld 工作流 Node-A 节点如下➢ dt：参数名 ➢ IN/OUT：IN 表示向当前节点传参，OUT 表示向下游节点传参 ➢ VA
转载
2023-09-27 20:40:07
1143阅读
海豚2.0.5 告警组件-HTTP试用背景测试HTTP调用手机号码归属地查询APIHTTP 配置问题代码优化修改后的源码最终结果总结 背景最早用的海豚1.2.1版本，告警是通过properties文件配置的，支持Email、SMS、企业微信，2.0的时候发现SMS不见了，想着重新增加一个SMS（Short Messaging Service）短信息服务插件。网上搜索SMS，弹出一堆推广平台。基本
转载
2023-08-27 10:37:19
197阅读
dolphinscheduler部署1 安装jdk(已安装可忽略)安装jdk# 上传jdk安装包
rpm -ivh jdk-8u144-linux-x64.rpm 配置环境变量export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export C
由于现在使用的azkaban调度器配置依赖繁琐,且功能不足以支撑现有调度工作 经过市场调研,海豚调度器具有功能多,配置简单,可视化页面等优点安装前提JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步Zookeeper(3.4.6+) 已安装MySQL (5.7+) ,并准备 mysql-connector-java-8.0.
转载
2023-12-15 12:00:46
748阅读
