51CTO博客>热门标签>DolphinScheduler

DolphinScheduler

全部文章近期文章热门文章标签简介

【DolphinScheduler】内容共 100 条

原创 DolphinScheduler部署

1软硬件环境建议配置DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好的部署和

java

mysql

hadoop

上传

hdfs

阅读 1813 评论 0 点赞 0

hyunbar777 603 天前
原创 DolphinScheduler部署

1软硬件环境建议配置DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好的部署和

java

mysql

hadoop

上传

hdfs

阅读 3173 评论 0 点赞 0

hyunbar777 603 天前
原创 DolphinScheduler 集群部署

DolphinScheduler 集群部署

hadoop

hdfs

大数据

mysql

apache

阅读 70 评论 0 点赞 0

wx61cd54ea3a202 137 天前
转载 dolphinscheduler集群部署

集群部署(Cluster) 1、基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+ JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 Hadoop

调度

阅读 1635 评论 0 点赞 0

江南独孤客 600 天前
原创 DolphinScheduler源码分析

DolphinScheduler源码分析，不可多得的一篇好文。

zookeeper

json

字段

阅读 451 评论 0 点赞 0

海豚调度平台 447 天前
原创 DolphinScheduler（海豚调度）架构

1 名词解释DAG：全称Directed Acyclic Graph，简称DAG。工作流中的Task任务

zookeeper

优先级

线程池

分布式锁

分布式系统

阅读 10000+ 评论 0 点赞 1

hyunbar777 603 天前
原创 Apache DolphinScheduler 1.3.8 发布

在 1.3.8 版本中，我们在 Docker&k8s 这里做了许多优化，镜像支持多架构，尤其是 Docker Compose Docker 镜像应该支持多架构，如 Docker Compose 中的 arm64，系统默认参数优化等等，同..

apache

docker

日期计算

阅读 79 评论 0 点赞 0

海豚调度平台 447 天前
原创 DolphinScheduler JSON拆解详解

为什么拆解JSON 在DolphinScheduler 1.3.x及以前的工作流中的任务及任务

json

edn

数据

阅读 361 评论 0 点赞 0

海豚调度平台 447 天前
原创 DolphinScheduler2.0.1 源码

团队从去年就开始用DolphinScheduler了，社区也比较火，最近抽时间大概看了下源码做了简单的对主流程做了下总结，其他很多东西还没有来得及看的很仔细，比如DAG如何生成，具体master和worker容错机制，任务依赖等。

微信

java

阅读 131 评论 0 点赞 0

wx59e2f041219d8 432 天前
原创初窥Apache DolphinScheduler

Apache DolphinScheduler是什么?Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Apache DolphinSched

阅读 284 评论 0 点赞 0

Maynor学长 638 天前
原创初窥Apache DolphinScheduler

Apache DolphinScheduler是什么?Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Apache DolphinSched

阅读 768 评论 0 点赞 0

Maynor学长 638 天前
原创初窥Apache DolphinScheduler

前言拥抱开源,始终关注新兴技术是技术人的必备技能,因此我写了这篇初窥Apache DolphinScheduler Apache DolphinScheduler是什么?Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。有什么特性概括:高可靠性

apache

用户登录

商业

阅读 151 评论 0 点赞 0

Maynor学长 389 天前
原创 DolphinScheduler 之Docker 部署

文章目录快速试用 Docker 部署先决条件如何使用 Docker 镜像一、以 docker-compose 的方式启动 DolphinScheduler (推荐)0、请配置内存不少于 4GB1、下载源码包2、拉取镜像并启动服务3、登录系统二、通过指定已存在的 PostgreSQL 和 ZooKeeper 服务1、基础软件

算法

java

推荐算法

docker

spark

阅读 836 评论 1 点赞 0

Maynor学长 375 天前
原创 Apache DolphinScheduler 安装部署

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作

apache

数据库

mysql

java

阅读 45 评论 0 点赞 0

mb62de8abf75c00 3 天前
原创 Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统

目录前言正文一、部署方式二、软硬件要求三、下载源码包四、拉取镜像五、启动服务六、登陆系统七、首页展示八、项目管理九、资源管理中心十、监控中心十一、安全中心最后前言Apache DolphinScheduler（海豚调度），是一款分布式易扩展的带有强大可视化 DAG ...

JAVA

阅读 515 评论 0 点赞 0

liuzhen007 630 天前
转载 linux 之 DolphinScheduler 安装步骤

linux 之 DolphinScheduler 安装步骤下载安装包直接进官网下载 https://dolphinscheduler.apache.org/zh-cn/download/download.html参考官方文档 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.2/user_doc/cluster

linux

阅读 2042 评论 2 点赞 0

mob604756fbb3bd 700 天前
转载使用 DolphinScheduler 调度 Kylin 构建

本文章经授权转载Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinScheduler 后，Kylin 可以方便地将大数据平台各组件串联起来，让各个任务通过 DAG 统一调度。01背景Apache Kylin 是一个支持海量大数据的在线分析引擎，需要离线或流式地从 Apache Hive、Apa

kylin

apache

linux

阅读 144 评论 0 点赞 0

海豚调度平台 447 天前
转载 Apache DolphinScheduler 1.2.1 发布说明

Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版，发布内容如下：新特性：[#1497] 通过 API 创建的工作流在前端展示时自动调整布局。[#747] Worker server 运行日志脱敏。[#1635] 配置文件适当合并。[#1547] 节点内容编辑支持全屏缩放。增强：[#184] 被工作流引用的 worker 不能被删除。[#1441] 可创

apache

spark

sql

阅读 215 评论 0 点赞 0

海豚调度平台 447 天前
原创 dolphinScheduler(海豚调度器)进阶

点击"项目管理"进入项目管理页面，点击“创建项目”按钮，输入项目名称，项目描述，点击“提交”，创建新的项目。在项目管理页面点击项目名称链接，进入项目首页，如下图所示，项目首页包含该项目的任务状态统计、流程状态统计、工作流定义统计。这几个指标的说明如下：任务状态统计：在指定时间范围内，统计任务实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数。流程状态统计：在指定时间范围内，统计工作流实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数。工作流定义统计：统计用户创建的工作流定义及管理员授予该用户的工作流定义。

Dolphinscheduler

调度器

大数据

数据仓库

阅读 1369 评论 0 点赞 0

dsjprs 350 天前
原创 Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

阅读 2032 评论 0 点赞 0

江南独孤客 327 天前