探秘Dolphin:一个创新的技术平台,赋能开发者的新旅程项目简介是一个由StarCrossPortal团队开发的开源项目,致力于提供一套强大且灵活的分布式应用开发框架。它旨在简化复杂的应用程序部署和管理,帮助开发者更高效地构建、运行和维护微服务架构。技术分析模块化设计 - Dolphin 采用了模块化的结构,允许开发者根据需要选择不同的组件,如配置中心、注册中心、熔断器等,极大地提升了代码的可复
转载 8月前
27阅读
centos7环境下:DolphinScheduler3.1.5简介和伪集群模式安装部署DolphinScheduler简介Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 伪集群部署目的是在单台机器部署 DolphinScheduler 服务,该模式下master、
 本文汇集了一些 Windows Phone 7 游戏开发相关的教程、源代码和书籍,以帮助开发者在 Windows Phone 7 平台上创建自己的游戏。一、教程  1. Windows Phone 7 快速入门:在 Windows Phone 7 平台创建游戏  本教程使用 Silverlight 作为游戏开发平台,讲解如何获取绘制/更新行为到你的 Silverlight 游戏中,并提供了一个完
在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer 。他们是:nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为&
dolphinscheduler镜像安装hive客户端是一项确保数据调度和数据查询高效集成的工程。本文将详细记录如何完成这一安装过程,涵盖所需的软硬件环境、分步实施指南、配置详解、验证测试、排错指南以及扩展应用。 ## 环境准备 ### 软硬件要求 在安装dolphinscheduler镜像并集成Hive客户端之前,需要确保系统满足以下软硬件要求。 | 组件
原创 5月前
13阅读
继昨日发布第一个官方 Docker 镜像后,有几位小伙伴私信想自己进行编译,DolphinSch
原创 2022-01-05 14:17:34
145阅读
# 构建基于官方dolphinscheduler的自定义docker镜像教程 作为一名经验丰富的开发者,你需要教导一位刚入行的小白如何实现“基于官方dolphinscheduler构建自己的docker镜像”。 ## 整体流程 以下是构建自定义docker镜像的整体步骤: | 步骤 | 操作 | |----|----| | 1 | 下载官方dolphinscheduler源码 | | 2
原创 2024-04-14 06:01:28
376阅读
DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。本文主要介绍 DolphinScheduler 的基本使用,文中使用到的软件及版本:Java 1.8.0_181、DolphinScheduler 1.3.6、MySQL 5.7、Zookeeper 3.6.3、Centos 7.6。1、DolphinScheduler 简介1.1、DolphinS
转载 2023-05-25 17:28:00
306阅读
DolphinScheduler是一款分布式的、易于使用的开源调度系统,它可以帮助用户管理和调度大规模的数据处理任务。DolphinScheduler支持多种任务类型,包括Hadoop、Spark、Flink、Hive、Python、Shell等,同时还提供了丰富的调度策略和监控功能,可以满足各种复杂的调度需求。DolphinScheduler的主要特点包括:分布式架构:DolphinSchedu
转载 2023-10-13 13:21:15
208阅读
点亮 ⭐️ Star · 照亮开源之路GitHub:https://github.com/apache/dolphinschedulerApache DolphinScheduler是一款非常不错的调度工具,可单机可集群可容 器,可调度sql、存储过程、http、大数据等,也可使用shell、python、java、flink等语言及工具,功能强大类型丰富,适合各类调度型任务,
转载 3月前
419阅读
在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer 。他们是:nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为 Committer ,小伙伴们说道:朱凯:非常荣幸能够成为Dolphi
转载 1月前
355阅读
杭州思科已经将 Apache DolphinScheduler 引入公司自建的大数据平台。目前,杭州思科大数据工程师 李庆旺 负责 Alert 模块的改造已基本完成,以更完善的 Alert 模块适应实际业务中对复杂告警的需求。PROFILE李庆旺杭州思科 大数据工程师,主要负责 Spark、调度系统等大数据方向开发。我们在使用原有的调度平台处理大数据任务时,在操作上多有不便。比如一个对数据进行处理
1 安装版本DolphinScheduler版本:2.0.3,2022年1月20日发布。2 安装步骤2.1 安装前软件准备操作系统:linux centos 7JDK:下载JDK (1.8+),并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在,可以跳过这步。二进制包:在下载页面.下载 DolphinScheduler 二进制包数据库:PostgreSQL (8.2.15
转载 2023-12-03 07:25:38
146阅读
目录1.基础环境说明2.Windows本地开发环境配置2.1dolphinscheduler git下载地址2.2zookeeper下载与部署2.3创建MySql数据库 2.4配置后端开发环境2.5前端环境配置 3.问题处理1.基础环境说明(1)Windows 10(2)JDK 1.8.0_131(3)Python 3.7.4(4)MySQL 8.0.152.Windows本地
转载 2023-08-02 13:39:27
191阅读
前言本文档为dolphinscheduler配置文件指南,针对版本为 dolphinscheduler-1.3.x 版本. 考虑公众号对markdown文件格式支持不那么友好的问题,建议大家在PC端阅读原文目录结构目前dolphinscheduler 所有的配置文件都在 [conf ] 目录中. 为了更直观的了解[conf]目录所在的位置以及包含的配置文件,请查看下面dolphinsch
转载 2024-05-17 21:22:54
260阅读
背景介绍在数仓 ETL、离线及实时计算的场景下,数据任务的依赖调度关系越来越复杂。在 Amazon 平台上提供了托管的 Apache Airflow (MWAA) 与 Step function、Glue Workflow 等具有一定调度编排任务的工具,但在可视化一体管理操作上的支持都有一定的限制缺失。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提
转载 2024-02-19 19:26:37
171阅读
?DolphinScheduler实例表备份、清理?一、前言  DolphinScheduler至今已经在项目中使用了将近一年,工作流实例和任务流实例都积累了百万级的数据量。在查看工作流实例和任务实例的时候,都要等待后台去查询数据库,感觉在使用上不太方便。所以想着以某一日期为界限,备份后再清除这部分数据。?二、查看实例表?♀2.1 工作流实例表结构CREATE TABLE `t_ds_proces
转载 2024-04-01 05:47:38
405阅读
2021 年 10 月 22 日,Apache DolphinScheduler 正式发布 1.3.9 版本。时隔一个半月,在社区贡献者的共同努力下,Apache DolphinScheduler  1.3.9 为大家带来了 StandaloneServer,这是本版本的一项重大更新,也意味着其在易用性上又迈出了一步,详情将在下文介绍。另外,本次升级还修复了 1.3.8 的两个重要 bu
转载 2024-01-24 15:31:00
89阅读
DolphinScheduler3.1简介、部署、功能介绍以及架构设计 1.DolphinScheduler简介1-1.关于DolphinSchedulerApache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinSchedule
点击上方蓝字关注 Apache DolphinSchedulerApache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。DolphinScheduler 正在像它的名字一样,努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。官
转载 2024-05-27 22:37:58
145阅读
  • 1
  • 2
  • 3
  • 4
  • 5