作者:海豚调度研究随笔 编辑整理:曾辉

前言

Apache DolphinScheduler 是一个优秀的分布式调度系统,广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建Apache DolphinScheduler的前后端开发环境。

包括从源码的下载、环境配置、数据库初始化、依赖安装等具体步骤,帮助开发者在本地快速搭建并运行DolphinScheduler,适用于新手开发者和有一定经验的技术人员。

相关链接

一、环境准备

1. 下载源码

首先,前往 DolphinScheduler官网 下载 dolphinscheduler-3.1.9-release.zip 源码压缩包,并将其移动到你的IDEA工作目录中。接着,使用IDEA工具解压并打开该项目。你将看到如下界面:

2. 修改IDEA项目配置

找到 .idea 文件夹下的 workspace.xml 文件,打开并进行如下修改:

<component name="PropertiesComponent"> 下增加一行<property name="dynamic.classpath" value="true"

打开dolphinscheduler-bom模块的pom文件,将MySQL和Oracle的依赖中的<scope>test</scope>注释掉,右上角的Maven要记得点击进行更新。

这将动态调整项目的类路径配置,确保IDEA能够正常加载所需的依赖包。

二、数据库配置

创建DolphinScheduler数据库

在MySQL中创建 dolphinscheduler 数据库,并执行提供的SQL脚本进行数据库初始化。

配置 application.yaml

打开 dolphinscheduler-api 模块的 application.yaml 文件,修改以下配置:

  • 时区(time-zone):根据需要调整。
  • MySQL 连接信息:填写数据库连接的URL、用户名和密码。
  • Zookeeper配置:根据你的Zookeeper集群配置进行调整。

如果IDEA提示缺少MySQL JDBC驱动,可以点击红灯泡提示进行自动加载。

确认Quartz调度的JDBC Delegate类为 org.quartz.impl.jdbcjobstore.StdJDBCDelegate

本地Zookeeper配置

如果Zookeeper在本地运行且已正确安装,则无需修改Zookeeper相关配置。否则,需要根据你的Zookeeper集群环境进行调整。

三、模块配置

配置 dolphinscheduler-master 模块

dolphinscheduler-master 模块中,打开 application.yaml 文件,确保MySQL、Zookeeper的相关参数配置正确,并根据你的需求调整时区配置。

配置 dolphinscheduler-worker 模块

类似于 Master 模块,在 dolphinscheduler-worker 模块的 application.yaml 中,同样需要更新MySQL、Zookeeper和时区等相关配置。

配置 dolphinscheduler-alert 模块

打开 dolphinscheduler-alert 模块的 application.yaml 文件,修改MySQL的连接信息和时区配置,确保警报模块能够正确连接到数据库。

修改 dolphinscheduler-ui 模块的 package.json 为了避免版本冲突,打开 dolphinscheduler-ui 模块的 package.json 文件,去除所有 ^ 符号。

四、启动后端服务

确保你的MySQL数据库和Zookeeper集群已正常启动,依次启动以下后端服务:

  • ApiApplicationServer
  • MasterServer
  • WorkerServer
  • AlertServer

启动成功后,打开浏览器访问API服务的Swagger文档,确认服务是否正常运行:http://localhost:12345/dolphinscheduler/swagger-ui/index.html#/

五、搭建前端开发环境

  1. 安装Node.js和Pnpm Apache DolphinScheduler的前端依赖于Node.js和Pnpm。

请根据以下链接下载并安装:

  • Node.js (v16.13+):https://nodejs.org/en/download
  • Pnpm (v6.x):https://pnpm.io/installation

  1. 安装前端依赖并启动 进入 dolphinscheduler-ui 目录,进入cmd命令行窗口后运行pnpm install,安装后会在目录下生成node_modules目录,然后运行pnpm run dev即可。

在浏览器中访问http://localhost:5173,使用默认账号密码 admin/dolphinscheduler123 登录系统,开始使用Apache DolphinScheduler。

结语

通过本教程,你已经成功在Windows系统上搭建并运行了DolphinScheduler的前后端开发环境。这为开发者提供了一个完整的本地开发调试环境,使得对DolphinScheduler的进一步开发和测试更加高效。

希望本文能够帮助你顺利搭建环境,并推动你在DolphinScheduler开发上的进展。如果遇到问题,欢迎参考官方文档或社区支持。

本文由 [白鲸开源]提供发布支持!