根据官方部署文档和实践过程整理了此部署文档，只是为了不用每次都去翻看官方文档(有时候官网比较慢)。伪集群部署目的是在单台机器部署 DolphinScheduler 服务，该模式下master、worker、api server 都在同一台机器上。前置准备下载并安装JDK(1.8+)，需要配置 JAVA_HOME 环境变量。下载(本次安装版本为：dolphinscheduler-3.1.8)。安装好
原创
2024-05-11 22:06:40
153阅读
本教程适用于在 CentOS7 系统中安装 Hadoop2，详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置，包括：单机、伪分布式以及分布式，步骤详细，辅以适当说明。相信按照步骤来，都能顺利搭建一个属于自己的 Hadoop 集群。 废话不多说，干货上架。一、安装虚拟机首先我们需要安装一个虚拟机软件，安装教程可以参考笔者的博客：安装VMware及新建虚拟机二
转载
2024-04-19 17:55:29
463阅读
# 使用 Docker 部署 CentOS 7 上的 DolphinScheduler 伪集群
DolphinScheduler 是一款开源的分布式工作流调度平台，适合用来管理和调度各种任务。本文将通过 Docker 在 CentOS 7 上部署 DolphinScheduler 的伪集群。
## 一、环境准备
在开始之前，请确保你的系统满足以下条件：
- 安装了 Docker 和 Doc
原创
2024-10-15 03:50:08
196阅读
今天终于把老师布置的项目做完了，闲来无事在机房的电脑上装了Ubuntu（用EasyBCD步骤非常简单，请自行百度），上学期在虚拟机上装了Hadoop，现在可以在实体机搭个伪分布式了。下面我就一边搭建一边写怎么搭建Hadoop伪分布模式。 1.下载jdk并安装去官网下就可以了，下完之后把文件移到/opt/Java下guo@guo:~/下载$ mv ./hadoop-
转载
2024-09-13 14:42:13
67阅读
1评论
DolphinScheduler 集群部署
原创
2022-11-12 06:50:44
357阅读
DolphoinScheduler 1.3.2 已经发布许久，相比于文中的 1.2.0 版本新增了许多特性，比如 支持 sqoop ，优化界面 UI 等。 DolphoinScheduler 1.3.2 详细文档请移步： https://www.yuque.com/docs/share/454e9a42-b6c7-44b2-9d29-1d5795199456?# 《DolphinScheduler
转载
2023-10-07 16:28:18
467阅读
由于现在使用的azkaban调度器配置依赖繁琐,且功能不足以支撑现有调度工作 经过市场调研,海豚调度器具有功能多,配置简单,可视化页面等优点安装前提JDK：下载JDK (1.8+)，并将 JAVA_HOME 配置到以及 PATH 变量中。如果你的环境中已存在，可以跳过这步Zookeeper(3.4.6+) 已安装MySQL (5.7+) ,并准备 mysql-connector-java-8.0.
转载
2023-12-15 12:00:46
748阅读
集群部署(Cluster)
1、基础软件安装(必装项请自行安装)
PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可，如 MySQL 则需要 JDBC Driver 5.1.47+
JDK (1.8+)：必装，请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
ZooKeeper (3.4.6+)：必装
Hadoop
原创
2021-08-05 11:45:08
2694阅读
# DolphinScheduler 集群部署 HadoopUtil 教程
在现代大数据处理平台中，DolphinScheduler 是一种高效的工作流调度工具，而 HadoopUtil 是处理和管理 Hadoop 集群的重要部分。本教程将指导你如何实现 DolphinScheduler 集群部署中的 HadoopUtil。我们将通过一系列步骤帮助你完成部署。
## 流程概述
以下是集群部署
原创
2024-10-22 06:32:00
44阅读
本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler（伪集群模式）的完整过程，涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler（伪集群模式）的完整过程，涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。 ...
1、获取hadoop使用国内镜像下载速度很快，清华镜像地址：Index of /apache (tsinghua.edu.cn)找到hadoop目录 点击common 选择自己需要的版本 本示例使用hadoop-3.2.22、因环境受限，使用伪分布的安装方式ip：设置静态ip[root@bigda
01开篇与源码环境准备Apache DolphinScheduler是一个基于java开发的开源分布式工作流调度系统。致力于可视化操作任务及工作流之间的依赖关系，并可视化整个数据流过程；解决数据处理流程中错综复杂的依赖关系。01入手DolphinScheduler需要考虑的问题开源分布式的工作原理？工具可视化是体现在哪里？Master和Worker之间如何通信？怎么体现工作流之间的依赖关系？“Sh
转载
2024-08-21 10:28:17
493阅读
软件环境：VMware10.0，VMware10,ubuntu15.10桌面版（ubuntukylin-15.10-desktop-i386.iso），Apache hadoop（hadoop-1.2.1.tar.gz），JDK（jdk-8u11-linux-i586.tar.gz） 一 安装JDK
原创
2022-09-20 12:23:50
49阅读
ZooKeeper是一个分布式的、开源的分布式应用程序协调服务，可以在分布式环境中实现应用配置管理、统一命名服务、状态同步服务等功能。ZooKeeper是一种为分布式应用所设计的高可用、高性能的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper开源的特性，在其分布式锁实现的基础上，又被摸索出了其它的功用，譬如：配置维护、组服务、分布式消息队列等等。ZooKeeper维护了一个
原创
精选
2020-04-04 22:42:34
4601阅读
ZooKeeper是一个分布式的、开源的分布式应用程序协调服务，可以在分布式环境中实现应用配置管理、统一命名服务、状态同步服务等功能。ZooKeeper是一种为分布式应用所设计的高可用、高性能的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper开源的特性，在其分布式锁实现的基础上，又被摸索出了其它的功用，譬如：配置维护、组服务、分布式消息队列等等。ZooKeeper维护了一个
原创
2020-04-12 16:04:27
688阅读
Redis集群一. 单各redis1. 把redis-3.0.0.tar.gz、redis-3.0.0.gem上传到/usr/local/目录下2.安装gcc3.安装ruby，我们需要使用ruby脚本来实现集群搭建4. 解压tar包并编译redis并安装二. redis 伪集群一. 单各redis1. 把redis-3.0.0.tar.gz、redis-3.0.0.gem上传到/usr/local/目录下Linux 版的 redis-3.0.0.tar.gz、redis-3.0.0.gem 可上网上下
原创
精选
2020-11-12 22:57:00
393阅读
# 使用 Docker 部署 DolphinScheduler 集群的详细步骤
在今天的文章中，我们将讨论如何使用 Docker 来部署 DolphinScheduler 的集群。DolphinScheduler 是一款分布式的工作流任务调度引擎，非常适合处理大规模的定时任务。下面的内容会以逐步的方式介绍整个流程，并提供相应的代码示例。
## 流程概述
为了实现 DolphinSchedul
ZooKeeper
原创
2021-08-24 20:35:37
36阅读
