DolphinScheduler单机部署 如何将任务提交到hadoop上执行 dolphinscheduler安装部署

apache-dolphinscheduler下载

官网连接：
https://dolphinscheduler.apache.org/zh-cn/download/download.html

这里用1.35版本进行演示，
注，1.21版本开始不需要分别部署前后端
官方链接参考：
https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/cluster-deployment.html

集群环境：

192.168.10.100 master
192.168.10.110 node1
192.168.10.120 node2

CentOs7.5，如果你是CentOs7以下版本，那么后面的命令可能会有所不同
java和mysql已安装完毕，该集群已部署CDH6.3.1
服务器之间已经免密登陆

1.上传解压

将apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz上传至/opt目录下

#进入/opt目录
cd /opt/
#解压
tar xzvf apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin.tar.gz
#改名
mv apache-dolphinscheduler-incubating-1.3.5-dolphinscheduler-bin dolphinscheduler-1.3.5

2.分发

scp -r  dolphinscheduler-1.3.5/ root@192.168.10.110:/opt/
scp -r  dolphinscheduler-1.3.5/ root@192.168.10.120:/opt/

3.创建用户

#所有部署机器
#也可以使用别的用户去安装，不推荐使用root安装

#创建用户：dolphinscheduler
useradd dolphinscheduler
#设置密码为：dolphinscheduler
echo "dolphinscheduler" | passwd --stdin dolphinscheduler
#配置sudo免密
echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults  requirett/#Defaults  requirett/g' /etc/sudoers

修改目录权限

cd /opt/
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-1.3.5/

4.数据库初始化

以mysql为例：

#创建数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#设置访问账号和密码，和下面1.5配置保持一致即可
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';
mysql> flush privileges;

5.修改配置

#修改 conf 目录下 datasource.properties 中的下列配置

注：dolphinscheduler默认数据库是PostgreSQL，使用mysql则需要注释掉PostgreSQL相关配置并添加mysql-connector-java驱动包到DolphinScheduler的lib目录下

#进入目录
cd dolphinscheduler-1.3.5/conf/
vim datasource.properties

#postgre
#spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# mysql
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true  需要修改ip
spring.datasource.username=xxx	需要修改为上面的{user}值
spring.datasource.password=xxx	需要修改为上面的{password}值

将mysql-connector-java驱动上传至lib目录下

6.执行初始化脚本

cd /opt/dolphinscheduler-1.3.5/
sh script/create-dolphinscheduler.sh

注意: 如果执行上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量

7.修改运行参数

cd /opt/dolphinscheduler-1.3.5/conf/env/
vim dolphinscheduler_env.sh

#官方原文修改为自身环境变量，没用到的请注释
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
export SPARK_HOME1=/opt/soft/spark1
export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/soft/java
export HIVE_HOME=/opt/soft/hive
export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/soft/datax/bin/datax.py

export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH

注: 这一步非常重要,例如 JAVA_HOME 和 PATH 是必须要配置的，没有用到的可以忽略或者注释掉

8.修改一键部署文件

cd /opt/dolphinscheduler-1.3.5/conf/config
vim install_config.conf

修改一键部署配置文件 conf/config/install_config.conf中的各参数，特别注意以下参数的配置
以下是官方示例

# 这里填 mysql or postgresql
dbtype="mysql"

# 数据库连接地址
dbhost="192.168.xx.xx:3306"

# 数据库名
dbname="dolphinscheduler"

# 数据库用户名，此处需要修改为上面设置的{user}具体值
username="xxx"

# 数据库密码, 如果有特殊字符，请使用\转义，需要修改为上面设置的{password}具体值
password="xxx"

#Zookeeper地址
zkQuorum="192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181"

#将DS安装到哪个目录，如: /opt/soft/dolphinscheduler，不同于现在的目录
installPath="/opt/dolphinscheduler"

#使用哪个用户部署
deployUser="dolphinscheduler"

# 邮件配置，以qq邮箱为例
# 邮件协议
mailProtocol="SMTP"

# 邮件服务地址
mailServerHost="smtp.qq.com"

# 邮件服务端口
mailServerPort="25"

# mailSender和mailUser配置成一样即可
# 发送者
mailSender="[e-mail]"

# 发送用户
mailUser="[e-mail]"

# 邮箱密码
mailPassword="xxx"

# TLS协议的邮箱设置为true，否则设置为false
starttlsEnable="true"

# 开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable="false"

# 邮件服务地址值，参考上面 mailServerHost
sslTrust="smtp.qq.com"

# 业务用到的比如sql等资源文件上传到哪里，可以设置：HDFS,S3,NONE，单机如果想使用本地文件系统，请配置为HDFS，因为HDFS支持本地文件系统；如果不需要资源上传功能请选择NONE。强调一点：使用本地文件系统不需要部署hadoop
resourceStorageType="HDFS"

#如果上传资源保存想保存在hadoop上，hadoop集群的NameNode启用了HA的话，需要将hadoop的配置文件core-site.xml和hdfs-site.xml放到安装路径的conf目录下，本例即是放到/opt/soft/dolphinscheduler/conf下面，并配置namenode cluster名称；如果NameNode不是HA,则只需要将mycluster修改为具体的ip或者主机名即可
defaultFS="hdfs://mycluster:8020"

# 如果没有使用到Yarn,保持以下默认值即可;如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,比如"192.168.xx.xx,192.168.xx.xx";如果是单ResourceManager请配置yarnHaIps=""即可
yarnHaIps="192.168.xx.xx,192.168.xx.xx"

# 如果ResourceManager是HA或者没有使用到Yarn保持默认值即可；如果是单ResourceManager，请配置真实的ResourceManager主机名或者ip
singleYarnIp="yarnIp1"

# 资源上传根路径,主持HDFS和S3,由于hdfs支持本地文件系统，需要确保本地文件夹存在且有读写权限
resourceUploadPath="/data/dolphinscheduler"

# 具备权限创建resourceUploadPath的用户
hdfsRootUser="hdfs"

#在哪些机器上部署DS服务，本机选localhost
ips="ds1,ds2,ds3,ds4"

#ssh端口,默认22
sshPort="22"

#master服务部署在哪台机器上
masters="ds1,ds2"

#worker服务部署在哪台机器上,并指定此worker属于哪一个worker组,下面示例的default即为组名
workers="ds3:default,ds4:default"

#报警服务部署在哪台机器上
alertServer="ds2"

#后端api服务部署在在哪台机器上
apiServers="ds1"

特别注意：
如果上传资源保存想保存在hadoop上，hadoop集群的NameNode启用了HA的话，需要将hadoop的配置文件core-site.xml和hdfs-site.xml放到安装路径的conf目录下，本例即是放到/opt/soft/dolphinscheduler/conf下面，并配置namenode cluster名称；如果NameNode不是HA,则只需要将mycluster修改为具体的ip或者主机名即可

defaultFS="hdfs://mycluster:8020"

9.一键部署

切换到部署用户dolphinscheduler，然后执行一键部署脚本

cd /opt/dolphinscheduler-1.3.5/
sh install.sh

注意：
第一次部署的话，在运行中第3步3,stop server出现5次以下信息，此信息可以忽略
sh: bin/dolphinscheduler-daemon.sh: No such file or directory
脚本完成后，会启动以下5个服务，使用jps命令查看服务是否启动(jps为java JDK自带)

MasterServer         ----- master服务
WorkerServer         ----- worker服务
LoggerServer         ----- logger服务
ApiApplicationServer ----- api服务
AlertServer          ----- alert服务

如果以上服务都正常启动，说明自动部署成功

10.登陆访问

访问前端页面地址,接口ip(自行修改) http://192.168.xx.xx:12345/dolphinscheduler

默认密码：admin/dolphinscheduler123

修改密码：

11.启停命令

以下皆摘录之官网：
一键停止集群所有服务

sh ./bin/stop-all.sh

一键开启集群所有服务

sh ./bin/start-all.sh

启停Master

sh ./bin/dolphinscheduler-daemon.sh start master-server
sh ./bin/dolphinscheduler-daemon.sh stop master-server

启停Worker

sh ./bin/dolphinscheduler-daemon.sh start worker-server
sh ./bin/dolphinscheduler-daemon.sh stop worker-server

启停Api

sh ./bin/dolphinscheduler-daemon.sh start api-server
sh ./bin/dolphinscheduler-daemon.sh stop api-server

启停Logger

sh ./bin/dolphinscheduler-daemon.sh start logger-server
sh ./bin/dolphinscheduler-daemon.sh stop logger-server

启停Alert

sh ./bin/dolphinscheduler-daemon.sh start alert-server
sh ./bin/dolphinscheduler-daemon.sh stop alert-server