### ds源码
tar -zxvf apache-dolphinscheduler-2.0.5-src.tar.gz
cd apache-dolphinscheduler-2.0.5-src/docker/docker-swarm
### 下载ds镜像
docker pull dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
docker-compose up -d
dockerfile
FROM dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:latest
ADD mysql-connector-java-8.0.28.jar /opt/dolphinscheduler/lib
#####
docker build -f dockerfile -t dolpinscheduler:mysql .
docker run -d --name dolphinscheduler -e DATABASE_HOST="172.16.34.122" -e DATABASE_PORT="3306" -e DATABASE_DATABASE="dolphinscheduler" -e DATABASE_USERNAME="root" -e DATABASE_PASSWORD="123456" -e ZOOKEEPER_QUORUM="172.16.34.121:2181" --env-file config.env.sh -p 12345:12345 dolphinscheduler:mysql all
admin / dolphinscheduler123
apache dolpinsheduler 定时配置
编辑定时
参数配置
jdbc连接参数
{
"useSSL":"false",
"useUnicode":"true",
"characterEncoding":"UTF-8",
"autoReconnect":"true",
"zeroDateTimeBehavior":"convertToNull",
"serverTimezone":"Asia/Shanghai",
"allowPublicKeyRetrieval":"true"
}
奇怪的问题
helm k8s 部署海豚:更改元数据mysql 存储(默认是pgsql),
1)只添加 mysql-connector-java-8.0.28.jar
到 dolphinscheduler/lib ,externalDatabase driver:com.mysql.jdbc.Driver
,但是添加mysql 数据源报:Failed to load driver com.mysq.cj.jdbc.Driver in either of HikariConfig class loader or ...
2)只添加 mysql-connector-java-8.0.28.jar
到 dolphinscheduler/lib ,报: Cannot load driver class: com.mysql.jdbc.Driver
同时添加8.0.28 | 5.1.47…处理了,奇怪的问题!
dolphinscheduler 时间参数
(一)、用户自定义参数:${参数名称}
(二)、用户自定义时间参数:$[yyyyMMddHHmmss],可以是任意组合$[yyyy-MM-dd HH:mm:ss]
(三)、系统时间参数(补数据的时候需要使用):
- (一)、add_months()加减月份,加减12月就是年份,格式可以说yyyyMMdd,yyyyMM,yyyy
后 N 年:$[add_months(yyyyMMdd,12*N)]
如:$[add_months(20220624,12*2)] 结果:20240624
前 N 年:$[add_months(yyyyMMdd,-12*N)]
如:$[add_months(20220624,-12*2)] 结果:20200624
后 N 月:$[add_months(yyyyMMdd,N)]
如:$[add_months(20220624,2)] 结果:20220824
前 N 月:$[add_months(yyyyMMdd,-N)]
如:$[add_months(20220624,-2)] 结果:20200424
- (二)、直接±指的是加减天数,加减7天就是一周,格式可以说yyyyMMdd,yyyyMM,yyyy
后 N 周:$[yyyyMMdd+7*N]
如:$[20220624+7*2] 结果:20220708
前 N 周:$[yyyyMMdd-7*N]
如:$[20220624-7*2] 结果:20220610
后 N 天:$[yyyyMMdd+N]
如:$[20220624+2] 结果:20220626
前 N 天:$[yyyyMMdd-N]
如:$[20220624-2] 结果:20220622
- (三)、时分秒±是加减也是天,天除以24小时,前面的就算小时,再除以60表示分钟
后 N 小时:$[HHmmss+N/24]
如:$[14:34:30+2/24] 结果:16:34:30
前 N 小时:$[HHmmss-N/24]
如:$[14:34:30-2/24] 结果:12:34:30
后 N 分钟:$[HHmmss+N/24/60]
如:$[14:34:30+2/24/60] 结果:14:36:30
前 N 分钟:$[HHmmss-N/24/60]
如:$[14:34:30-2/24/60] 结果:14:32:30
- (四)、即使格式只是yyyy,yyyyMM,±也是天数的加减,yyyy,yyyyMM只是输出格式时分秒类似
前N天的年月:$[yyyyMM-N]
如:$[202206-1] 结果:202206
当前系统时间20220624,结果为20220623,小心跨月,年,如20220701,结果就是202206
前N分钟时分:$[HHmm-N/24/60]
如:$[14:34-2/24/60] 结果:14:32
- (五)、补数据使用的参数
${system.biz.date} : 日常调度实例定时的定时时间前一天,格式为 yyyyMMdd,补数据时,该日期 +1
${system.biz.curdate} : 日常调度实例定时的定时时间,格式为 yyyyMMdd,补数据时,该日期 +1
${system.datetime} : 日常调度实例定时的定时时间,格式为 yyyyMMddHHmmss,补数据时,该日期 +1
集成Flink