CDH中Oozie基于Hue实现GMV全流程调度

文章目录

执行前的准备

[root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
[root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/lib/

这里要看hdfs上Oozie目录,我的是lib_20190721195953

[root@hadoop001 bin]# hadoop fs -put /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /user/oozie/share/lib/lib_20190721195953/sqoop

[root@hadoop001 bin]# xsync /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib

[root@hadoop001 bin]# xsync /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/lib/

修改YARN的容器内存yarn.nodemanager.resource.memory-mb为4G

重启yarn

新建hue账户,admin下会报错

在hue的webUI下

登出

在Hue中创建Oozie任务GMV

在SQLyog里生成数据

CALL init_data(‘2019-02-12’,300,200,300,FALSE);

安装Oozie可视化js，复制ext-2.2.zip到/opt/cloudera/parcels/CDH/lib/oozie/libext(或/var/lib/oozie)中，解压

点击My Workflow->输入gmv

保存

编写的脚本上传到hdfs上

上传位置

[root@hadoop001 bin]# hadoop fs -put /root/bin/*.sh /user/hue/oozie/workspaces/hue-oozie-1563724285.92/lib

查看hdfs上是否存在后
来到hue

点击下刚才的GMV

点击笔,选择Actions

拖拽shell

这时会看到调度的脚本,选择sqoop-import.sh

也要添加sqoop-import脚本

输入的参数

灵活的使用采用${date}这样的

然后ods

文件和目录相同

记得保存哦

执行提交即可