文章目录

  • 工作流调度器azkaban
  • azkaban架构
  • azkaban的编译
  • soloserver模式的安装与使用
  • 解压
  • 修改两个配置文件
  • 启动solo-server
  • 浏览器页面访问
  • 多服务模式的安装
  • 数据库准备
  • 解压软件安装包
  • 安装SSL安全认证
  • azkaban web server安装
  • azkaban executor server 安装
  • 启动服务
  • Command类型单一job示例
  • Command类型多job工作流flow
  • HDFS操作任务
  • MAPREDUCE任务
  • HIVE脚本任务
  • azkaban的定时任务


工作流调度器azkaban

Azkaban官网是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：

  • Web用户界面
  • 方便上传工作流
  • 方便设置任务之间的关系
  • 调度工作流
  • 认证/授权(权限的工作)
  • 能够杀死并重新启动工作流
  • 模块化和可插拔的插件机制
  • 项目工作区
  • 工作流和任务的日志记录和审计

一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等
各任务单元之间存在时间先后及前后依赖关系
为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

  1. 通过Hadoop先将原始数据同步到HDFS上；
  2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
  3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
  4. 将明细数据进行各种统计分析，得到结果报表信息；
  5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。

工作流调度实现方式
简单的任务调度：直接使用linux的crontab来定义
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban、airflow等。

azkaban架构

hadoop atlas 官网 hadoop azkaban_hadoop

azkaban的编译

我们这里选用azkaban3.51.0这个版本自己进行重新编译，编译完成之后得到我们需要的安装包进行安装。编译需要使用jdk1.8的版本来进行编译，这里使用的是jdk8u141这个版本来进行编译。

soloserver模式的安装与使用

解压

cd /export/softwares
 tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C …/servers/

修改两个配置文件

修改时区配置文件
 cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT/conf
 vim azkaban.properties
default.timezone.id=Asia/Shanghai
修改commonprivate.properties配置文件
 cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes
 vim commonprivate.properties
# 添加这一行避免内存检查
memCheck.enabled=false

启动solo-server

启动azkaban-solo-server
 cd /export/servers/azkaban-solo-server-0.1.0-SNAPSHOT
 bin/start-solo.sh

浏览器页面访问

浏览器页面访问
http://node03:8081/

默认用户名和密码都是：
azkaban

azkaban可以调度各种各样的任务
可以调度 shell脚本
可以调度java 的jar包
可以调度hdfs的任务
可以调度mr的任务

多服务模式的安装

azkaban两个服务模式安装

所需软件：
Azkaban Web服务安装包
azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
Azkaban执行服务安装包
azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
编译之后的sql脚本
create-all-sql-0.1.0-SNAPSHOT.sql
C程序文件脚本
execute-as-user.c程序

转到路径：
cd /export/softwares/
将所需文件上传

数据库准备

进入mysql的客户端执行以下命令
 mysql -uroot -p执行以下命令：
 CREATE DATABASE azkaban;
 CREATE USER ‘azkaban’@’%’ IDENTIFIED BY ‘azkaban’;
 GRANT all privileges ON azkaban.* to ‘azkaban’@’%’ identified by ‘azkaban’ WITH GRANT OPTION;
 flush privileges;
 use azkaban;
 source /export/softwares/create-all-sql-0.1.0-SNAPSHOT.sql;

解压软件安装包

解压azkaban-web-server
 cd /export/softwares
 tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C …/servers/
 cd /export/servers
 mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server-3.51.0解压azkaban-exec-server
 cd /export/softwares
 tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C …/servers/
 cd /export/servers
 mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server-3.51.0

安装SSL安全认证

安装ssl安全认证，允许我们使用https的方式访问我们的azkaban的web服务
密码一定要一个个的字母输入，或者粘贴也行
cd /export/servers/azkaban-web-server-3.51.0
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
密码一直输入azkaban

azkaban web server安装

修改azkaban-web-server的配置文件
cd /export/servers/azkaban-web-server-3.51.0/conf
vim azkaban.properties

#时区等基本信息设置一下
azkaban.name=Azkaban
azkaban.label=My Azkaban
default.timezone.id=Asia/Shanghai
#将ssl设置为true
jetty.use.ssl=true
#添加ssl密码的部分，根据上一步的设定修改
jetty.ssl.port=8443
jetty.keystore=/export/servers/azkaban-web-server-3.51.0/keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=/export/servers/azkaban-web-server-3.51.0/keystore
jetty.trustpassword=azkaban

# 注意修改掉为符合的myslq设定
database.type=mysql
mysql.port=3306
mysql.host=node03
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# 一定要把下面这句注释掉，因为这句是用来检测多个exec server,我们这里只有一个
#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
#下面是一些刷新机制，可加可不加
azkaban.activeexecutor.refresh.milisecinterval=10000
azkaban.queueprocessing.enabled=true
azkaban.activeexecutor.refresh.flowinterval=10
azkaban.executorinfo.refresh.maxThreads=10

azkaban executor server 安装

修改azkaban-exec-server的配置文件
cd /export/servers/azkaban-exec-server-3.51.0/conf
vim azkaban.properties

#时区等基本信息设置一下
azkaban.name=Azkaban
azkaban.label=My Azkaban
default.timezone.id=Asia/Shanghai
#将ssl设置为true
jetty.use.ssl=true
#添加ssl密码的部分，根据上一步的设定修改
jetty.ssl.port=8443
jetty.keystore=/export/servers/azkaban-web-server-3.51.0/keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=/export/servers/azkaban-web-server-3.51.0/keystore
jetty.trustpassword=azkaban
# 注意这里已经变成https的模式，端口也改为8443
azkaban.webserver.url=https://node03:8443
# 注意修改掉为符合的myslq设定
database.type=mysql
mysql.port=3306
mysql.host=node03
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

添加插件
将我们编译后的C文件execute-as-user.c
上传到这个目录来/export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes
或者直接将我们/export/softwares下面的文件拷贝过来也行

cp /export/softwares/execute-as-user.c /export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes/
 然后执行以下命令生成execute-as-user
 yum -y install gcc-c++
 cd /export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes
 gcc execute-as-user.c -o execute-as-user
 chown root execute-as-user
 chmod 6050 execute-as-user

修改配置文件
cd /export/servers/azkaban-exec-server-3.47.0/plugins/jobtypes
vim commonprivate.properties

# 添加下面两句，跳过memory check的检查，我们只有一个exec server
memCheck.enabled=false
azkaban.native.lib=/export/servers/azkaban-exec-server-3.51.0/plugins/jobtypes

启动服务

第一步：启动azkaban exec server
 cd /export/servers/azkaban-exec-server-3.51.0
 bin/start-exec.sh第二步：激活我们的exec-server
 node03机器任意目录下执行以下命令
 curl -G “node03:$(<./executor.port)/executor?action=activate” && echo第三步：启动azkaban-web-server
 cd /export/servers/azkaban-web-server-3.51.0/
 bin/start-web.sh

访问地址：
https://node03:8443

Command类型单一job示例

创建文本文件，更改名称为mycommand.job
注意后缀.txt一定不要带上，保存为格式为UFT-8 without bom
内容如下
type=command
command=echo ‘hello world’
将mycommand.job压缩为mycommand.zip类型的压缩包，创建在浏览器上创建新的project，上传压缩包测试。

Command类型多job工作流flow

  1. 创建有依赖关系的多个job描述
1.  第一个job：foo.job
 type=command
 command=echo ‘foo’
 第二个job：bar.job依赖foo.job
 type=command
 dependencies=foo
 command=echo ‘bar’
  1. 把两个job资源文件打到一个zip包中
  2. 在azkaban的web管理界面创建工程并上传zip包
  3. 启动工作流flow

HDFS操作任务

  1. 创建job描述文件fs.job
    type=command
    command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hdfs dfs -mkdir -p /azkaban
    创建文件夹azkaban
  2. 将job资源文件打包成zip文件
  3. 通过azkaban的web管理平台创建project并上传job压缩包
  4. 启动执行该job

MAPREDUCE任务

Mr任务依然可以使用command的job类型来执行。

  1. 创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的example jar）
    type=command
    command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5
    pi，计算圆周率，3个map,5个reduce
  3. 将所有job资源文件打到一个zip包中，因为我们使用相对路径，所以需要在一个压缩包里。
    example jar 路径：/export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/

    4. hadoop atlas 官网 hadoop azkaban_hadoop atlas 官网_02

  4. 在azkaban的web管理界面创建工程并上传zip包
  5. 启动job

HIVE脚本任务

  1. 创建job描述文件和hive脚本
1.  Hive脚本： hive.sql
 create database if not exists azhive;
 use azhive;
 create table if not exists aztest(id string,name string) row format delimited fields terminated by ‘\t’;
 Job描述文件：hive.job
 type=command
 command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f ‘hive.sql’
  1. 将所有job资源文件打到一个zip包中
  2. 在azkaban的web管理界面创建工程并上传zip包
  3. 启动job

azkaban的定时任务

使用azkaban的schedule功能可以实现对我们的作业任务进行定时调度功能.

hadoop atlas 官网 hadoop azkaban_hive_03


*/1 * ? * * 每分钟执行一次定时调度任务

0 1 ? * * 每天晚上凌晨一点钟执行这个任务

0 */2 ? * * 每隔两个小时定时执行这个任务

30 21 ? * * 每天晚上九点半定时执行这个任务