AirFlow可以调度Flink吗

转载

云端创新梦想家 2024-10-24 22:37:15

文章标签 AirFlow可以调度Flink吗运维 ldap python docker 文章分类 架构后端开发

Airflow1.10.4介绍与安装

现在是9102年，8月中旬。airflow当前版本是1.10.4.

随着公司调度任务增大，原有的，基于crontab和mysql的任务调度方案已经不太合适了，需要寻找一个可以支持分布式扩容的调度系统解决方案。

最初瞄准azkaban来着，想着基于这个的二次开发。对比功能和社区热度之后，Airflow比较符合我们寻找的调度系统。

什么是Airflow

Airflow是一个以编程方式创作，安排和监控工作流程的平台。对比crontab来看，它是一个可以定时调度任务的系统，只不过，airflow的调度更容易管理。

airflow支持任务依赖pipeline，这是crontab以及quartz所不支持的。
airflow调度系统和业务系统解耦。业务单独编写流程，支持任务热加载。
airflow支持crontab定时格式
airflow通过Python来定义task，可以实现复杂的逻辑，支持分支条件等
airflow有一套完整的UI和管理系统
airflow有强大的插件扩展方式，各种插件很丰富，很容易二次开发，添加新功能
airflow是分布式设计，支持水平扩容
airflow支持task实例，并支持数据业务日期bizdate, 也叫 execution_date.
airflow支持任务补录backfill
airflow支持任务之间数据传递(这个任务依赖于上个任务的变量)
airflow支持序列执行(这个周期的任务依赖于上一个周期的执行结果是否成功)

Airflow 于 2014 年 10 月由 Airbnb 的 Maxime Beauchemin 开始。它是第一次提交的开源，并在 2015 年 6 月宣布正式加入 Airbnb Github。

该项目于 2016 年 3 月加入了 Apache Software Foundation 的孵化计划。

关于airflow具体使用细节，后面再详细介绍，这里就是一些在调度系统选型过程中查找的资料。

阿里基于airflow二次开发了调度平台Maat:

有赞基于airflow二次开发了大数据任务调度平台：

每日 7 千次的跨部门任务调度，有赞怎么设计大数据开发平台？

Google cloud提供了基于airflow的数据分析产品：

AirFlow可以调度Flink吗_ldap

微软Azure支持airflow的运行：

AirFlow可以调度Flink吗_运维_02

当然，这些云厂商很可能是为了让你使用他们的数据产品，比如对象存储，lambda等。

社区异常活跃，star破万，更新频繁， Apache背书。据说作者早期在Facebook搞过一套调度系统，到airbnb就开源了airflow。大公司背书。

AirFlow可以调度Flink吗_AirFlow可以调度Flink吗_03

slack群组也很活跃

AirFlow可以调度Flink吗_docker_04

虽然是Python开发的，我也没玩过Python web，但调研结果就是：用Airflow吧。

Airflow的安装

官方文档有非常详细的安装教程。这里不再赘述。

想要记录的是基于docker安装airflow，以及做了一些特定的修改。

最终docker镜像为： https://github.com/Ryan-Miao/docker-airflow

使用方式很简单：

clone 项目
构建airflow镜像

make build

启动

docker-compose -f docker-compose-CeleryExecutor.yml up -d

浏览器访问localhost:8089可以查看dag

AirFlow可以调度Flink吗_AirFlow可以调度Flink吗_05

浏览器访问localhost:5555可以查看worker

扩容3个worker

docker-compose -f docker-compose-CeleryExecutor.yml scale worker=3

AirFlow可以调度Flink吗_python_06

所做的一些修改

修改时区为utc+8

Docker容器的时区

ENV LANGUAGE zh_CN.UTF-8
ENV LANG zh_CN.UTF-8
ENV LC_ALL zh_CN.UTF-8
ENV LC_CTYPE zh_CN.UTF-8
ENV LC_MESSAGES zh_CN.UTF-8

sed -i 's/^# zh_CN.UTF-8 UTF-8$/zh_CN.UTF-8 UTF-8/g' /etc/locale.gen \
    && locale-gen \

/bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo 'Asia/Shanghai' >/etc/timezone

web server ui显示的时区，以及任务运行时的ds等时区：

airflow.cfg

default_timezone = Asia/Shanghai

/usr/local/lib/python3.7/site-packages/airflow/utils/timezone.py

在 utc = pendulum.timezone(‘UTC’) 这行(第27行)代码下添加,

from airflow import configuration as conf
try:
    tz = conf.get("core", "default_timezone")
    if tz == "system":
        utc = pendulum.local_timezone()
    else:
        utc = pendulum.timezone(tz)
except Exception:
    pass

修改utcnow()函数 (在第69行)

原代码 d = dt.datetime.utcnow() 
修改为 d = dt.datetime.now()

/usr/local/lib/python3.7/site-packages/airflow/utils/sqlalchemy.py

在utc = pendulum.timezone(‘UTC’) 这行(第37行)代码下添加

from airflow import configuration as conf
try:
    tz = conf.get("core", "default_timezone")
    if tz == "system":
        utc = pendulum.local_timezone()
    else:
        utc = pendulum.timezone(tz)
except Exception:
    pass

/usr/local/lib/python3.7/site-packages/airflow/www/templates/admin/master.html

把代码 var UTCseconds = (x.getTime() + x.getTimezoneOffset()*60*1000); 
改为 var UTCseconds = x.getTime();

把代码 "timeFormat":"H:i:s %UTC%",
改为  "timeFormat":"H:i:s",

webserver查看日志，中文乱码问题

容器编码设置没问题，进去看日志文件也没问题，但是webserver查看的时候日志中文乱码。原因是http请求的mime
没设置编码。

/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py
修改mime

mimetype="application/json;charset=utf-8",

Hive beeline认证

airflow支持beeline，在connection里填写beeline的配置后，使用HiveOperator进行hive操作。我们的hive
没有使用kerberos，而是ldap的账号密码认证。需要对后台的hvie任务做认证的修改。

修改hive_hooks.py的认证部分即可。Dockerfile注释掉的部分就是。

添加hive的支持

github的airflow docker没有hive相关的lib。我在Dockerfile里添加了hive的环境，这个后面再做优化，针对
不同的pool，安装不同的依赖。

ldap配置

参见配置我们的ldap服务。

然后修改airflow.cfg. 找到263行

authenticate = False
# 设置为True并打开ldap即可使用ldap配置
# auth_backend = airflow.contrib.auth.backends.ldap_auth

以及518行

[ldap]
# set this to ldaps://<your.ldap.server>:<port>
uri = ldap://192.168.2.2:389
user_filter = objectClass=inetOrgPerson
user_name_attr = sn
group_member_attr = memberOf
superuser_filter = memberOf=cn=g-admin,ou=group,dc=demo,dc=com
data_profiler_filter = memberOf=cn=g-users,ou=group,dc=demo,dc=com
bind_user = cn=admin,dc=demo,dc=com
bind_password = admin
basedn = dc=demo,dc=com
cacert = 
search_scope = SUBTREE