DolphinDB 作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好 ETL 作业，Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案，将 Python Airflow 引入到 DolphinDB 的高可用集群中，通过使用 Airflow 所提供的功能来实现更好管理 DolphinDB 数据 ETL
一、如何制作AirFlow容器1、安装docker环境
基于centos环境下进行部署，建议在centos6或者centos7的环境下
1.1、下载docker安装包
下载地址：https://download.docker.com/linux/static/stable/x86_64/
推荐使用的版本是18.09.6
1.2、下载到本地后解压
tar -zxf docker-18.09.6.
转载
2024-05-30 00:21:44
158阅读
1 Airflow简介
1.1 简介Apache Airflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。Airflow在2014年由Airbnb发起，2016年3⽉进⼊Apache基⾦会，在2019年1⽉成为顶级项⽬。Airflow采⽤Python语⾔编写，并提供可编程⽅式定义DAG⼯
转载
2024-08-20 16:51:05
652阅读
前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10
Python == 3.6.5
Mysql == 5.7Python安装略 详见：Python3安装(Linux环境)安装mysql略 详见：http://note.youdao.com/noteshare?id=d9233511a08f55
转载
2024-07-22 10:01:45
189阅读
**常用命令** 帮助手册中的命令行见这里1、启动服务airflow webserver -p 80 -D //启动网站
airflow scheduler -D //启动守护进程运行调度
airflow celery worker -D //启动celery worker
airflow celery flower -D //启动flower使用Celery扩大规模CeleryE
转载
2024-06-18 16:13:00
277阅读
Airflow是一个强大的工作流调度平台，广泛用于任务调度和数据管道管理。在团队工作中，我们需要编写Python脚本来实现数据处理、任务自动化等功能。在本文中，我将分享使用Airflow编写Python脚本的过程，包含协议背景、抓包方法、报文结构、交互过程、异常检测和安全分析等内容。
### 协议背景
在了解Airflow的基础上，我们首先要明确它的工作原理与相关协议。Airflow基于任务队
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow
pip install "ai
转载
2024-06-05 13:10:51
119阅读
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG．1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/备注Airflow附带了许多示例DAG。 请注
转载
2024-02-05 08:31:13
80阅读
1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试.
本次测试的表是airflow.code_library.1.测试sqoop任务1.1 测试
转载
2024-03-11 07:03:52
124阅读
# 使用Airflow PythonOperators调用Python脚本
在开发数据工作流时，经常需要调用Python脚本来执行一些特定的任务，例如数据清洗、数据处理等。Airflow是一个开源的工作流自动化工具，通过使用PythonOperators可以在Airflow中调用Python脚本来执行任务。本文将介绍如何使用Airflow PythonOperators来调用Python脚本。
原创
2024-06-11 04:11:37
102阅读
AirFlow 提供了丰富的命令，在Anaconda虚拟环境中安装airflow这个文章的基础上开始整理。首先进入到anaconda的python36虚拟环境，执行airflow -hairflow -h(python36) [root@localhost airflow]# airflow -h
usage: airflow [-h] GROUP_OR_COMMAND ...
position
转载
2024-07-07 08:40:46
177阅读
如同其它UNIX系统一样，AIX也给系统管理员剪裁系统提供了非常丰富的手段。这里我们简单介绍RS/6000
AIX系统中几个用于监控和调制多项系统资源的工具，每个工具的功能都很强，如想更透彻地了解这些命令的用法，请参考有关技术资料或手册。这里讲述的命令
将不仅仅局限于CPU、硬盘、内存或网络资源的某个方面，它们可用于其中的一项或多项资源。AIX监控工具1、iostatiostat命令主要通过观察物
airflow是Airbnb开源的data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline（ETL）。类似的产品有：Linkedin Azkaban
github：
https://github.com/apache/incubator-airflow
doc：
http://pythonhosted.org/airfl
问题背景airflow2.0之后的版本更改了时区问题，更改airflow.cfg文件中的default_timezone 和 default_ui_timezone为Asia/Shanghai后，发现在Airflow Web UI 上已经显示了北京时间，但是对scheduler并不起作用，而且调度不稳定，经常出现不调度的情况官方说明默认情况下启用对时区的支持。 Airflow 在内部和数据库中以
转载
2024-05-15 06:56:49
191阅读
statsd_deploy.yamlapiVersion: apps/v1kind: Deploymentmetadata: annotations: deployment.kubernetes.io/revision: "21" meta.helm.sh/release-name: airflow meta.helm.sh/release-namespace: airflow
原创
2022-10-14 18:12:10
1359阅读
Python工作流-Airflow Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。Airflow 工作流
转载
2023-07-03 16:35:52
230阅读
翻译Stack Overflow上关于Python的高票问答（Java）（JavaScript）（Php）（C#）每一种语言都会出两到三篇文章，每一篇会有一到三个问题。感谢朋友@挠米 在翻译过程中给出的帮助。 问题描述：Python中关键词yield怎么用？它的作用是什么？举个例子：我正在尝试理解下面的代码 def _get_child_candidates(self, distance,
转载
2023-08-25 12:37:40
68阅读
安装流程一、Python 安装二、Airflow 安装三、Airflow 配置四、存在的坑 部分安装方法参考： Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）一、Python 安装当前安装版本为 Python-3.9，使用源码包安装下载源码包或者 wget 下载wget https://www.python
转载
2024-08-15 09:50:46
191阅读
文章目录1.Scheduler的启动和停止命令1.1 Scheduler启动命令1.2 Scheduler停止命令2.Scheduler程序源码2.1 cli.scheduler(): 接受命令行中的airflow scheduler命令2.2 BaseJob.run(): 向job表中新增SchdulerJob记录并调用子类的处理逻辑2.3 SchdulerJob._execute(): Sc
转载
2023-09-25 22:42:24
313阅读
# Python Airflow简介
## 什么是Airflow？
Airflow是一个用于编排、调度和监控工作流程的开源平台。它由Airbnb开发并于2016年捐赠给Apache软件基金会。Airflow的目标是提供一种简单、可扩展和灵活的方式来处理数据流和任务调度。
Airflow的核心概念包括：任务、DAG（有向无环图）和调度器。任务是Airflow的基本执行单元，每个任务都是一个可独
原创
2023-10-28 08:54:59
79阅读
