一、如何制作AirFlow容器1、安装docker环境
基于centos环境下进行部署，建议在centos6或者centos7的环境下
1.1、下载docker安装包
下载地址：https://download.docker.com/linux/static/stable/x86_64/
推荐使用的版本是18.09.6
1.2、下载到本地后解压
tar -zxf docker-18.09.6.
转载
2024-05-30 00:21:44
158阅读
# 使用Airflow PythonOperators调用Python脚本
在开发数据工作流时，经常需要调用Python脚本来执行一些特定的任务，例如数据清洗、数据处理等。Airflow是一个开源的工作流自动化工具，通过使用PythonOperators可以在Airflow中调用Python脚本来执行任务。本文将介绍如何使用Airflow PythonOperators来调用Python脚本。
原创
2024-06-11 04:11:37
102阅读
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG．1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/备注Airflow附带了许多示例DAG。 请注
转载
2024-02-05 08:31:13
80阅读
1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试.
本次测试的表是airflow.code_library.1.测试sqoop任务1.1 测试
转载
2024-03-11 07:03:52
126阅读
翻译Stack Overflow上关于Python的高票问答（Java）（JavaScript）（Php）（C#）每一种语言都会出两到三篇文章，每一篇会有一到三个问题。感谢朋友@挠米 在翻译过程中给出的帮助。 问题描述：Python中关键词yield怎么用？它的作用是什么？举个例子：我正在尝试理解下面的代码 def _get_child_candidates(self, distance,
转载
2023-08-25 12:37:40
68阅读
1 Airflow简介
1.1 简介Apache Airflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。Airflow在2014年由Airbnb发起，2016年3⽉进⼊Apache基⾦会，在2019年1⽉成为顶级项⽬。Airflow采⽤Python语⾔编写，并提供可编程⽅式定义DAG⼯
转载
2024-08-20 16:51:05
664阅读
1. 核心功能1.1 DAGs有向无环图 反映所涉及的task的依赖关系注：搜索dag的时候，airflow只会关注同事包含"DAG"和"airflow"字样的py文件1.2 scopeairflow将加载任何可以从DAG file中import的DAG对象，但是它们必须出现在globals()中，例如下面的文件，只有tag_1会被加载，tag_2只会出现在本地scope中dag_1 = DAG(
转载
2024-06-03 13:41:10
103阅读
前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10
Python == 3.6.5
Mysql == 5.7Python安装略 详见：Python3安装(Linux环境)安装mysql略 详见：http://note.youdao.com/noteshare?id=d9233511a08f55
转载
2024-07-22 10:01:45
192阅读
**常用命令** 帮助手册中的命令行见这里1、启动服务airflow webserver -p 80 -D //启动网站
airflow scheduler -D //启动守护进程运行调度
airflow celery worker -D //启动celery worker
airflow celery flower -D //启动flower使用Celery扩大规模CeleryE
转载
2024-06-18 16:13:00
277阅读
DolphinDB 作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好 ETL 作业，Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案，将 Python Airflow 引入到 DolphinDB 的高可用集群中，通过使用 Airflow 所提供的功能来实现更好管理 DolphinDB 数据 ETL
Airflow是一个强大的工作流调度平台，广泛用于任务调度和数据管道管理。在团队工作中，我们需要编写Python脚本来实现数据处理、任务自动化等功能。在本文中，我将分享使用Airflow编写Python脚本的过程，包含协议背景、抓包方法、报文结构、交互过程、异常检测和安全分析等内容。
### 协议背景
在了解Airflow的基础上，我们首先要明确它的工作原理与相关协议。Airflow基于任务队
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow
pip install "ai
转载
2024-06-05 13:10:51
119阅读
AirFlow 提供了丰富的命令，在Anaconda虚拟环境中安装airflow这个文章的基础上开始整理。首先进入到anaconda的python36虚拟环境，执行airflow -hairflow -h(python36) [root@localhost airflow]# airflow -h
usage: airflow [-h] GROUP_OR_COMMAND ...
position
转载
2024-07-07 08:40:46
177阅读
Python实现AWS鉴权一、基于对象存储的图像处理基于对象存储的图像处理接口非常简单，就可以实现即用即销毁的水印/裁剪/格式转换/缩略图等功能。以华为云为例，只需要像S3协议下载对象一样额外加上x-image-process参数就可以获取到想要的图像。 https://obs.cn-southwest-2.myhuaweicloud.com/{bucket}/{图片对象名}?x-image-pr
# 使用 Apache Airflow 调用 PySpark 任务的完整指南
Apache Airflow 是一个强大的工具，用于调度和管理工作流程。结合 Apache Spark，可以处理大规模的数据分析和数据处理任务。在本文中，我们将学习如何在 Airflow 中调用 PySpark 脚本，并提供详细的步骤和代码示例。
## 流程概览
在开始之前，我们来了解一下整个流程的步骤：
| 步
# Airflow 调用 Spark 的方法
在现代数据处理工作流中，Apache Airflow 和 Apache Spark 已经成为两个极其重要的工具。Airflow 是一个用于编排复杂的工作流的工具，而 Spark 是一个强大的大数据处理框架。将这两者结合使用，可以有效地调度和管理大数据处理任务，提升工作效率。
本文将探讨如何在 Apache Airflow 中调用 Spark，并提供
# 使用 Airflow 调用 Redis 的详细教程
随着数据工程和数据科学的发展，Apache Airflow 已成为调度和管理数据管道的热门工具。在许多场景中，您可能需要将 Airflow 与 Redis（一个高性能的键值存储数据库）结合使用，以实现缓存、消息队列等功能。本指南将帮助您掌握如何在 Airflow 中调用 Redis。
## 整体流程
下面是一张表格，展示了在 Airfl
问题背景airflow2.0之后的版本更改了时区问题，更改airflow.cfg文件中的default_timezone 和 default_ui_timezone为Asia/Shanghai后，发现在Airflow Web UI 上已经显示了北京时间，但是对scheduler并不起作用，而且调度不稳定，经常出现不调度的情况官方说明默认情况下启用对时区的支持。 Airflow 在内部和数据库中以
转载
2024-05-15 06:56:49
191阅读
Python工作流-Airflow Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。Airflow 工作流
转载
2023-07-03 16:35:52
230阅读
# Airflow 的 Java 调用
Apache Airflow 是一个非常流行的工作流调度工具，它能够帮助工程师管理复杂的 ETL 流程、数据处理任务以及定时任务等。在大数据和云计算高速发展的今天，Airflow 的应用愈发广泛。同时，很多企业会在其技术栈中使用 Java，因此了解如何通过 Java 调用 Airflow 变得尤为重要。本文将介绍如何通过 HTTP API 从 Java 调
原创
2024-10-14 06:52:12
607阅读
