对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。首先，介绍一下需求在大数据处理阶段，也就是数据的ETL，我们通过公司自己开发的平台，将各个业务流程模型化，模型 = 输入算子 + 数据处理算子（SQL化，底层为sparksql） + 输出算子，类似于这种模型，代表一个个的业务，对于开发者来说，当然比较方便，但在客户公司去部署项目
转载
2024-01-17 08:32:03
105阅读
airflowAirflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般：说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务
转载
2023-09-24 17:41:30
439阅读
# Airflow 与 Redis 集成指南
作为一名经验丰富的开发者，我很高兴能帮助你了解如何将 Apache Airflow 与 Redis 集成。Airflow 是一个强大的工作流自动化工具，而 Redis 是一个高性能的键值存储系统。通过将两者结合，我们可以为 Airflow 提供一个高效的任务队列和结果存储解决方案。
## 集成流程
首先，让我们通过一个表格来概述整个集成流程：
原创
2024-07-15 18:30:23
110阅读
1. airflow简介
2. 相关概念
2.1 服务进程
2.1.1. web server
2.1.2. scheduler
2.1.3. worker
2.1.4. celery flower
2.2 相关概念
2.2.1. dag
2.2.2.task
2.2.3.Operator
2.2.4 schedul
转载
2024-03-28 09:18:44
277阅读
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具， 不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、H
转载
2023-08-29 18:21:46
173阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建，DAG,Operator等特性，这篇文章主要讲述Airflow集群部署。集群部署airflow具体运行的时候，有多种exe
转载
2024-01-08 19:35:15
349阅读
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow
pip install "ai
转载
2024-06-05 13:10:51
119阅读
# Airflow 1.10+安装
本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。
本次安装组件及版本如下：Airflow == 1.10.0
Python == 3.6.5
Mysql == 5.7
# 整体流程
1. 建表
2. 安装
3. 配置
4. 运行
5. 配置任务
```
启动schedule
airflow schedul
转载
2023-08-01 21:26:29
222阅读
# 使用 Airflow 调用 Redis 的详细教程
随着数据工程和数据科学的发展，Apache Airflow 已成为调度和管理数据管道的热门工具。在许多场景中，您可能需要将 Airflow 与 Redis（一个高性能的键值存储数据库）结合使用，以实现缓存、消息队列等功能。本指南将帮助您掌握如何在 Airflow 中调用 Redis。
## 整体流程
下面是一张表格，展示了在 Airfl
# Airflow 1.10+安装
本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。
本次安装组件及版本如下：Airflow == 1.10.0
Python == 3.6.5
Mysql == 5.7
# 整体流程
1. 建表
2. 安装
3. 配置
4. 运行
5. 配置任务
```
启动schedule
airflow schedul
转载
2024-08-21 11:31:40
79阅读
1.使用python3 pip安装Airflowpip install apache-airflow ,安装结束提示如下: airflow安装到目录:/usr/local/python3/lib/python3.7/site-packages/airflow/下2.使用mysql作为airflow的元数据库创建airflow数据库create database airflow;
grant all
转载
2024-06-25 09:58:17
104阅读
目录airflow概述安装安装python环境安装Airflow修改数据库为MySQL修改执行器配置邮件服务器常用命令airflow概述Airflow是一个以编程方式编写，安排和监视工作流的平台主要用于任务调度的安排；使用Airflow将工作流编写任务的有向无环图（DAG）。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务安装官网：Apache Airflow安装python
转载
2023-10-27 17:08:05
393阅读
Airflow默认使用sqllite，测试完成后我需要改成MySQL具体步骤如下1.- 安装MySQL Serversudo apt install mysql-serversudo systemctl start mysql.service2.- 创建用户和DBsudo mysqlALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native
原创
2023-07-18 14:47:26
402阅读
一、airflow简介1.安装运行环境Anaconda访问Anacondahttps://www.anaconda.com/distribution/#linux，下载安装包在Linux中下载Anaconda的脚本，执行脚本。安装好Anaconda后，安装包会自动选择不将Anaconda添加至环境变量，在安装的最后会出现添加环境变量的提示，复制后在bash中运行即可。也可使用minianc...
原创
2021-08-31 17:12:52
702阅读
# 使用Apache Airflow进行Python任务调度
Apache Airflow是一个用于编排和调度工作流的开源工具。它允许用户使用Python代码定义工作流程，支持复杂的任务依赖关系管理和灵活的调度机制。在本篇文章中，我们将介绍如何使用Airflow调度Python任务，并提供相应的代码示例。
## 什么是Apache Airflow？
Airflow是由Airbnb开发的一个开
airflow的schdule_interval刚接触的时候还是有点烧脑的，为什么我希望它开始的时候，它就是不开始。
先来看一下官方的解释：airflow schedulerNote that if you run a DAG on a schedule_interval of one day, the run stamped 2016-01-01 will be trigger soon aft
转载
2023-08-01 21:29:04
227阅读
Airflow airflow是一个任务调度组件，主要是基于DAG（有向无环图）来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖，网页服务，任务暂停等功能。并且airflow能够很好的支持python，spark，hive，k8s等airflow架构airflow包含以下组件：元数据库（存储DAG）执行器worker（负责执行task)调度器sh
转载
2023-12-17 19:33:41
131阅读
前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10
Python == 3.6.5
Mysql == 5.7Python安装略 详见：Python3安装(Linux环境)安装mysql略 详见：http://note.youdao.com/noteshare?id=d9233511a08f55
转载
2024-07-22 10:01:45
192阅读
# Airflow Redis 密码配置指南
Apache Airflow 是一个用于编排数据工作流的工具，而 Redis 是一个高性能的键值存储数据库，常用于缓存和消息传递。今天，我们将介绍如何在 Airflow 中配置 Redis 并设置密码，以增强安全性。
## 整体流程
下面是实现 Airflow 与 Redis 密码配置的整体流程：
| 步骤 | 描述 |
|------|---
原创
2024-08-14 09:07:13
153阅读
一、环境准备：设备名IP系统pythonmysql server其他VM01192.168.72.130CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x86_64.sh8.0.18root账户操作VM02192.168.72.131CentOS release 7.7.1908Anaconda3-2019.07-Linux-x86_64.
