一、环境准备：设备名IP系统pythonmysql server其他VM01192.168.72.130CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x86_64.sh8.0.18root账户操作VM02192.168.72.131CentOS release 7.7.1908Anaconda3-2019.07-Linux-x86_64.
airflowAirflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般：说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务
转载
2023-09-24 17:41:30
442阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建，DAG,Operator等特性，这篇文章主要讲述Airflow集群部署。集群部署airflow具体运行的时候，有多种exe
转载
2024-01-08 19:35:15
349阅读
安装流程step1 在本地创建文件夹，并安装 Python virtualenv python3 -m venv /path/to/new/virtual/environment 说明：macos 最新系统是默认安装了 Python3 的版本 ，通过命令
转载
2024-01-23 22:30:51
150阅读
## Airflow配置连接Hive
### 简介
Airflow是一个用于调度和监控工作流的平台，它提供了一种简单而强大的方式来编排和管理数据处理任务。Hive是一个基于Hadoop的数据仓库工具，它提供了一个SQL接口，用于查询和分析大规模的结构化数据。在本文中，我们将介绍如何在Airflow中配置连接Hive，以便能够在任务中使用Hive相关功能。
### 安装和配置
#### 安装
原创
2023-11-29 15:47:03
395阅读
# Airflow Redis 密码配置指南
Apache Airflow 是一个用于编排数据工作流的工具，而 Redis 是一个高性能的键值存储数据库，常用于缓存和消息传递。今天，我们将介绍如何在 Airflow 中配置 Redis 并设置密码，以增强安全性。
## 整体流程
下面是实现 Airflow 与 Redis 密码配置的整体流程：
| 步骤 | 描述 |
|------|---
原创
2024-08-14 09:07:13
157阅读
简介Apache-Airflow 是Airbnb开源的一款数据流程工具，目前是Apache孵化项目。以非常灵活的方式来支持数据的ETL过程，同时还支持非常多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。被大量公司采用。Airflow提供了一系列的python SDK，用户
转载
2023-09-05 16:51:12
122阅读
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/========================================================py3venv在 mkdir ~/airflow/py3venv执行：python3 -
转载
2024-01-30 16:50:28
119阅读
# Airflow 与 Redis 集成指南
作为一名经验丰富的开发者，我很高兴能帮助你了解如何将 Apache Airflow 与 Redis 集成。Airflow 是一个强大的工作流自动化工具，而 Redis 是一个高性能的键值存储系统。通过将两者结合，我们可以为 Airflow 提供一个高效的任务队列和结果存储解决方案。
## 集成流程
首先，让我们通过一个表格来概述整个集成流程：
原创
2024-07-15 18:30:23
110阅读
airflow-api 插件的安装与使用介绍 1. 安装插件airflow-rest-api
1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建3）重启airflow2. api使用介
转载
2024-01-23 21:48:20
207阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建这里主要讲一下Airflow的其他特性。DAG配置表中的变量DAG_FOLDER是DAG文件存储的地址，DAG文件是定义任务
转载
2024-03-11 11:43:29
183阅读
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow
转载
2024-04-10 21:15:22
176阅读
# 如何在Apache Airflow中连接MySQL
Apache Airflow 是一个开源平台，允许用户编排、管理和监控工作流。许多工作流任务可能涉及数据库操作，而MySQL是最常用的关系型数据库之一。在这篇文章中，我们将详细讲解如何在Airflow中连接MySQL，确保小白开发者能顺利上手。
## 整体流程
连接Airflow到MySQL的过程可以分为以下步骤：
| 步骤 | 描述
原创
2024-09-11 07:12:25
132阅读
# 使用 Airflow 连接 MySQL 的完整指南
## 介绍
Apache Airflow 是一个开源的工作流调度平台，广泛用于创建复杂的数据管道。为了使用 Airflow 操作 MySQL 数据库，我们通常使用 MySqlOperator。本文将详细介绍如何在 Airflow 中连接 MySQL，以及使用 MySqlOperator 执行 SQL 任务的完整流程。
---
## 流
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/========================================================py3venv在 mkdir ~/airflow/py3venv执行：python3 -
转载
2024-07-25 11:35:13
49阅读
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具， 不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、H
转载
2023-08-29 18:21:46
173阅读
# Airflow 1.10+安装
本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。
本次安装组件及版本如下：Airflow == 1.10.0
Python == 3.6.5
Mysql == 5.7
# 整体流程
1. 建表
2. 安装
3. 配置
4. 运行
5. 配置任务
```
启动schedule
airflow schedul
转载
2023-08-01 21:26:29
222阅读
# 使用 Airflow 调用 Redis 的详细教程
随着数据工程和数据科学的发展，Apache Airflow 已成为调度和管理数据管道的热门工具。在许多场景中，您可能需要将 Airflow 与 Redis（一个高性能的键值存储数据库）结合使用，以实现缓存、消息队列等功能。本指南将帮助您掌握如何在 Airflow 中调用 Redis。
## 整体流程
下面是一张表格，展示了在 Airfl
首先：airflow 数据开发者可以在webserver上直接进行配置或者写入代码传参这里重点讲k8s里的配置，所有配置都是默认配置[celery]maximum_page_limit = 100设置最大api请求页面worker_concurrency = 16worker 并发数，这里其实就是celery进程的数量，理论上多少worker节点就是设置多少，如果在k8s上看你配置多少个s
原创
2022-09-20 17:26:22
813阅读
# 使用 Airflow 配置 MySQL 数据库
Apache Airflow 是一个强大的工作流管理平台，能够帮助我们通过编写代码来编排复杂的数据流程。在数据科学和数据工程的领域中，Airflow 的灵活性和可扩展性使其成为一个热门选择。而 MySQL 是一种常用的关系型数据库管理系统，很多数据存储和数据处理任务往往需要与 MySQL 进行交互。本文将介绍如何在 Apache Airflow
