数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建，DAG,Operator等特性，这篇文章主要讲述Airflow集群部署。集群部署airflow具体运行的时候，有多种exe
转载
2024-01-08 19:35:15
349阅读
# Airflow Redis 密码配置指南
Apache Airflow 是一个用于编排数据工作流的工具，而 Redis 是一个高性能的键值存储数据库，常用于缓存和消息传递。今天，我们将介绍如何在 Airflow 中配置 Redis 并设置密码，以增强安全性。
## 整体流程
下面是实现 Airflow 与 Redis 密码配置的整体流程：
| 步骤 | 描述 |
|------|---
原创
2024-08-14 09:07:13
157阅读
airflowAirflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般：说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务
转载
2023-09-24 17:41:30
442阅读
一、环境准备：设备名IP系统pythonmysql server其他VM01192.168.72.130CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x86_64.sh8.0.18root账户操作VM02192.168.72.131CentOS release 7.7.1908Anaconda3-2019.07-Linux-x86_64.
# Airflow 与 Redis 集成指南
作为一名经验丰富的开发者，我很高兴能帮助你了解如何将 Apache Airflow 与 Redis 集成。Airflow 是一个强大的工作流自动化工具，而 Redis 是一个高性能的键值存储系统。通过将两者结合，我们可以为 Airflow 提供一个高效的任务队列和结果存储解决方案。
## 集成流程
首先，让我们通过一个表格来概述整个集成流程：
原创
2024-07-15 18:30:23
110阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建这里主要讲一下Airflow的其他特性。DAG配置表中的变量DAG_FOLDER是DAG文件存储的地址，DAG文件是定义任务
转载
2024-03-11 11:43:29
183阅读
airflow-api 插件的安装与使用介绍 1. 安装插件airflow-rest-api
1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建3）重启airflow2. api使用介
转载
2024-01-23 21:48:20
207阅读
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow
转载
2024-04-10 21:15:22
176阅读
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具， 不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、H
转载
2023-08-29 18:21:46
173阅读
# Airflow 1.10+安装
本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。
本次安装组件及版本如下：Airflow == 1.10.0
Python == 3.6.5
Mysql == 5.7
# 整体流程
1. 建表
2. 安装
3. 配置
4. 运行
5. 配置任务
```
启动schedule
airflow schedul
转载
2023-08-01 21:26:29
222阅读
# 使用 Airflow 调用 Redis 的详细教程
随着数据工程和数据科学的发展，Apache Airflow 已成为调度和管理数据管道的热门工具。在许多场景中，您可能需要将 Airflow 与 Redis（一个高性能的键值存储数据库）结合使用，以实现缓存、消息队列等功能。本指南将帮助您掌握如何在 Airflow 中调用 Redis。
## 整体流程
下面是一张表格，展示了在 Airfl
首先：airflow 数据开发者可以在webserver上直接进行配置或者写入代码传参这里重点讲k8s里的配置，所有配置都是默认配置[celery]maximum_page_limit = 100设置最大api请求页面worker_concurrency = 16worker 并发数，这里其实就是celery进程的数量，理论上多少worker节点就是设置多少，如果在k8s上看你配置多少个s
原创
2022-09-20 17:26:22
813阅读
# 使用 Airflow 配置 MySQL 数据库
Apache Airflow 是一个强大的工作流管理平台，能够帮助我们通过编写代码来编排复杂的数据流程。在数据科学和数据工程的领域中，Airflow 的灵活性和可扩展性使其成为一个热门选择。而 MySQL 是一种常用的关系型数据库管理系统，很多数据存储和数据处理任务往往需要与 MySQL 进行交互。本文将介绍如何在 Apache Airflow
# 如何在 Apache Airflow 中配置 MySQL
Apache Airflow 是一个用于调度和监控工作流的开源平台。在一些项目中，我们可能需要将 Airflow 与 MySQL 数据库结合使用，从而实现更高效的数据处理。本文将通过详细的步骤指导您完成 Airflow 和 MySQL 的配置。
## 整体流程
下面是配置 Airflow 与 MySQL 的整体流程：
| 步骤
原创
2024-09-12 05:03:11
65阅读
celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。操作步骤CeleryExecutor 需要 Python 环境安装有 celery。第一步： 安装cele
原创
2021-04-05 23:07:06
936阅读
# Airflow 配置 MySQL
Apache Airflow 是一个开源的任务调度和工作流管理平台，它使用 Python 编写，提供了丰富的功能和灵活的配置选项。Airflow 支持多种数据库后端，包括 MySQL。在本文中，我们将介绍如何配置 Airflow 使用 MySQL 作为其后端数据库，并提供相应的代码示例。
## Airflow 和 MySQL
在配置 Airflow 使用
原创
2024-01-24 09:41:47
313阅读
# 如何将 Apache Airflow 配置为使用 MySQL 数据库
在现代数据工程中，Apache Airflow 是一个广泛使用的工作流调度工具。之所以喜欢它，是因为它强大的调度、监控和可扩展性。在这篇文章中，我们将分享如何将 Airflow 配置为使用 MySQL 作为后端数据库。通过这篇文章，您将了解到整个过程的步骤以及每一步所需的代码。
## 整体流程
在我们开始之前，以下是配
安装流程step1 在本地创建文件夹，并安装 Python virtualenv python3 -m venv /path/to/new/virtual/environment 说明：macos 最新系统是默认安装了 Python3 的版本 ，通过命令
转载
2024-01-23 22:30:51
150阅读
D:
cd dev
redis-server.exe redis.conf
新开cmdD: cd dev redis-cli.exe -h 127.0.0.1 -p 6379 设置密码 redis 127.0.0.1:6379[1]> config set requirepass 123456 OK 登陆auth
转载
2023-08-22 10:49:24
112阅读
redis没有实现访问控制这个功能，但是它提供了一个轻量级的认证方式，可以编辑redis.conf配置来启用认证。
转载
2023-06-26 18:46:55
121阅读
