首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/========================================================py3venv在 mkdir ~/airflow/py3venv执行：python3 -
转载
2024-07-25 11:35:13
49阅读
## Airflow配置连接Hive
### 简介
Airflow是一个用于调度和监控工作流的平台，它提供了一种简单而强大的方式来编排和管理数据处理任务。Hive是一个基于Hadoop的数据仓库工具，它提供了一个SQL接口，用于查询和分析大规模的结构化数据。在本文中，我们将介绍如何在Airflow中配置连接Hive，以便能够在任务中使用Hive相关功能。
### 安装和配置
#### 安装
原创
2023-11-29 15:47:03
395阅读
安装流程step1 在本地创建文件夹，并安装 Python virtualenv python3 -m venv /path/to/new/virtual/environment 说明：macos 最新系统是默认安装了 Python3 的版本 ，通过命令
转载
2024-01-23 22:30:51
150阅读
简介Apache-Airflow 是Airbnb开源的一款数据流程工具，目前是Apache孵化项目。以非常灵活的方式来支持数据的ETL过程，同时还支持非常多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。被大量公司采用。Airflow提供了一系列的python SDK，用户
转载
2023-09-05 16:51:12
122阅读
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/========================================================py3venv在 mkdir ~/airflow/py3venv执行：python3 -
转载
2024-01-30 16:50:28
119阅读
# 如何在Apache Airflow中连接MySQL
Apache Airflow 是一个开源平台，允许用户编排、管理和监控工作流。许多工作流任务可能涉及数据库操作，而MySQL是最常用的关系型数据库之一。在这篇文章中，我们将详细讲解如何在Airflow中连接MySQL，确保小白开发者能顺利上手。
## 整体流程
连接Airflow到MySQL的过程可以分为以下步骤：
| 步骤 | 描述
原创
2024-09-11 07:12:25
132阅读
# 使用 Airflow 连接 MySQL 的完整指南
## 介绍
Apache Airflow 是一个开源的工作流调度平台，广泛用于创建复杂的数据管道。为了使用 Airflow 操作 MySQL 数据库，我们通常使用 MySqlOperator。本文将详细介绍如何在 Airflow 中连接 MySQL，以及使用 MySqlOperator 执行 SQL 任务的完整流程。
---
## 流
文章目录一、Apache Airflow简介二、漏洞成因三、漏洞复现 一、Apache Airflow简介Apache Airflow是python语言编写的一个以编程方式创作、安排和监控工作流程的平台。 除了几个服务器端 python 脚本之外，它还有一个基于Flask编写的Web应用程序，该Web 应用程序 使用Flask 的无状态签名 cookie 来存储和管理成功的身份验证。在安装过程中
一、环境准备：设备名IP系统pythonmysql server其他VM01192.168.72.130CentOS release 7.7.1908 Anaconda3-2019.07-Linux-x86_64.sh8.0.18root账户操作VM02192.168.72.131CentOS release 7.7.1908Anaconda3-2019.07-Linux-x86_64.
# 使用 Apache Airflow 调度 Hive 作业（不使用 Beeline）
在大数据工作流中，Apache Airflow 是一种流行的工具，用于调度和监控数据工程任务。虽然通常可以通过 Beeline 接口与 Hive 交互，但在某些情况下，我们需要直接与 Hive 交互，比如通过 Python 脚本来执行 HiveQL 查询。本文将演示如何在 Airflow 中实现这一目标。
KubernetesExecutor for Airflow Scale Airflow natively on Kubernetes数据平台作业Sphinx
原创
2022-10-28 13:55:46
169阅读
1. airflow简介
2. 相关概念
2.1 服务进程
2.1.1. web server
2.1.2. scheduler
2.1.3. worker
2.1.4. celery flower
2.2 相关概念
2.2.1. dag
2.2.2.task
2.2.3.Operator
2.2.4 schedul
转载
2024-03-28 09:18:44
277阅读
airflowAirflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般：说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务
转载
2023-09-24 17:41:30
442阅读
最近工作需要，使用airflow搭建了公司的ETL系统，顺带在公司分享了一次airflow，整理成文，Enjoy！1. airflow 介绍1.1 airflow 是什么Airflow is a platform to programmatically author, schedule and monitor workflows.airflow 是一个编排、调度和监控workflow的平台，由Ai
转载
2023-11-16 23:04:46
152阅读
目录 导入模块 设置默认参数 实例化一个DAG 任务 Templating with Jinja 设置依赖关系 简要重述以上内容 测试 运行脚本 命令行元数据验证 测试 backfill 导入模块 # 导入所需的模块 # DAG用来实例化DAG对象，注意仅仅只是定义了一个对象，而不是进行真正的数据处 ...
转载
2021-08-03 22:30:00
477阅读
2评论
基于airflow官方镜像制作自己的镜像，如给镜像安装py
原创
2022-06-01 05:11:27
159阅读
一、调度系统1.1 为什么需要调度系统？因为⼤数据的任务多、复杂化就会有不同的需求：单个任务串联、并联任务要⽀持⼦节点、依赖节点数据抽取任务失败重试机制补数机制发邮件等任务种类多、需求多样化所以说我们需要调度系统1.2 调度系统有⼏多⼯作之后，很多童鞋和我⼀样最先接触到的应该是Linux⾃带的定期执⾏程序命令 crontab，使⽤简单、运⾏稳定、上⼿容易但是也有⾃⼰的缺点⽐如任务多了之后⽆法管 理
转载
2024-03-18 09:13:49
265阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建这里主要讲一下Airflow的其他特性。DAG配置表中的变量DAG_FOLDER是DAG文件存储的地址，DAG文件是定义任务
转载
2024-03-11 11:43:29
183阅读
Airflow REST API的使用 Airflow-2.2.1提供了稳定的REST API，这样可以通过这些REST API来对airflow中的任务进行操作。airflow中的REST接口的说明可以查看这里的文档。1.配置并创建用户 修改配置文件 修改配置文件 修改配置文件airflow.cfg，把auth_backend选项的值修改成以下值。auth_backend = airflow.a
转载
2023-12-12 12:43:09
77阅读
airflow-api 插件的安装与使用介绍 1. 安装插件airflow-rest-api
1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建3）重启airflow2. api使用介
转载
2024-01-23 21:48:20
207阅读
