一、如何制作AirFlow容器1、安装docker环境
基于centos环境下进行部署，建议在centos6或者centos7的环境下
1.1、下载docker安装包
下载地址：https://download.docker.com/linux/static/stable/x86_64/
推荐使用的版本是18.09.6
1.2、下载到本地后解压
tar -zxf docker-18.09.6.
转载
2024-05-30 00:21:44
158阅读
1 Airflow简介
1.1 简介Apache Airflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。Airflow在2014年由Airbnb发起，2016年3⽉进⼊Apache基⾦会，在2019年1⽉成为顶级项⽬。Airflow采⽤Python语⾔编写，并提供可编程⽅式定义DAG⼯
转载
2024-08-20 16:51:05
652阅读
前言本次安装Airflow版本为1.10，其需要依赖Python和DB，本次选择的DB为Mysql。本次安装组件及版本如下：Airflow == 1.10
Python == 3.6.5
Mysql == 5.7Python安装略 详见：Python3安装(Linux环境)安装mysql略 详见：http://note.youdao.com/noteshare?id=d9233511a08f55
转载
2024-07-22 10:01:45
189阅读
**常用命令** 帮助手册中的命令行见这里1、启动服务airflow webserver -p 80 -D //启动网站
airflow scheduler -D //启动守护进程运行调度
airflow celery worker -D //启动celery worker
airflow celery flower -D //启动flower使用Celery扩大规模CeleryE
转载
2024-06-18 16:13:00
277阅读
DolphinDB 作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好 ETL 作业，Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案，将 Python Airflow 引入到 DolphinDB 的高可用集群中，通过使用 Airflow 所提供的功能来实现更好管理 DolphinDB 数据 ETL
Airflow是一个强大的工作流调度平台，广泛用于任务调度和数据管道管理。在团队工作中，我们需要编写Python脚本来实现数据处理、任务自动化等功能。在本文中，我将分享使用Airflow编写Python脚本的过程，包含协议背景、抓包方法、报文结构、交互过程、异常检测和安全分析等内容。
### 协议背景
在了解Airflow的基础上，我们首先要明确它的工作原理与相关协议。Airflow基于任务队
经过前两篇文章的简单介绍之后，我们安装了自己的AirFlow以及简单了解了DAG的定义文件．现在我们要实现自己的一个DAG．1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI，例如：http://localhost:8080/admin/备注Airflow附带了许多示例DAG。 请注
转载
2024-02-05 08:31:13
80阅读
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow
pip install "ai
转载
2024-06-05 13:10:51
119阅读
1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试.
本次测试的表是airflow.code_library.1.测试sqoop任务1.1 测试
转载
2024-03-11 07:03:52
121阅读
# 使用Airflow PythonOperators调用Python脚本
在开发数据工作流时，经常需要调用Python脚本来执行一些特定的任务，例如数据清洗、数据处理等。Airflow是一个开源的工作流自动化工具，通过使用PythonOperators可以在Airflow中调用Python脚本来执行任务。本文将介绍如何使用Airflow PythonOperators来调用Python脚本。
原创
2024-06-11 04:11:37
102阅读
AirFlow 提供了丰富的命令，在Anaconda虚拟环境中安装airflow这个文章的基础上开始整理。首先进入到anaconda的python36虚拟环境，执行airflow -hairflow -h(python36) [root@localhost airflow]# airflow -h
usage: airflow [-h] GROUP_OR_COMMAND ...
position
转载
2024-07-07 08:40:46
177阅读
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。Airflow 将workflow编排为由tasks组成的DAGs(有向无环图)，调度器在一组workers上按照指定的依赖关系执行tasks。同时，Airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且Airflow提供了
转载
2023-11-07 13:36:43
129阅读
1、airflow安装pip install apache-airflow
airflow initdb
airflow scheduler web端口----- start the web server, default port is 8080
airflow webserver -p 8080启动任务1、把执行py文件拷贝到airflow/dags/下
2、运行任务调度
airflow u
转载
2024-05-31 10:54:30
113阅读
新建环境# 注意版本问题哦~最好一致
python=3.7
airflow==1.10.3
# Note 注意 airflow 版本问题！！！ pip 安装的时候注意指定版本！！！！！
# 高版本的 airflow 会出现比较多的 no module named xxx 错误
# eg： No Module named airflow.contrib.auth
# eg: No Module
转载
2023-09-04 13:38:33
461阅读
1. 安装环境
Virtualbox虚拟机，CentOS6.5系统
。
2. 安装过程
1) 安装Anaconda
使用Anaconda环境，可以自动安装Python以及相关的包。
在Linux中下载Anaconda的脚本，执行脚本。安装好Anaconda后，安装包会自动选择不将Anaconda添加至环境变量，在安装的最后会出现添加环境变量的提示，复制后在bash中运行即可
转载
2023-12-15 09:36:40
90阅读
直接安装For MacMac 或者 Linux 用户安装比较简单，直接根据官网给的安装步骤即可完成：# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
转载
2024-05-29 10:59:51
88阅读
# Airflow 部署 MySQL 数据库
在数据工程领域，Apache Airflow 是一个强大的工作流调度平台，而关系型数据库如 MySQL 则是数据存储的常见选择。通过将 Airflow 部署与 MySQL 数据库结合，用户可以高效地管理和调度复杂的 ETL（提取、转换、加载）任务。本文将探讨如何在 Airflow 部署过程中使用 MySQL，并提供示例代码。
## 一、为什么选择
原创
2024-09-11 07:12:36
62阅读
# 部署 Airflow + MySQL
Airflow 是一个开源的任务调度和工作流管理平台，可用于构建、调度和监控数据管道。MySQL 是一个流行的开源关系型数据库管理系统。在本篇文章中，我们将介绍如何将 Airflow 部署到一个 MySQL 数据库中。
## 1. 安装和配置 MySQL
首先，我们需要在服务器上安装 MySQL 数据库。可以按照操作系统的不同，使用对应的安装包进行安
原创
2023-07-16 16:58:48
178阅读
kong 网关 单机部署环境：centOS 7；依赖：jdk1.8安装内容：postgresql数据库， kong 网关，nodeJs和npm，kong Dashboard （可视化管理界面）版本：postgresql10，kong1.4.0，npm v8.1.0本次重点主要为后续学习掌握kong配置使用，所以本次安装主要使用yum在线安装。 一、依赖包安装（若存在
文章目录1、官网1.1、文档2、安装2.1、本地安装（Running Airflow locally）2.1.1、说明2.1.2、安装环境2.1.3、安装2.1.3.1、安装过程中遇到的问题说明2.1.3.2、升级 sqlite32.1.3.3、安装 Python3 及虚拟环境 virtualenv2.1.3.4、安装 Airflow2.1.3.5、启动服务3、总结 1、官网官网地址1.1、文档
转载
2023-12-14 19:33:19
936阅读
