文章目录1、官网1.1、文档2、安装2.1、本地安装（Running Airflow locally）2.1.1、说明2.1.2、安装环境2.1.3、安装2.1.3.1、安装过程中遇到的问题说明2.1.3.2、升级 sqlite32.1.3.3、安装 Python3 及虚拟环境 virtualenv2.1.3.4、安装 Airflow2.1.3.5、启动服务3、总结 1、官网官网地址1.1、文档
转载
2023-12-14 19:33:19
936阅读
Docker build 命令docker build 命令用于使用Dockerfile文件来创建镜像docker build [OPTIONS] PATH |URL| -OPTIONS说明：–build-arg=[] :设置镜像创建时的变量；–cpu-shares :设置 cpu 使用权重；–cpu-period :限制 CPU CFS周期；–cpu-quota :限制 CPU CFS配额；–c
转载
2023-08-31 10:34:28
123阅读
目录1. 节点规划2. airflow集群搭建步骤3. 初始化Airflow4. 创建管理员用户信息5. 配置Scheduler HA6. 启动Airflow集群7. 访问Airflow 集群WebUI8. 测试Airflow HA1. 节点规划节点IP节点名称节点角色运行服务192.168.179.4node1Mas
1. 安装环境
Virtualbox虚拟机，CentOS6.5系统
。
2. 安装过程
1) 安装Anaconda
使用Anaconda环境，可以自动安装Python以及相关的包。
在Linux中下载Anaconda的脚本，执行脚本。安装好Anaconda后，安装包会自动选择不将Anaconda添加至环境变量，在安装的最后会出现添加环境变量的提示，复制后在bash中运行即可
转载
2023-12-15 09:36:40
90阅读
新建环境# 注意版本问题哦~最好一致
python=3.7
airflow==1.10.3
# Note 注意 airflow 版本问题！！！ pip 安装的时候注意指定版本！！！！！
# 高版本的 airflow 会出现比较多的 no module named xxx 错误
# eg： No Module named airflow.contrib.auth
# eg: No Module
转载
2023-09-04 13:38:33
464阅读
一、如何制作AirFlow容器1、安装docker环境
基于centos环境下进行部署，建议在centos6或者centos7的环境下
1.1、下载docker安装包
下载地址：https://download.docker.com/linux/static/stable/x86_64/
推荐使用的版本是18.09.6
1.2、下载到本地后解压
tar -zxf docker-18.09.6.
转载
2024-05-30 00:21:44
158阅读
1、airflow安装pip install apache-airflow
airflow initdb
airflow scheduler web端口----- start the web server, default port is 8080
airflow webserver -p 8080启动任务1、把执行py文件拷贝到airflow/dags/下
2、运行任务调度
airflow u
转载
2024-05-31 10:54:30
113阅读
在Airflow的Github官方仓库里，提供了构建Docker镜像Dockerfile和相关的脚本信
原创
2022-10-28 13:55:38
132阅读
# Docker Airflow 简介
## 什么是 Docker Airflow？
Docker Airflow 是基于 Docker 容器化技术的一个开源任务调度和工作流管理平台。Airflow 提供了一种简单而灵活的方式来编排、调度和监控工作流任务。它允许用户使用 Python 编写工作流的代码，并且提供了丰富的任务管理和监控功能。
通过将 Airflow 与 Docker 结合使用，可
原创
2023-08-12 06:52:13
677阅读
https://github.com/puckel/docker-airflow镜像介绍：https://hub.docker.com/r/puckel/docker-airflow/docker pull puckel/docker-airflow 次镜像在docker hu上找到的在里面安装vim和grpcFROM &nbs
原创
2022-06-01 05:19:49
232阅读
1 Airflow简介
1.1 简介Apache Airflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。Airflow在2014年由Airbnb发起，2016年3⽉进⼊Apache基⾦会，在2019年1⽉成为顶级项⽬。Airflow采⽤Python语⾔编写，并提供可编程⽅式定义DAG⼯
转载
2024-08-20 16:51:05
660阅读
# Airflow 部署 MySQL 数据库
在数据工程领域，Apache Airflow 是一个强大的工作流调度平台，而关系型数据库如 MySQL 则是数据存储的常见选择。通过将 Airflow 部署与 MySQL 数据库结合，用户可以高效地管理和调度复杂的 ETL（提取、转换、加载）任务。本文将探讨如何在 Airflow 部署过程中使用 MySQL，并提供示例代码。
## 一、为什么选择
原创
2024-09-11 07:12:36
62阅读
# 部署 Airflow + MySQL
Airflow 是一个开源的任务调度和工作流管理平台，可用于构建、调度和监控数据管道。MySQL 是一个流行的开源关系型数据库管理系统。在本篇文章中，我们将介绍如何将 Airflow 部署到一个 MySQL 数据库中。
## 1. 安装和配置 MySQL
首先，我们需要在服务器上安装 MySQL 数据库。可以按照操作系统的不同，使用对应的安装包进行安
原创
2023-07-16 16:58:48
178阅读
kong 网关 单机部署环境：centOS 7；依赖：jdk1.8安装内容：postgresql数据库， kong 网关，nodeJs和npm，kong Dashboard （可视化管理界面）版本：postgresql10，kong1.4.0，npm v8.1.0本次重点主要为后续学习掌握kong配置使用，所以本次安装主要使用yum在线安装。 一、依赖包安装（若存在
Docker容器化（2）：持续集成与容器管理1 DockerMaven插件2 持续集成工具-Jenkins2.1 什么是持续集成2.2 Jenkins简介2.3 Jenkins安装2.3.1 JDK安装2.3.2 Jenkins安装与启动2.4 Jenkins插件安装2.5 全局工具配置2.5.1 安装Maven与本地仓库2.5.2 全局工具配置2.6 代码上传至Git服务器2.6.1 Gogs
转载
2024-10-25 10:30:10
36阅读
Docker容器化（2）：持续集成与容器管理1 DockerMaven插件2 持续集成工具-Jenkins2.1 什么是持续集成2.2 Jenkins简介2.3 Jenkins安装2.3.1 JDK安装2.3.2 Jenkins安装与启动2.4 Jenkins插件安装2.5 全局工具配置2.5.1 安装Maven与本地仓库2.5.2 全局工具配置2.6 代码上传至Git服务器2.6.1 Gogs
转载
2024-10-25 10:30:14
45阅读
# Airflow 安装部署 MySQL
## 概述
Airflow 是一个用于调度和监控工作流的开源平台，而 MySQL 是一个常用的关系型数据库。在这篇文章中，我将向你详细介绍如何在安装部署 Airflow 的过程中，将其与 MySQL 数据库进行集成。
## 安装和部署流程
下面是实现“Airflow 安装部署 MySQL”的步骤概览：
| 步骤 | 描述 |
|---|---|
|
原创
2023-12-31 06:52:45
229阅读
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。Airflow 将workflow编排为由tasks组成的DAGs(有向无环图)，调度器在一组workers上按照指定的依赖关系执行tasks。同时，Airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且Airflow提供了
转载
2023-11-07 13:36:43
129阅读
作者：朱金灿来源：https://blog..net/clever101centos 7环境下：mkdir airflow //创建airflow文件夹git clone https://github./puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹docker run ...
原创
2021-12-15 10:55:19
726阅读
# 使用Docker安装Airflow
Airflow是一个开源的任务调度和工作流管理平台，它使用Python编写，提供了一种简单的方法来定义、调度和监控任务。使用Docker可以方便地部署和管理Airflow，并且避免了各种依赖和配置问题。本文将介绍如何使用Docker安装和配置Airflow，并提供了一些示例代码来帮助您开始使用Airflow。
## 前提条件
在开始之前，请确保您已经安
原创
2023-08-19 06:41:19
868阅读
1评论
