文章目录1、官网1.1、文档2、安装2.1、本地安装（Running Airflow locally）2.1.1、说明2.1.2、安装环境2.1.3、安装2.1.3.1、安装过程中遇到的问题说明2.1.3.2、升级 sqlite32.1.3.3、安装 Python3 及虚拟环境 virtualenv2.1.3.4、安装 Airflow2.1.3.5、启动服务3、总结 1、官网官网地址1.1、文档
转载
2023-12-14 19:33:19
936阅读
作者：朱金灿来源：https://blog..net/clever101centos 7环境下：mkdir airflow //创建airflow文件夹git clone https://github./puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹docker run ...
原创
2021-12-15 10:55:19
726阅读
文章目录airflow 在 docker 中的安装与使用简介airflow 镜像环境变量配置信息dagspip 包的安装挂载目录部署airflow.cfg 配置文件修改示例加载邮件时区登录配置其他配置信息目录结构与文件.envDockerfiledocker-compose.yaml启动查看 dags 信息扩展钉钉机器人报警邮箱报警异常出现AttributeError: module ‘typi
转载
2023-07-14 17:27:44
225阅读
目录安装docker,docker-compose 离线安装docker，docker-compose安装ElasticSearch安装kibana下载ik分词器。安装MySQL设置MySQL主从（启动单机版MySQL可以不做这一步）安装Redis设置Redis主从（启动单机版Redis可以不做这一步）Redis配置哨兵(一主一从一哨兵) 安装mongo
转载
2023-08-07 20:25:34
287阅读
拉取docker镜像：docker pull apache/airflow
启动docker：docker run -d -p 8080:8080 puckel/docker-airflow访问地址：http://localhost:8080/login/进入容器：docker exec -it containerID /bin/bash创建账号:airflow users create \
转载
2023-07-16 22:50:34
96阅读
在Airflow的Github官方仓库里，提供了构建Docker镜像Dockerfile和相关的脚本信
原创
2022-10-28 13:55:38
132阅读
https://github.com/puckel/docker-airflow镜像介绍：https://hub.docker.com/r/puckel/docker-airflow/docker pull puckel/docker-airflow 次镜像在docker hu上找到的在里面安装vim和grpcFROM &nbs
原创
2022-06-01 05:19:49
232阅读
# Docker Airflow 简介
## 什么是 Docker Airflow？
Docker Airflow 是基于 Docker 容器化技术的一个开源任务调度和工作流管理平台。Airflow 提供了一种简单而灵活的方式来编排、调度和监控工作流任务。它允许用户使用 Python 编写工作流的代码，并且提供了丰富的任务管理和监控功能。
通过将 Airflow 与 Docker 结合使用，可
原创
2023-08-12 06:52:13
677阅读
1、先下载安装包并上传到服务器， 这里下载的是20.10.7版本，并上传到 /root/docker目录下载地址：https://download.docker.com/linux/static/stable/x86_64/2、新建安装命令文件和卸载命令文件2.1安装命令文件 install.sh#!/bin/sh
echo '解压tar包...'
tar -xvf $1
echo '将docke
转载
2023-06-13 14:34:20
162阅读
本人的环境是基于centos7下来安装的 一、安装docker 下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do
原创
2022-06-17 22:53:16
673阅读
环境初始化系统选择 centos 7.4，在 thor 平台上先择的基础镜像，什么都没有安装。使用 root 用户用 yum 工具做一些初始化安装yum install -y wgetyum install -y screenyum install -y gccyum install -y gcc-c++yum install -y openssl-develyum install -y read
原创
2023-05-12 18:02:20
268阅读
新建环境# 注意版本问题哦~最好一致
python=3.7
airflow==1.10.3
# Note 注意 airflow 版本问题！！！ pip 安装的时候注意指定版本！！！！！
# 高版本的 airflow 会出现比较多的 no module named xxx 错误
# eg： No Module named airflow.contrib.auth
# eg: No Module
转载
2023-09-04 13:38:33
464阅读
Airflow 入门及使用什么是 Airflow？Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具， 不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。这个平台拥有和 Hive、Presto、MySQL、H
转载
2023-08-29 18:21:46
173阅读
服务器环境：Ubuntu Server 22.04, 刚开始的时候使用命令pip install apache-airflow完成后输入命令airflow 却一直提示command not found.后来使用sudo完成正确安装sudo pip install apache-airflow然后使用如下命令初始化单机版airflow standalone然后打开localhost:8080默认没有
原创
2022-09-05 15:49:45
1259阅读
Airflow配置安装 1.安装前准备工作 安装版本说明 安装工具版本用途 Python 3.6.5 安装airflow及其依赖包、开发airflow的dag使用 MySQL 5.7 作为airflow的元数据库 Airflow 1.10.10 任务调度平台 2.安装Python3 #python依 ...
转载
2021-08-22 22:04:00
745阅读
2评论
1、Anaconda环境准备由于Airflow2.1.2版本依赖于python3高阶版本，但是服务器中一般默认python2.7.5版本，如下图：所以，我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。1.1、 下载miniconda版本yum install -y wget
wget https://repo.anaconda.com/minicond
转载
2024-02-05 11:18:17
708阅读
安装流程step1 在本地创建文件夹，并安装 Python virtualenv python3 -m venv /path/to/new/virtual/environment 说明：macos 最新系统是默认安装了 Python3 的版本 ，通过命令
转载
2024-01-23 22:30:51
150阅读
1.安装Python3yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y
原创
2023-05-22 12:08:15
582阅读
# 使用Docker安装Airflow
Airflow是一个开源的任务调度和工作流管理平台，它使用Python编写，提供了一种简单的方法来定义、调度和监控任务。使用Docker可以方便地部署和管理Airflow，并且避免了各种依赖和配置问题。本文将介绍如何使用Docker安装和配置Airflow，并提供了一些示例代码来帮助您开始使用Airflow。
## 前提条件
在开始之前，请确保您已经安
原创
2023-08-19 06:41:19
868阅读
1评论
在现代数据工程中，Airflow 是一个强大的调度工具，而 Docker 则为容器化和资源隔离提供了极大的便利。结合这两者可以极大提升任务的执行效率和环境管理。以下是关于“Airflow 执行 Docker 任务”的全流程记录，包括环境准备、集成步骤、配置详解、实战应用、排错指南和生态扩展。
### 环境准备
在开始之前，需要准备合适的开发环境。确保已安装以下工具和依赖。
#### 依赖安装
