背景无论是在制作java、python或nodejs的docker镜像的过程中，需要编译源码的话，就得忍受一次次地下载依赖的jar或package, 特别耗时。有没有一种方式能如本地编译打包一样，依赖包下载过一次，就无须多次下载。经同事介绍，得知了s2i技术，它能解决此问题，还带来了别的好处。说明s2i是source to image的缩写。简单地说，就是通过镜像生成镜像。github上的地址在这
转载
2023-09-19 13:27:06
116阅读
1、前置准备工作部署Apollo的目标服务器要求：（1）Linux 发行版本建议CentOS7 （由于Apollo服务内置3个JVM进程 所有系统可用内存建议不低于2G）（2）安装MySQL 版本5.6.5+（为Apollo部署MySQL服务，也可以借用已经部署好的MySQL服务）（3）安装JDK 版本1.8+（4）安装Docker 版本1.13+（5）安装docker-composeyum -y
转载
2024-10-27 19:56:53
22阅读
在Airflow的Github官方仓库里，提供了构建Docker镜像Dockerfile和相关的脚本信
原创
2022-10-28 13:55:38
132阅读
https://github.com/puckel/docker-airflow镜像介绍：https://hub.docker.com/r/puckel/docker-airflow/docker pull puckel/docker-airflow 次镜像在docker hu上找到的在里面安装vim和grpcFROM &nbs
原创
2022-06-01 05:19:49
232阅读
# Docker Airflow 简介
## 什么是 Docker Airflow？
Docker Airflow 是基于 Docker 容器化技术的一个开源任务调度和工作流管理平台。Airflow 提供了一种简单而灵活的方式来编排、调度和监控工作流任务。它允许用户使用 Python 编写工作流的代码，并且提供了丰富的任务管理和监控功能。
通过将 Airflow 与 Docker 结合使用，可
原创
2023-08-12 06:52:13
677阅读
文章目录1、官网1.1、文档2、安装2.1、本地安装（Running Airflow locally）2.1.1、说明2.1.2、安装环境2.1.3、安装2.1.3.1、安装过程中遇到的问题说明2.1.3.2、升级 sqlite32.1.3.3、安装 Python3 及虚拟环境 virtualenv2.1.3.4、安装 Airflow2.1.3.5、启动服务3、总结 1、官网官网地址1.1、文档
转载
2023-12-14 19:33:19
936阅读
作者：朱金灿来源：https://blog..net/clever101centos 7环境下：mkdir airflow //创建airflow文件夹git clone https://github./puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹docker run ...
原创
2021-12-15 10:55:19
726阅读
# 使用Docker安装Airflow
Airflow是一个开源的任务调度和工作流管理平台，它使用Python编写，提供了一种简单的方法来定义、调度和监控任务。使用Docker可以方便地部署和管理Airflow，并且避免了各种依赖和配置问题。本文将介绍如何使用Docker安装和配置Airflow，并提供了一些示例代码来帮助您开始使用Airflow。
## 前提条件
在开始之前，请确保您已经安
原创
2023-08-19 06:41:19
868阅读
1评论
在现代数据工程中，Airflow 是一个强大的调度工具，而 Docker 则为容器化和资源隔离提供了极大的便利。结合这两者可以极大提升任务的执行效率和环境管理。以下是关于“Airflow 执行 Docker 任务”的全流程记录，包括环境准备、集成步骤、配置详解、实战应用、排错指南和生态扩展。
### 环境准备
在开始之前，需要准备合适的开发环境。确保已安装以下工具和依赖。
#### 依赖安装
# 使用 Docker 启动 Apache Airflow 指南
Apache Airflow 是一个开源的工作流管理平台，具有强大的调度和监控能力。通过 Docker 来部署 Airflow，让整个流程变得简单而直观。本文将指导你如何使用 Docker 启动 Airflow 服务。
## 整体流程
下面是启动 Airflow 服务的整体步骤：
| 步骤 | 描述 |
|------|--
由于工作需要，对netflow进行了一定的调研和学习，总结如下。1、什么是NetFlow NetFlow是由Cisco创造的一种流量轮廓监控技术，简单来说就是一种数据交换方式。NetFlow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能像tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。2、NetFlow v9版本 NetFlow v9是
转载
2024-07-04 22:34:05
131阅读
Apollo配置中心高可用部署一、准备工作1.准备两台机器，每台安装一个MySQL1.1 Dev环境MySQL安装命令脚本1.2 Pro环境MySQL安装命令脚本二、Apollo配置中心数据库建立1.下载Apollo配置中心数据库脚本 [github直通车](https://github.com/apolloconfig/apollo)2.解压找到scripts文件夹，打开得到sql脚本3.De
转载
2023-09-05 07:11:02
115阅读
Docker build 命令docker build 命令用于使用Dockerfile文件来创建镜像docker build [OPTIONS] PATH |URL| -OPTIONS说明：–build-arg=[] :设置镜像创建时的变量；–cpu-shares :设置 cpu 使用权重；–cpu-period :限制 CPU CFS周期；–cpu-quota :限制 CPU CFS配额；–c
转载
2023-08-31 10:34:28
123阅读
目录1. 节点规划2. airflow集群搭建步骤3. 初始化Airflow4. 创建管理员用户信息5. 配置Scheduler HA6. 启动Airflow集群7. 访问Airflow 集群WebUI8. 测试Airflow HA1. 节点规划节点IP节点名称节点角色运行服务192.168.179.4node1Mas
# 在Windows上使用Docker搭建Apache Airflow
Apache Airflow是一个强大的工具，用于编排和调度数据工作流。在现代数据工程中，Airflow已成为一个流行的选择。本文将介绍如何在Windows系统上使用Docker搭建Airflow，并提供相关的代码示例，助你快速上手。
## 环境准备
在开始之前，请确保你的Windows上已安装以下软件：
- [Doc
本人的环境是基于centos7下来安装的 一、安装docker 下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do
原创
2022-06-17 22:53:16
676阅读
# Airflow 的 Docker 配置文件科普文章
Apache Airflow 是一个用于编排和管理数据工作流的开源平台。在现代数据处理环境中，容器化技术已成为一种流行的解决方案来简化开发和部署。Docker 是最受欢迎的容器化平台之一。本文将介绍如何使用 Docker 配置 Apache Airflow，并提供相应的代码示例、关系图及序列图。
## 什么是 Docker？
Docke
airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。 airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时， airflow
原创
2021-07-19 16:18:29
434阅读
目录安装docker,docker-compose 离线安装docker，docker-compose安装ElasticSearch安装kibana下载ik分词器。安装MySQL设置MySQL主从（启动单机版MySQL可以不做这一步）安装Redis设置Redis主从（启动单机版Redis可以不做这一步）Redis配置哨兵(一主一从一哨兵) 安装mongo
转载
2023-08-07 20:25:34
287阅读
拉取docker镜像：docker pull apache/airflow
启动docker：docker run -d -p 8080:8080 puckel/docker-airflow访问地址：http://localhost:8080/login/进入容器：docker exec -it containerID /bin/bash创建账号:airflow users create \
转载
2023-07-16 22:50:34
96阅读
