kong 网关 单机部署环境：centOS 7；依赖：jdk1.8安装内容：postgresql数据库， kong 网关，nodeJs和npm，kong Dashboard （可视化管理界面）版本：postgresql10，kong1.4.0，npm v8.1.0本次重点主要为后续学习掌握kong配置使用，所以本次安装主要使用yum在线安装。 一、依赖包安装（若存在
本人在centos7 的环境下部署，怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述， centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.co
原创
2022-06-17 22:53:54
329阅读
一、如何制作AirFlow容器1、安装docker环境
基于centos环境下进行部署，建议在centos6或者centos7的环境下
1.1、下载docker安装包
下载地址：https://download.docker.com/linux/static/stable/x86_64/
推荐使用的版本是18.09.6
1.2、下载到本地后解压
tar -zxf docker-18.09.6.
转载
2024-05-30 00:21:44
158阅读
1、airflow安装pip install apache-airflow
airflow initdb
airflow scheduler web端口----- start the web server, default port is 8080
airflow webserver -p 8080启动任务1、把执行py文件拷贝到airflow/dags/下
2、运行任务调度
airflow u
转载
2024-05-31 10:54:30
113阅读
新建环境# 注意版本问题哦~最好一致
python=3.7
airflow==1.10.3
# Note 注意 airflow 版本问题！！！ pip 安装的时候注意指定版本！！！！！
# 高版本的 airflow 会出现比较多的 no module named xxx 错误
# eg： No Module named airflow.contrib.auth
# eg: No Module
转载
2023-09-04 13:38:33
464阅读
1. 安装环境
Virtualbox虚拟机，CentOS6.5系统
。
2. 安装过程
1) 安装Anaconda
使用Anaconda环境，可以自动安装Python以及相关的包。
在Linux中下载Anaconda的脚本，执行脚本。安装好Anaconda后，安装包会自动选择不将Anaconda添加至环境变量，在安装的最后会出现添加环境变量的提示，复制后在bash中运行即可
转载
2023-12-15 09:36:40
90阅读
1 Airflow简介
1.1 简介Apache Airflow是⼀个提供基于DAG（有向⽆环图）来编排⼯作流的、可视化的分布式任务调度平台（也可单机），与Oozie、Azkaban等调度平台类似。Airflow在2014年由Airbnb发起，2016年3⽉进⼊Apache基⾦会，在2019年1⽉成为顶级项⽬。Airflow采⽤Python语⾔编写，并提供可编程⽅式定义DAG⼯
转载
2024-08-20 16:51:05
664阅读
# Airflow 部署 MySQL 数据库
在数据工程领域，Apache Airflow 是一个强大的工作流调度平台，而关系型数据库如 MySQL 则是数据存储的常见选择。通过将 Airflow 部署与 MySQL 数据库结合，用户可以高效地管理和调度复杂的 ETL（提取、转换、加载）任务。本文将探讨如何在 Airflow 部署过程中使用 MySQL，并提供示例代码。
## 一、为什么选择
原创
2024-09-11 07:12:36
62阅读
# 部署 Airflow + MySQL
Airflow 是一个开源的任务调度和工作流管理平台，可用于构建、调度和监控数据管道。MySQL 是一个流行的开源关系型数据库管理系统。在本篇文章中，我们将介绍如何将 Airflow 部署到一个 MySQL 数据库中。
## 1. 安装和配置 MySQL
首先，我们需要在服务器上安装 MySQL 数据库。可以按照操作系统的不同，使用对应的安装包进行安
原创
2023-07-16 16:58:48
178阅读
文章目录1、官网1.1、文档2、安装2.1、本地安装（Running Airflow locally）2.1.1、说明2.1.2、安装环境2.1.3、安装2.1.3.1、安装过程中遇到的问题说明2.1.3.2、升级 sqlite32.1.3.3、安装 Python3 及虚拟环境 virtualenv2.1.3.4、安装 Airflow2.1.3.5、启动服务3、总结 1、官网官网地址1.1、文档
转载
2023-12-14 19:33:19
939阅读
这是一篇关于讲解如何在centos部署airflow的文章。什么是Airflowairflow是一款开源的，分布式任务调度框架，它将一个具有上下级依赖关系的工作流，组装成一个有向无环图。特点:分布式任务调度：允许一个工作流的task在多台worker上同时执行可构建任务依赖：以有向无环图的方式构建任务依赖关系task原子性：工作流上每个task都是原子可重试的，一个工作流某个环节的task失败可自
原创
2022-11-30 11:17:17
409阅读
Docker容器化（2）：持续集成与容器管理1 DockerMaven插件2 持续集成工具-Jenkins2.1 什么是持续集成2.2 Jenkins简介2.3 Jenkins安装2.3.1 JDK安装2.3.2 Jenkins安装与启动2.4 Jenkins插件安装2.5 全局工具配置2.5.1 安装Maven与本地仓库2.5.2 全局工具配置2.6 代码上传至Git服务器2.6.1 Gogs
转载
2024-10-25 10:30:14
45阅读
Docker容器化（2）：持续集成与容器管理1 DockerMaven插件2 持续集成工具-Jenkins2.1 什么是持续集成2.2 Jenkins简介2.3 Jenkins安装2.3.1 JDK安装2.3.2 Jenkins安装与启动2.4 Jenkins插件安装2.5 全局工具配置2.5.1 安装Maven与本地仓库2.5.2 全局工具配置2.6 代码上传至Git服务器2.6.1 Gogs
转载
2024-10-25 10:30:10
36阅读
# Airflow 安装部署 MySQL
## 概述
Airflow 是一个用于调度和监控工作流的开源平台，而 MySQL 是一个常用的关系型数据库。在这篇文章中，我将向你详细介绍如何在安装部署 Airflow 的过程中，将其与 MySQL 数据库进行集成。
## 安装和部署流程
下面是实现“Airflow 安装部署 MySQL”的步骤概览：
| 步骤 | 描述 |
|---|---|
|
原创
2023-12-31 06:52:45
232阅读
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。Airflow 将workflow编排为由tasks组成的DAGs(有向无环图)，调度器在一组workers上按照指定的依赖关系执行tasks。同时，Airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且Airflow提供了
转载
2023-11-07 13:36:43
129阅读
参考:https://www.jianshu.com/p/089c56b4ec14
原创
2022-03-27 16:31:01
189阅读
目录1. 节点规划2. airflow集群搭建步骤3. 初始化Airflow4. 创建管理员用户信息5. 配置Scheduler HA6. 启动Airflow集群7. 访问Airflow 集群WebUI8. 测试Airflow HA1. 节点规划节点IP节点名称节点角色运行服务192.168.179.4node1Mas
一、如何制作AirFlow容器 1、安装docker环境 基于centos环境下进行部署，建议在centos6或者centos7的环境下 1.1、下载docker安装包 下载地址：https://download.docker.com/linux/static/stable/x86_64/ 推荐使用 ...
转载
2021-09-14 10:09:00
1377阅读
2评论
airflow分布式部署所依赖的组件有mysql，redis，web-server，scheduler，worker等，可以将这些组件部署在不同的机器上，来减低单台机器的压力 单机安装请参考：Ubuntu16.04安装apache-airflow 然后在不同的机器上启动不同的组件 airflow w
转载
2016-03-17 14:24:00
898阅读
2评论
安全狗应急响应中心监测到，Apache发布安全公告，修复了Apache Airflow Docker Provider中的一个远程代码执行漏洞，漏洞编号：CVE-2022-38362。 安全狗建议广大用户及时做好资产自查以及漏洞修复工作。漏洞描述Apache Airflow Docker Provider在3.0以下版本提供给的DAG（有向无环图）示例中存在远程代码执行漏洞，攻击者可利用
转载
2024-10-24 11:13:43
72阅读
