文章目录Firewalld区域名称及策略规则firewalld-cmd命令Iptables策略与规则链基本命令参数配置示例命令配置编辑防火墙配置文件 关于防火墙管理工具，RHEL7之前使用iptables，7之后使用firewalld（Dynamic Firewall Manager of Linux systems，Linux系统的动态防火墙管理器），二者都不是真正的防火墙，都只是用来定义防
转载
2024-06-30 21:29:33
47阅读
kong 网关 单机部署环境：centOS 7；依赖：jdk1.8安装内容：postgresql数据库， kong 网关，nodeJs和npm，kong Dashboard （可视化管理界面）版本：postgresql10，kong1.4.0，npm v8.1.0本次重点主要为后续学习掌握kong配置使用，所以本次安装主要使用yum在线安装。 一、依赖包安装（若存在
本人在centos7 的环境下部署，怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述， centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.co
原创
2022-06-17 22:53:54
331阅读
目录 导入模块 设置默认参数 实例化一个DAG 任务 Templating with Jinja 设置依赖关系 简要重述以上内容 测试 运行脚本 命令行元数据验证 测试 backfill 导入模块 # 导入所需的模块 # DAG用来实例化DAG对象，注意仅仅只是定义了一个对象，而不是进行真正的数据处 ...
转载
2021-08-03 22:30:00
477阅读
2评论
基于airflow官方镜像制作自己的镜像，如给镜像安装py
原创
2022-06-01 05:11:27
159阅读
一、调度系统1.1 为什么需要调度系统？因为⼤数据的任务多、复杂化就会有不同的需求：单个任务串联、并联任务要⽀持⼦节点、依赖节点数据抽取任务失败重试机制补数机制发邮件等任务种类多、需求多样化所以说我们需要调度系统1.2 调度系统有⼏多⼯作之后，很多童鞋和我⼀样最先接触到的应该是Linux⾃带的定期执⾏程序命令 crontab，使⽤简单、运⾏稳定、上⼿容易但是也有⾃⼰的缺点⽐如任务多了之后⽆法管 理
转载
2024-03-18 09:13:49
265阅读
Airflow REST API的使用 Airflow-2.2.1提供了稳定的REST API，这样可以通过这些REST API来对airflow中的任务进行操作。airflow中的REST接口的说明可以查看这里的文档。1.配置并创建用户 修改配置文件 修改配置文件 修改配置文件airflow.cfg，把auth_backend选项的值修改成以下值。auth_backend = airflow.a
转载
2023-12-12 12:43:09
77阅读
数据处理逻辑多，脚本相互依赖强，运维管理监测难，怎么办？！为了解决这些问题，最近比较深入研究Airflow的使用方法，重点参考了官方文档和Data Pipelines with Apache Airflow，特此笔记，跟大家分享共勉。前面文章我们已经讲到了Airflow的搭建这里主要讲一下Airflow的其他特性。DAG配置表中的变量DAG_FOLDER是DAG文件存储的地址，DAG文件是定义任务
转载
2024-03-11 11:43:29
183阅读
airflow-api 插件的安装与使用介绍 1. 安装插件airflow-rest-api
1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建3）重启airflow2. api使用介
转载
2024-01-23 21:48:20
207阅读
KubernetesExecutor for Airflow Scale Airflow natively on Kubernetes数据平台作业Sphinx
原创
2022-10-28 13:55:46
169阅读
airflowAirflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般：说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台上创建、管理、执行自定义的工作流，这里的工作流就是前面所说的有向无环图，如上图所示一样，有向无环图是由一系列单独运行的task组合而成，任务之间的前后排列取决于任务
转载
2023-09-24 17:41:30
442阅读
最近工作需要，使用airflow搭建了公司的ETL系统，顺带在公司分享了一次airflow，整理成文，Enjoy！1. airflow 介绍1.1 airflow 是什么Airflow is a platform to programmatically author, schedule and monitor workflows.airflow 是一个编排、调度和监控workflow的平台，由Ai
转载
2023-11-16 23:04:46
152阅读
1. airflow简介
2. 相关概念
2.1 服务进程
2.1.1. web server
2.1.2. scheduler
2.1.3. worker
2.1.4. celery flower
2.2 相关概念
2.2.1. dag
2.2.2.task
2.2.3.Operator
2.2.4 schedul
转载
2024-03-28 09:18:44
277阅读
简介Apache-Airflow 是Airbnb开源的一款数据流程工具，目前是Apache孵化项目。以非常灵活的方式来支持数据的ETL过程，同时还支持非常多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。被大量公司采用。Airflow提供了一系列的python SDK，用户
转载
2023-09-05 16:51:12
122阅读
文章目录1.Scheduler的启动和停止命令1.1 Scheduler启动命令1.2 Scheduler停止命令2.Scheduler程序源码2.1 cli.scheduler(): 接受命令行中的airflow scheduler命令2.2 BaseJob.run(): 向job表中新增SchdulerJob记录并调用子类的处理逻辑2.3 SchdulerJob._execute(): Sc
转载
2023-09-25 22:42:24
313阅读
Python工作流-Airflow Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。Airflow 工作流
转载
2023-07-03 16:35:52
230阅读
Airflow能做什么Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务，只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令 (需要已安装好python2.x和pip)：pip install airflow
pip install "ai
转载
2024-06-05 13:10:51
119阅读
airflowOperators:基本可以理解为一个抽象化的task, Operator加上必要的运行时上下文就是一个task. 有三类Operator:Sensor(传感监控器), 监控一个事件的发生.Trigger(或者叫做Remote Excution), 执行某个远端动作, (我在代码中没有找到这个类别)Data transfer(数据转换器), 完成数据转换Tasks: task代表DA
转载
2023-12-25 21:43:47
152阅读
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow
转载
2024-04-10 21:15:22
176阅读
首先是一个比较好的英文网站，可能要fq：http://site.clairvoyantsoft.com/installing-and-configuring-apache-airflow/========================================================py3venv在 mkdir ~/airflow/py3venv执行：python3 -
转载
2024-01-30 16:50:28
119阅读
